Claude Fable 5 ve Claude Mythos 5

Bugün Claude Fable 5'i duyuruyoruz: genel kullanım için güvenli hale getirdiğimiz bir Mythos-class modeli.

Fable 5'in yetenekleri, şimdiye kadar genel olarak erişime açladığımız herhangi bir modeli aşıyor. Neredeyse test edilen tüm yapay zeka yetenek kıyaslamalarında en üst düzeyde yer alıyor; yazılım mühendisliği, bilgi çalışması, görüş, bilimsel araştırma ve diğer birçok alanda istisnai performans gösteriyor. Görev ne kadar uzun ve karmaşık olursa, Fable 5'in diğer modellerimize karşı avantajı o kadar büyük oluyor.

Bu kadar yetenekli bir modeli yayınlamak risklerle birlikte geliyor. Koruma mekanizmaları olmadan, Fable 5'in siber güvenlik gibi alanlardaki yetenekleri ciddi zararı önlemek için yanlış kullanılabilir. Bu nedenle modeli, bazı konular hakkındaki sorguların bunun yerine bir sonraki en yetenekli modelimiz Claude Opus 4.8'den yanıt alacağı şekilde koruma mekanizmaları ile başlattık. Modeli hem güvenli hem de hızlı bir şekilde yayınlamak için, bu koruma mekanizmalarını ihtiyatı şekilde ayarladık—bazen zararsız istekleri yakalarlar, ancak ortalama olarak oturumların %5'inden azında tetiklenir. Önümüzdeki aylarda daha yetenekli modellerin gelmesiyle birlikte, koruma mekanizmalarımızı iyileştirmek ve yanlış pozitif sonuçları olabildiğince hızlı azaltmak için çalışıyoruz.

Küçük bir siber savunma ve altyapı sağlayıcı grubu için Claude Mythos 5'i de başlatıyoruz. Fable 5 ile aynı temel modeldir, ancak bazı alanlarda koruma mekanizmaları kaldırılmıştır.2 Mythos 5 başlangıçta Project Glasswing aracılığıyla ABD hükümeti ile işbirliği içinde Claude Mythos Preview'in bir yükseltmesi olarak dağıtılacaktır. Dünyadaki herhangi bir modelin en güçlü siber güvenlik yeteneklerine sahiptir. Yakında Mythos 5'e erişimi daha geniş bir güvenilir erişim programı aracılığıyla genişletmeyi planlıyoruz.

Fable 5 ve Mythos 5 gibi modellerin yetenekleri dünya için derin iyilik yapma potansiyeline sahiptir. Bunu Project Glasswing'de görmüş bulunuyoruz; burada modeller siber savunmacıların kritik açıdan önemli yazılımı güvenli hale getirmelerine yardımcı oldu. Ayrıca bunu yaşam bilimleri araştırmasında da görmüş bulunuyoruz; burada modeller yeni hipotezler öne sürüyor ve yeni terapötiklerin geliştirilmesini hızlandırıyor.

Fable 5 ve Mythos 5, milyonda giriş tokeni başına 10 dolar ve milyonda çıkış tokeni başına 50 dolar fiyatla sunuluyor—Claude Mythos Preview'in fiyatının yarısından azı. Bugünün ortak başlatılışı, ileri yapay zeka yeteneklerini olabildiğince çok kullanıcıya, olabildiğince hızlı ve güvenli bir şekilde getirme hedefimize doğru bir adım daha.

Aşağıdaki tablo, Fable 5 ve Mythos 5'in yeteneklerini diğer önde gelen modellerle karşılaştırmaktadır.

Fable 5 ve Mythos 5, önceki herhangi bir Claude modelden daha uzun süre özerk olarak çalışabilir. Aşağıda bu beceriler yazılım mühendisliğine nasıl uygulanıyor ve modelin bilgi çalışması, görüş, bellek ve yaşam bilimleri araştırmasındaki geliştirilmiş yeteneklerini ele alıyoruz.

Yazılım mühendisliği. Erken test sırasında Stripe, Fable 5'in ayları mühendisliği günlere sıkıştırdığını bildirdi. 50 milyonluk bir Ruby kod tabanında, model aksi takdirde tüm bir ekibin iki aydan fazla el ile almış olacağı bir kod tabanı genelinde göçü bir günde gerçekleştirdi. Fable 5 ayrıca geçmiş Claude modellerinden daha token-verimli: Cognition'ın FrontierCode değerlendirmesinde, modellerin zor kodlama görevlerini geçip yüksek kaliteli üretim kod tabanlarının standartlarını karşılayıp karşılamadığını test ederek, Fable 5 orta çabada bile frontier modellerinin en yükseğini puanlandırıyor.

Bilgi çalışması. Fable 5, karmaşık analitik görevlerde güçlü performans gösteriyor. Hebbia'nın üst düzey akıl yürütme için Finans Kıyaslamasında, Fable 5 herhangi bir modelin en yüksek puanına sahip, belgeler üzerinde akıl yürütme, grafik ve tablo yorumlaması ve problem çözmede önemli kazançlar elde ediyor. IMC, Fable 5'in ticaret analizi değerlendirmelerinde neredeyse her alanda başarılı olduğunu not etti; bu da gerçeksel araştırma, kavramsal akıl yürütme, kök neden analizi ve beklenen değer analizini içeriyor.

Görüş. Fable 5, görüş içeren görevler için yeni en üst düzey modeldir. Detaylı bilimsel şekillerden kesin sayıları çıkarabiliyor ve ekran görüntülerinden tek başına bir web uygulamasının kaynak kodunu yeniden oluşturmak gibi karmaşık görüş tabanlı görevleri gerçekleştirebiliyor. Ayrıca daha az yapılandırma gerektiriyor: örneğin, önceki Claude modelleri, ek faydalı araçlar veren koşullar ile bile Pokémon FireRed oynamakta zorlanıyordu, ancak Fable 5 minimal, yalnızca görüş koşuluyla FireRed'i yendi.

Bellek ve uzun bağlam. Fable 5, uzun süren görevlerde milyonlarca token içinde odaklanmış kalıyor ve kendi notlarını kullanarak çıktılarını iyileştiriyor. Model oyununda Slay the Spire'ı oynadığında, kalıcı dosya tabanlı belleğe erişimi, Opus 4.8'e göre üç kat daha fazla performans iyileştirmesi sağladı; Fable ayrıca oyunun final bölümüne üç kat daha sık ulaştı.

İlaç tasarımı: Mythos 5'i kullanarak, dahili protein tasarım uzmanlarımız ilaç tasarımı sürecinin bazı yönlerini yaklaşık on kat hızlandırdı. Bir örnekte, protein tasarımı ve biyoinformatik araçlarıyla ancak insan yardımı olmadan Mythos 5'in, yetenekli insan operatörlerle uyumlu olduğunu veya onları yendiğini bulundu. Bunu yaparken, model normalde bir bilim insanı tarafından tamamlanan tüm görevleri gerçekleştiriyor: bağlanma sahaları seçiyor, protein tasarımı araçlarını seçip çalıştırıyor ve bu süreçte başarısızlıklardan kurtarıyor. Bu çalışmadaki 14 protein hedefinden dokuzu (aşağıda gösterilen), şu anda araştırdığımız ilaç tasarımı için güçlü adaylar sundu.

Moleküler biyolojide yeni hipotezler. Mythos 5, tutarlı bir şekilde yeni, ikna edici bilimsel hipotezler üreten ilk modelimiz. Opus-class modellerine karşı kör baş başa karşılaştırmalarda, bilim insanlarımız Mythos'un moleküler biyoloji hipotezlerini ~%80 oranında tercih ettiler ve birkaçını deneysel değerlendirmeye götürdüler. Bu arada, bir Mythos hipotezi—E. coli proteini için yeni bir mekanizma—bağımsız olarak aynı sorunda çalışan bir laboratuvarın çalışmasında doğrulandı.

Genomiklerde yeni araştırma. Mythos 5, büyük ölçüde özerk çalışma yapılan bir haftadan fazla bir süre içinde genomik alanında yeni araştırma yürüttü. 138 hayvan türünün genelinde milyonlarca hücre için tek hücreli veri derleyip, hatta uzaktan akraba olan organizmalar arasında bile aynı rolü gerçekleştiren hücreleri tanımlamak için özel bir makine öğrenmesi modeli tasarladı ve eğitti. Yalnızca üst düzey insan girdisiyle, Mythos 5'in eğitilmiş modeli Science dergisinde yayınlanan son bir modeli aştı—100 kat daha küçük olmasına rağmen. Bu sonuçları yakında yayınlamayı planlıyoruz.

Alignment. Otomatik alignment değerlendirmemizde, Mythos 5'in hizalanmamış davranış seviyesini (alignment olmayan eylemleri takip ederek; aldatmayı ve modelin yanlış kullanımıyla işbirliğini takip ederek) Opus 4.8 ile düşük ve benzer bulundu. Aynı temel model olduklarından, Fable 5'in alignment seviyesi benzer olacak. Değerlendirme, modelin sistem kartında diğer güvenlik ve yetenek testlerinin detaylı bir paketi ile birlikte tam olarak açıklanmıştır.

Erken erişime sahip müşteriler Fable 5 hakkında kendi testlerini çalıştırdı. Aşağıda, kendi sözleriyle, gördükleri şeylerden bir seçim:

Mythos-class modelleri önemli riskler sunan bir eşiğe ulaştılar. Nisan ayında Project Glasswing'i başlattık; ilk Mythos-class modeli (Claude Mythos Preview) yalnızca sınırlı bir siber savunmacı ve kritik yazılım altyapı sağlayıcı grubuna yayınladık. Bunu yaptığımızda, Mythos-class yeteneklerini sonunda tüm kullanıcılarımıza yayınlamayı umduğumuzu belirttik; bu şartla, yanlış kullanımı güvenilir bir şekilde önlemek için yeterince güçlü olan yeni koruma mekanizmalarını geliştirmiş olacağız.

Son birkaç ay içinde bu koruma mekanizmalarını iyileştirdik ve artık genel yayın için yeterince sağlam hale geldiler. Güvenliğe öncelik verdiğimiz için, koruma mekanizmalarını dikkatli bir şekilde ayarladık ve bunlar hala ideal olandan daha katı durumda—örneğin, bazen zararsız istekleri tetikleyecekler. Bunu tanıdığımız halde, amacımız yayın sonrası koruma mekanizmalarını güncellerken ve iyileştirirken yanlış pozitif sonuçları azaltmaktır.

Aşağıda Fable 5'in yeni koruma mekanizmalarının her birini sırasıyla ele alıyoruz. Daha geniş koruma mekanizmaları paketi, modelin sistem kartında ve en son risk raporumuzda tartışılmış ve değerlendirilmiştir.

Mythos-class modellerinin sınır siber güvenlik ve araştırma biyolojisi yetenekleri, onların kötü niyetli oyuncuların kaldırılması için önemli bir risk oluşturduğu anlamına gelir. Yani, bu modeller, diğer kaynaklardan alamayacakları bilgiler veya tavsiyeler sağlayabilir (örneğin, internet arama motorlarından). Ayrıca, yapay zeka modellerinin ileri seviye kullanımının çoğu çift amaçlıdır: siber güvenlik profesyonelleri ve biyoloji araştırmacılarının elinde faydalı olan sorguların aynısı, kötü niyetli oyuncuların elinde tehlikeli olabilir.

Bu nedenle yanlış kullanımı önlemek için güçlü koruma mekanizmaları gerekiyor ve kapsamlarının geniş olması gerekiyor. Koruma mekanizmalarının kendileri, bunları aşmaya yönelik sürdürülen ve sofistike girişimlere dayanmak zorundadır (ayrıca "sistemi kırmak" olarak da bilinir). Mythos-level yeteneklerinden kaldırılması, birçok düşman için değerlidir—örneğin, siber saldırılardan mali açıdan kazanç sağlayabilecekler—ve bu nedenle bizim güvenlik önlemlerimizi aşmaya çalışmak için motive olmalarını bekleyebiliriz.

Fable 5, yeni bir classifiers kümesi ile geliyor: potansiyel yanlış kullanımı, jailbreak denemelerini dahil ederek, tespit eden ve ana modeli (bu durumda Fable 5) yanıt vermekten önleyen ayrı yapay zeka sistemleri. Modellerimizde bir süredir classifiers çalıştırıyoruz ve Fable 5'in classifiers'ları, bu önceki çalışmanın ekstra kapsamla bir uzantısıdır.

Fable'ın classifiers'ları siber güvenlik, biyoloji ve kimya veya distilasyon ile ilgili bir isteği tespit ettiğinde, yanıt otomatik olarak Claude Opus 4.8 tarafından ele alınır. Bunun her oluşması durumunda kullanıcılar bilgilendirilecekler. Opus 4.8, kendisinin hakkında son derece yetenekli bir modeldir: Fable'a geri dönüş yapılan yanıt, Fable'dan kesin bir reddin çok daha iyi bir deneyimdir. Erken verilerimiz, Fable oturumlarının %95'inden fazlasında hiç geri dönüş olmadığını gösteriyor—bu oturumlar için, Fable 5'in performansı etkin olarak Mythos 5'in aynısıdır.

Aşağıdakiler classifiers tarafından kapsanan alanlar:

1. Siber güvenlik. Mythos-class modelleri yazılım açıklarını keşfetme ve bunlardan yararlanmakta başarılı olur. Bu nedenle, siber saldırıları önemli ölçüde kolay ve ucuz hale getirebilirler. Mythos-class modelleri ayrıca acentelik hackleme konusunda güçlü beceriler gösterirler. Bu, bir açık bulmanın yanında bir siber saldırısının birden çok farklı bölümünü gerçekleştirmeyi (keşif, keşif, yanal hareket vb.) içerir. Bu acentelik hacking becerilerinin siber saldırılara kaldırılmasını sağlamak için, siber güvenlik classifiers'larımızı sömürü ve daha geniş anlamda saldırgan siber görevleri kaplamak için tasarladık. Aşağıdaki grafikte gösterildiği gibi, classifiers'larımız Fable'ın bu görevlerde ilerleme yapmasını önlerler.

Classifiers'larımızı jailbreak'lere karşı sağlamlıklarını test etmek için kapsamlı şekilde red-teamed ettik. Dahili testingin yanı sıra, 1000'den fazla saat test süresi üzerinde hiçbir evrensel jailbreak'i üretmemiş harici bir bug bounty çalıştırdık. Dahil ettiğimiz harici red-teaming kuruluşları da şimdiye kadar uzun biçimli acentelik görevlerde herhangi bir evrensel jailbreak bulmakta başarısız olmuştur—ancak UK AISI'nin kısa bir ilk test penceresinde birine doğru ilerleme kaydetti.4 Evrensel jailbreak'leri tamamen önlemek imkansız olabilir, ancak amacımız, herhangi bir kalan jailbreak'leri ölçekte kullanılmadan önce onları tespit etme ve önleme konusunda yeterince yavaş ve maliyetli hale getirmektir.

Aşağıdaki grafik, dahili değerlendirmelerimizden biridir ve Fable 5'in koruma mekanizmalarının önceki genel erişime açık modellerimizine karşı jailbreak'lere daha fazla direnci nasıl verdiğini göstermektedir:

Harici ortaklarımızdan biri, Fable 5'in zararlı siber sorguların karşısındaki koruma mekanizmalarının test edilen herhangi bir model (Opus 4.8 ve Opus 4.7 dahil) içinde en sağlam olduğunu buldu. Fable 5, bir siber saldırı planlama, açık geliştirme veya savunma kaçışı ile ilgili sıfır zararlı tek sıralı istekle uydu. Bu, bir istek de kamu jailbreak tekniklerinden herhangi birini 30 kullanıp kullanmadığına bakılmaksızın tutuldu.

2. Biyoloji ve kimya. Biyoloji silahları ile ilgili sorguların dar bir seçimini engellemek için classifiers'larımızı uzun süredir kullanmış bulunuyoruz. Ancak bu dar seçimi engelleyin yeterli olduğundan artık emin değiliz. Bu iki nedenle: birincisi, modellerimizden son derece riskli biyolojik araştırmalar için kaldırılması elde etmeye çalışan iyi donanımlı kötü niyetli oyuncular hakkında endişeler var. İkincisi, modeller artık gerçek dünyadaki bilimsel görevleri başarılı kılabilir.

Örneğin, Mythos 5'in adenoyla ilişkili virüsleri (AAV'ler) tasarlamada zorlayıcı bir adımı tamamlama yeteneğini test ettik. AAV'ler gen terapileri sunmak için bir bileşendir, ancak aynı yetenek yanlış ellerde olduğu zaman, tehlikeli virüslerin tasarlanmasını etkinleştirebilir. Bu görevde, çeşitli yapay zeka modelleri, genetik bir modifikasyonun virüsün dış kabuğu montajını nasıl etkileyeceğini tahmin etme yetenekleri konusunda değerlendirildi. Modellerimizi bu görevi gerçekleştirmek için açıkça eğitemedik—ancak Mythos-class modelleri, biyolojik akıl yürütmelerini tek başına kullanarak protein görevlerine ("protein language modelleri" olarak bilinir) adanmış sofistike modellerinin performansını aştı. Bu, gen terapisi araştırması ve geliştirme alanında basit ancak önemli görevleri tamamlama konusunda umut verici bir yeteneği gösteriyor—ancak aynı zamanda bu çift amaçlı yeteneklerin sunduğu riski de vurgular.

Priyoritelerimiz Fable'ı güvenli bir şekilde olabildiğince hızlı yayınlamak, hatta bu fiyattan çok geniş koruma mekanizmaları pahasına da olsa. Bu nedenle, şimdilik biyoloji ve kimya ile ilgili çoğu isteklerde Fable'ın Opus 4.8'e geri dönmesi için düzenledik. Tüm classifiers'larımızda olduğu gibi, bu koruma mekanizmalarını olabildiğince hızlı daraltmayı umuyoruz: yukarıdaki kanıtlardan görülebilir, Fable'ın bilim için büyük uygulanması potansiyeli var ve classifiers'larımızdan yanlış pozitif sonuçların yoluna çıkmasını istemiyoruz. Önümüzdeki haftalarda, bazı biyomedikal araştırmacıları ve şirketleri Mythos 5 biyoloji yetenekleri için güvenilir erişim programımıza katılabilecekler (aşağıda tartışılmıştır).

3. Distilasyon. Daha önceden Claude'un yeteneklerini çıkarmaya ("distile etmeye") yönelik ve otoriter ülkelerde rakip modelleri eğitmek için kullanmak üzere yapılan büyük ölçekli girişimleri belirledik. Fable 5'in yeteneklerinin distilasyonu dolaylı olarak sınır yapay zeka yeteneklerinin yayılmasına yol açabilir—ve bunlar uygun koruma mekanizmaları olmadan yayınlanabilir. Classifiers'larımız tarafından bu distilasyon denemelerinin bir parçası olarak işaretlenen istekler Opus 4.8'e geri dönecektir.

Son olarak, Fable 5, Mythos 5 ve benzer veya daha yüksek yetenek seviyelerine sahip gelecekteki modellerin işletme müşteri verilerini işleme şeklimizde bir değişiklik yapıyoruz. Mythos-class modellerinde tüm trafik için, hem birinci taraf hem de üçüncü taraf yüzeylerde 30 günlük saklama gerektireceğiz. Bu veriyi yeni Claude modellerini eğitmek için veya herhangi bir güvenlikle ilgisiz amaç için kullanmayacağız ve tüm insan erişimini kaydetme ve neredeyse tüm durumlarda 30 gün sonra silinmesini sağlamak da dahil olmak üzere yeni gizlilik korumaları kurmadık (daha fazla ayrıntı için bunu görebilirsiniz). Veriler, karmaşık ve yeni saldırılara karşı savunmamıza (yeni jailbreak'ler ve birçok istek arasında çalışan saldırılar dahil) yardımcı olacağı gibi aynı zamanda yanlış pozitif sonuçları tanımlanmasına ve azaltılmasına yardımcı olacak.

Bugün başlayarak, şu anda Claude Mythos Preview'a erişimi olan tüm kullanıcılar (örneğin, Project Glasswing'deki siber güvenlik ortaklarımız) Claude Mythos 5'e yükseltebilecekler—Claude Fable 5 ile aynı modeldir, ancak siber koruma mekanizmaları kaldırılmıştır. Kullanıcılar Mythos 5'i çoğu durumda Mythos Preview ile karşılaştırılabilir veya biraz daha güçlü bulacaklar, ancak önemli ölçüde daha ucuz.

ABD hükümeti ile danışma içinde, Claude Mythos 5'e erişimi kademeli olarak genişletmeyi planlıyoruz; yeni ortakların periyodik olarak eklenmesine devam ederek ve aynı zamanda siber güvenlik kuruluşlarının daha sistematik bir şekilde başvurabileceği daha geniş güvenilir bir erişim programını takip ederek.

Planlarımız ayrıca biyoloji için bir güvenilir erişim programını açmayı içeriyor; bu da biyomedikal araştırmayı hızlandırmaya ve Mythos-class yeteneklerle yeni terapötikleri keşfetmeye yardımcı olmak amacıyla. Bu program, biyoloji ve kimya koruma mekanizmaları kaldırılmış ancak siber koruma mekanizmaları hala aktif olan Fable 5'e erişim sağlayacak. Temel ve tercüme araştırması kapsayan çeşitli yaşam bilimleri kuruluşlarından küçük bir araştırmacı sayısını kaydedecek; bu programın erişimini genişletmeyi ve eşzamanlı olarak koruma mekanizmalarımızı iyileştirmeyi planlıyoruz.

Claude Fable 5 bugün her yerde mevcuttur. Claude Mythos 5, geniş güvenilir erişim programımız uygun hale gelene kadar, Glasswing ortakları (siber koruma mekanizmaları kaldırılmış) ve yakında seçilmiş biyoloji araştırmacıları (biyoloji ve kimya koruma mekanizmaları kaldırılmış) tarafından yalnızca kısıtlanmıştır.

Her iki model için fiyatlandırma, milyonda giriş tokeni başına 10 dolar ve milyonda çıkış tokeni başına 50 dolardır. Geliştiriciler, Claude API aracılığıyla claude-fable-5'i kullanabilirler.

Fable 5 için talep çok yüksek olacağını ve tahmin etmeyi zorlaştıracağını bekliyoruz. Claude API ve tüketim tabanlı Kurumsal planlarda, Fable 5 bugün tamamen mevcuttur. Abonelik planları için, erişimi sonra vermeyi tercih ediyoruz, bu nedenle daha ihtiyatı bir şekilde aşamalı olarak çıkarıyoruz:

• Bugün 22 Haziran'a kadar, Fable 5 Pro, Max, Team ve koltuk tabanlı Enterprise planlarında ek ücret olmaksızın dahildir.
• 23 Haziran'da, Fable 5'i bu planlardan kaldıracağız. Bundan sonra kullanmak kullanım kredileri gerektirecektir. Kapasite izin verirse, dahil edilen pencereyi genişleteceğiz.
• Bu noktadan sonra—yeterli kapasite izin verdiğinde—Fable 5'i abonelik planlarının standart bir parçası olarak geri yükleymeyi hedefliyoruz. Bunu olabildiğince hızlı yapmayı planlıyoruz.

Bu dönem boyunca, kullanıcılar durumun nerede olduğunu bilsin diye herhangi bir değişikliği zamanında iletişim kuracağız.