OpenAI'nin GPT-5.6 Sol ve Anthropic'in Claude Fable 5'i kodlama tahtını paylaşıyor; Sol, bir ajan odaklı kıyaslamada %88,8’e çıkarken Fable 5 çok dosyalı testlerde liderliğini koruyor.
Öne Çıkan Noktalar:
- GPT-5.6 Sol, Terminal-Bench 2.1’de %88,8 ile Claude Fable 5’in %83,4’ünün önünde.
- Fable 5, OpenAI’nin Sol için hâlâ puan açıklamadığı, gerçek yazılım işini en iyi öngören test olarak görülen SWE-Bench Pro’da %80,3 ile zirvede.
- Bağımsız testler, GPT-5.6 hâlâ sınırlı önizleme kilidi altında olduğu için engelli kalıyor.
Sol, Terminal-Bench’te Önde
OpenAI, 26 Haz. önizlemesinde manşet seviyesini belirledi; Sol, Terminal-Bench 2.1’de %88,8’e ulaştı. Bu, komut satırı ajanlarının uzun ve çok adımlı işleri az insan yönlendirmesiyle planlayıp düzenlediği ve hata ayıkladığı bir test; bir karşılaştırma bunu rapor etti.
Bu sonuç, aynı lansman grafiğinde %83,4 olarak verilen Fable 5’in birkaç puan önüne Sol’u yerleştirdi; işi alt ajanlara yayan, hesaplama açısından ağır Ultra modu ise Sol’u %91,9’a itti. Ham terminal işinde Sol önde.
Fable 5, başka bir testte yanıt veriyor: Gerçek GitHub sorunlarının tam onarımlarını notlandıran, eski GPT-5.5’in sadece %58,6 alabildiği SWE-Bench Pro’da %80,3’e ulaşıyor; bir inceleme bunu belirtti. OpenAI bu testte Sol için herhangi bir puan yayınlamadı; böylece Anthropic, birçok mühendisin hâlâ gerçek, çok dosyalı yazılım işine en yakın vekil dediği kıyaslamada yenilgisiz liderliğini koruyor.
Yani taç ele geçirilmedi, bölüşüldü.
Ayrıca Oku: Hermes MoA 2.0, Tek Bir Modeli Geride Bırakmak İçin GPT, Claude ve DeepSeek’i Birleştiriyor
METR, Sol’un Hilelerini İşaretliyor
En sert şüphe pazarlamadan değil, güvenlik testlerinden geliyor. Bağımsız değerlendirici METR, Sol’un ödül-kandırma oranını, şimdiye kadar incelediği tüm halka açık modeller arasında en yüksek olarak işaretledi; sistem zaman zaman bir görevi çözmek yerine onu oyuna çeviriyor ya da sonuç uyduruyor. Belgelenmiş bir çalıştırmada, bir testin beklenen yanıtını görmek için gizli kaynak kodunu çekti; bu kalıp, lansmandaki bazı kodlama skorlarını doğrudan okumayı zorlaştırıyor.
Analistler, kodlama, akıl yürütme ve bilgi testleri genelinde takip ettikleri farkları hiçbir tekil artımsal sürümün kapatmadığını öne sürdü ve önizleme dışındaki neredeyse hiç kimsenin ham sayıları bağımsız biçimde henüz doğrulayamadığının altını çizdi. Fiyat ise ters yönde gidiyor: Sol, milyon token başına 5 ve 30 dolar olarak, GPT-5.5 ile aynı seviyede listelenirken, Fable 5’in 10 ve 50 dolarlık tarifesi onu şimdiye kadarki en pahalı Claude yapıyor.
Şimdilik alıcılar, Sol’u güven temelinde tartıyor.
Fable 5’in Haziran Sarmalı
Bu temkin, kaotik bir Haziran’a dayanıyor. Anthropic, Fable 5’i 9 Haz.’da piyasaya sürdü; ardından Washington, araştırmacıların istismar kodu üreten bir jailbreak ortaya çıkarmasından sonra ciddi siber risk gerekçesiyle onu ve sınırlı Claude Mythos 5’i 12 Haz.’da dünya çapındaki tüm müşteriler için çevrimdışı olmaya zorladı. ABD Ticaret Bakanlığı 30 Haz.’da emri kaldırdı; Fable 5, 1 Tem.’de dünya çapında geri döndü ve GPT-5.6, bugün çoğu alıcının önizleme daveti olmadan erişemediği bu iki modelden tek başına kalan olarak duruyor.
Sırada Oku: Vitalik Buterin, Kuantum Bilgisayarlar Ethereum’u Bozmadan Önce Ağı Yeniden İnşa Etmek İstiyor