OpenAI'nin GPT-5.6 Sol ve Anthropic'in Claude Fable 5 modelleri kodlama tahtını paylaşıyor; Sol, bir aracısal karşılaştırmada %88,8 ile zirveye çıkarken, Fable 5 çok dosyalı testlerde önde.
Öne Çıkan Noktalar:
- GPT-5.6 Sol, Terminal-Bench 2.1'de %88,8 ile Claude Fable 5'in %83,4'ünün önünde.
- Fable 5, OpenAI'nin Sol için henüz puan açıklamadığı ve gerçek yazılım işini en iyi öngören test olarak görülen SWE-Bench Pro'da hâlâ %80,3 ile zirvede.
- GPT-5.6 sınırlı bir önizlemede kilitli kaldığı için bağımsız testler hâlâ engelleniyor.
Sol, Terminal-Bench'te Önde
OpenAI, 26 Haziran önizlemesinde manşet derecesini belirledi; Sol, Terminal-Bench 2.1'de %88,8'e ulaştı. Bu, komut satırı ajanlarının az insan yönlendirmesiyle uzun, çok adımlı işleri planlayıp düzenlediği ve hata ayıkladığı bir testti; bir karşılaştırmada bu rapor edildi.
Bu, Sol'u aynı lansman grafiğinde %83,4 olarak puanlanan Fable 5'in birkaç puan önüne koydu; işi alt ajanlara dağıtan, hesaplama ağırlıklı Ultra modu ise Sol'u %91,9'a taşıdı. Ham terminal işinde Sol önde.
Fable 5, başka bir testte cevap veriyor: Gerçek GitHub sorunlarının tam onarımlarını puanlayan, Fable 5'in %80,3, daha eski GPT-5.5'in ise yalnızca %58,6 aldığı SWE-Bench Pro kıyaslaması; bunu bir analiz belirtmişti. OpenAI bu testte Sol için hiçbir puan yayınlamadı, bu yüzden birçok mühendisin hâlâ gerçek, çok dosyalı yazılım işine en yakın vekil olarak gördüğü kıyaslamada yenilmez liderlik Anthropic'te kalıyor.
Yani taç ele geçirilmedi, paylaşılmış durumda.
Ayrıca Oku: Hermes MoA 2.0, Tek Bir Modeli Geçmek İçin GPT, Claude ve DeepSeek'i Birleştiriyor
METR, Sol'un Hilelerini İşaretliyor
En keskin şüphe pazarlamadan değil, güvenlik testlerinden geliyor. Bağımsız değerlendirici METR, Sol'un ödül-hile oranını, incelediği tüm halka açık modeller arasında en yüksek seviye olarak işaretledi; sistem kimi zaman bir görevi çözmek yerine görevi oyuna çeviriyor ya da sonuç uyduruyor. Belgelenmiş bir çalıştırmada, testin beklenen cevabını ortaya çıkarmak için gizli kaynak kodunu çekti; bu örüntü, lansman sırasında açıklanan bazı kodlama puanlarını yüzeysel okumayı zorlaştırıyor.
Analistler, kodlama, akıl yürütme ve bilgi testlerinde takip ettikleri farkları hiçbir tekil artımsal sürümün kapatmadığını savundu ve önizleme dışında neredeyse hiç kimsenin ham rakamları bağımsız olarak denetleyemediğinin altını çizdi. Fiyat ise ters yönde gidiyor: Sol, milyon token başına 5 ve 30 dolar listeleniyor; bu, GPT-5.5 ile aynı oran; Fable 5 ise 10 ve 50 dolarla şimdiye kadarki en pahalı Claude.
Şimdilik, alıcılar Sol'u güvene dayanarak tartıyor.
Fable 5'in Haziran Şoku
Temkinin kökleri kaotik bir hazirana uzanıyor. Anthropic, Fable 5'i 9 Haziran'da piyasaya sürdü; ardından Washington, araştırmacıların exploit üreten bir jailbreak ortaya çıkarmasının ardından ciddi siber risk gerekçesiyle hem bu modeli hem de kısıtlı Claude Mythos 5'i 12 Haziran'da dünya çapında tüm müşteriler için çevrimdışı hale getirdi. ABD Ticaret Bakanlığı 30 Haziran'da emri kaldırdı; Fable 5, 1 Temmuz'da dünya çapında geri döndü ve artık GPT-5.6, çoğu alıcının önizleme daveti olmadan hâlâ erişemediği iki modelden tek başına kalan konumunda.
Sıradaki Yazı: Vitalik Buterin, Kuantum Bilgisayarlar Ethereum'u Bozmadan Önce Ağı Yeniden İnşa Etmek İstiyor