Claude Fable 5 1 Temmuz’da geri döndü ve kullanıcı şikayetleri sertti; ancak kıyas verileri, zayıflamış bir modelden çok daha sıkı bir Anthropic yönlendiricisine işaret ediyor.
Öne Çıkan Noktalar:
- BridgeBench, hata ayıklama görevlerinin çoğu modelden uzak yönlendirildikten sonra Fable 5’in kodlama puanlarında çöküş bildirdi.
- Arena.AI, belge ve uzman metni kategorilerinde artışla birlikte, çoğunlukla istikrarlı kör insan-tercihi sonuçları buldu.
- Geliştiriciler, rutin hata ayıklama istemlerinin yeni sınıflandırıcıyı tetikleyebilmesi nedeniyle en net bozulmayı yaşıyor.
Fable 5 Yönlendirmesi
Claude Fable 5, yeniden devreye alınmasının ardından 1 Temmuz’da tekrar çevrimiçi oldu ve X üzerindeki kullanıcılar onu kısa sürede bozuk, “nerf’lenmiş” veya eskisinden daha az yetenekli olarak tanımladı. Bu görüş için en güçlü kanıt, kıyas paketini yeniden çalıştıran BridgeMind’dan geldi.
Sonuçlar sert görünüyordu. Hata ayıklama 86,2’den 25,9’a düştü, yeniden düzenleme 73,6’dan 38,4’e indi ve halüsinasyona direnç 75,9’dan 61,7’ye geriledi.
Ancak bu sayılar, model düzeyinde temiz bir çöküşü göstermiyor; çünkü BridgeBench, 12 TypeScript hata ayıklama görevinin yalnızca üçünün gerçekten Fable 5’e ulaştığını söyledi. Diğer dokuzu, Anthropic’in yeni güvenlik sınıflandırıcısı tarafından yakalanarak Claude Opus 4.8’e gönderildi ve değerlendirilen model yanıt vermediği için her geri dönüş sıfır puan aldı.
Ayrıca Oku: Strategy’nin 491 BTC Gizemi Saylor’un Satış Politikası Tartışmasını Yeniden Alevlendiriyor
Anthropic Sınıflandırıcısı
Arena.AI, metin, görsel, belge, kod ve ajan görevleri dahil daha geniş bir istem karmasında kör insan tercihlerini ölçtüğü için farklı bir sonuca ulaştı. Erken veriler, Fable 5’in haziran sürümüne karşı çoğunlukla istikrarlı kaldığını gösterdi.
Ön uç kodu 1650’den 1623 Elo’ya geriledi; Arena, oylar birikmeye devam ederken bunun hâlâ güven aralığı içinde kaldığını belirtti. Belge performansı 34 puan yükseldi, uzman metni 25 puan kazandı ve yaratıcı yazım 9 puan arttı.
Bu ayrışma, istemler modele ulaştığında Fable 5’in hâlâ Fable 5 gibi davrandığını gösteriyor. Sorun, güvenlik ile ilişkili kodlama çalışmalarının, özellikle de istemler vulnerability, exploit, hook veya fix gibi terimler içerdiğinde, model yanıt vermeden önce saptırılabilmesi.
Anthropic, yeni sınıflandırıcıların sıradan kodlama ve hata ayıklama işlerinde yanlış pozitifler üreteceğini kabul etti. Şirket, sistemi zaman içinde iyileştireceğini söyledi ancak bir hedef tarih vermedi.
Mevcut kurulum, Amazon araştırmacılarının Fable 5’i yazılım açıklarını tanımlamaya ve göstermeye zorlayan bir “jailbreak” bildirmesinin ardından ortaya çıkan daha geniş bir güvenlik anlaşmazlığını takip ediyor. Anthropic’in cevabı, şimdi tasarlandığı tehlikeli istemlerden fazlasını engelliyor gibi görünen muhafazakâr bir sınıflandırıcı oldu.
Sıradaki Haber: Trump 1,4 Milyar Dolarlık Kripto Gelirinden Haberi Olmadığını Söyledi