Claude Fable 5 1 Temmuz’da geri döndü ve kullanıcı şikayetleri hızla yükseldi; ancak karşılaştırma verileri, sorunun modelin zayıflamasından çok daha sıkı bir Anthropic yönlendiricisinden kaynaklandığını gösteriyor.
Öne Çıkan Noktalar:
- BridgeBench, çoğu hata ayıklama görevinin modelden uzak yönlendirilmesinin ardından Fable 5 kodlama puanlarında çöküş bildirdi.
- Arena.AI, belgeler ve uzman metin kategorilerinde artışlarla birlikte, çoğunlukla sabit kalan kör insan-tercihi sonuçları buldu.
- Geliştiriciler, rutin hata ayıklama istemlerinin yeni sınıflandırıcıyı tetikleyebilmesi nedeniyle en net bozulmayı yaşıyor.
Fable 5 Yönlendirmesi
Claude Fable 5, yeniden devreye alınmasının ardından 1 Temmuz’da çevrimiçi hale geldi ve X üzerindeki kullanıcılar onu kısa sürede bozuk, “nerf”lenmiş ya da eskisine göre daha az yetenekli olarak tanımladı. Bu görüşün en güçlü kanıtı, karşılaştırma kodlama test paketi BridgeBench’i yeniden, geri dönen sürüme karşı çalıştıran BridgeMind’ten geldi.
Sonuçlar sert görünüyordu. Hata ayıklama 86,2’den 25,9’a düştü, yeniden düzenleme 73,6’dan 38,4’e geriledi ve halüsinasyon direnci 75,9’dan 61,7’ye indi.
Ancak bu sayılar, model düzeyinde net bir çöküşü göstermiyor; çünkü BridgeBench, 12 TypeScript hata ayıklama görevinden yalnızca üçünün gerçekten Fable 5’e ulaştığını, diğer dokuzunun ise Anthropic’in yeni güvenlik sınıflandırıcısı tarafından yakalanıp Claude Opus 4.8’e gönderildiğini belirtti. Değerlendirilen model yanıt vermediği için, bu geri dönüşlerin her biri sıfır puanlandı.
Ayrıca Oku: Strategy’nin 491 BTC Gizemi, Saylor’un Satış Politikasına Dair Tartışmayı Yeniden Alevlendiriyor
Anthropic Sınıflandırıcısı
Arena.AI, kod, görsel, belge ve ajan görevlerinin yanı sıra metni de içeren daha geniş bir istem karması üzerinde kör insan tercihlerine baktığı için farklı bir sonuca ulaştı. İlk verileri, Fable 5’in Haziran sürümüne kıyasla büyük ölçüde istikrarını koruduğunu gösterdi.
Frontend kodu Elo puanı 1650’den 1623’e geriledi; Arena, oylar birikmeye devam ederken bunun hâlâ güven aralığı içinde kaldığını söyledi. Belge performansı 34 puan arttı, uzman metin 25 puan kazandı ve yaratıcı yazım 9 puan yükseldi.
Bu ayrışma, istemler Fable 5’e ulaştığında modelin hâlâ Fable 5 gibi davrandığını düşündürüyor. Sorun şu ki, güvenlik ile ilişkili kodlama çalışmaları, özellikle istemler vulnerability, exploit, hook veya fix gibi terimler içerdiğinde, model yanıt vermeden önce başka yöne çevrilebiliyor.
Anthropic, yeni sınıflandırıcıların sıradan kodlama ve hata ayıklama işlerinde yanlış pozitifler üreteceğini kabul etti. Şirket, sistemi zamanla rafine edeceğini söyledi; ancak bir hedef tarih vermedi.
Mevcut kurulum, Amazon araştırmacılarının Fable 5’i yazılım açıklarını tanımlamaya ve göstermeye zorlayan bir jailbreak bildirmesinin ardından yaşanan daha geniş bir güvenlik tartışmasını izliyor. Anthropic’in yanıtı, şimdi tasarlandığı tehlikeli istemlerden fazlasını engelliyor gibi görünen temkinli bir sınıflandırıcı oldu.
Sıradaki Haber: Trump, 1,4 Milyar Dolarlık Kripto Gelirinden Haberi Olmadığını Söyledi