Claude Fable 5 กลับมาเมื่อวันที่ 1 ก.ค. พร้อมเสียงบ่นจัดจากผู้ใช้ แต่ข้อมูลเบนช์มาร์กชี้ไปที่ราวเตอร์ Anthropic ที่เข้มงวดขึ้นมากกว่าการที่โมเดลอ่อนลง
ประเด็นสำคัญ:
- BridgeBench รายงานคะแนนการโค้ดของ Fable 5 พังทลายลง หลังจากงานดีบักส่วนใหญ่ถูกเปลี่ยนเส้นทางออกจากโมเดล
- Arena.AI พบผลโหวตมนุษย์แบบบอดส่วนใหญ่ยังคงที่ พร้อมคะแนนดีขึ้นในหมวดเอกสารและข้อความเชิงผู้เชี่ยวชาญ
- นักพัฒนาถูกกระทบชัดที่สุด เพราะพรอมต์ดีบักตามปกติสามารถไปทริกเกอร์คลาสสิฟายเออร์ตัวใหม่ได้
การรูตของ Fable 5
Claude Fable 5 กลับมาออนไลน์เมื่อ 1 ก.ค. หลังการรีอินสเตท ผู้ใช้บน X รีบบรรยายว่ามันพัง ถูกเนิร์ฟ หรือไม่เก่งเท่าเดิม หลักฐานที่ดูหนักแน่นที่สุดสำหรับมุมมองนั้นมาจาก BridgeMind ซึ่งรันชุดเบนช์มาร์กโค้ด BridgeBench ใหม่กับเวอร์ชันที่รีอินสเตท
ผลลัพธ์ดูรุนแรง งานดีบักร่วงจาก 86.2 เหลือ 25.9 งานรีแฟกเตอร์ตกจาก 73.6 เหลือ 38.4 และความสามารถต้านอาการหลอน (hallucination resistance) ลดจาก 75.9 เหลือ 61.7
ตัวเลขเหล่านี้ไม่ได้แสดงการพังทลายในระดับโมเดลอย่างชัดเจน เพราะ BridgeBench ระบุว่ามีเพียง 3 จาก 12 งานดีบัก TypeScript เท่านั้นที่เข้าถึง Fable 5 จริง อีก 9 งานถูกตัวจัดจำแนกความปลอดภัยตัวใหม่ของ Anthropic ดักไว้และส่งต่อไปยัง Claude Opus 4.8 โดยการฟอลแบ็กแต่ละครั้งถูกให้ศูนย์คะแนน เพราะโมเดลที่กำลังประเมินไม่ได้เป็นผู้ตอบ
อ่านเพิ่มเติม: ปริศนา 491 BTC ของ Strategy จุดชนวนถกเถียงนโยบายขายของ Saylor อีกครั้ง
คลาสสิฟายเออร์ของ Anthropic
Arena.AI ได้ข้อสรุปต่างออกไป เพราะวัดจากการให้มนุษย์โหวตแบบบอดบนชุดพรอมต์ที่กว้างกว่า รวมทั้งงานข้อความ ภาพ เอกสาร โค้ด และเอเจนต์ ข้อมูลช่วงแรกแสดงว่า Fable 5 ยังคงประสิทธิภาพใกล้เคียงกับเวอร์ชันเดือนมิถุนายน
โค้ดฝั่งหน้าบ้าน (frontend) ลดจาก 1650 เหลือ 1623 Elo ซึ่ง Arena ระบุว่ายังอยู่ในช่วงความเชื่อมั่นระหว่างที่คะแนนโหวตยังสะสมอยู่ ด้านเอกสารเพิ่มขึ้น 34 แต้ม ข้อความเชิงผู้เชี่ยวชาญเพิ่ม 25 แต้ม และงานเขียนเชิงสร้างสรรค์เพิ่มขึ้น 9 แต้ม
ช่องว่างนี้บ่งชี้ว่า Fable 5 ยังทำงานได้เหมือน Fable 5 เมื่อพรอมต์ไปถึงมัน ปัญหาคือ งานโค้ดที่เกี่ยวเนื่องกับความปลอดภัยอาจถูกเบี่ยงออกไปก่อนที่โมเดลจะตอบ โดยเฉพาะเมื่อพรอมต์มีคำอย่าง vulnerability, exploit, hook หรือ fix
Anthropic ยอมรับว่าคลาสสิฟายเออร์ตัวใหม่จะสร้างฟอลส์โพซิทีฟบนงานโค้ดและดีบักทั่วไป บริษัทระบุว่าจะปรับแต่งระบบตามเวลา แต่ยังไม่ให้เส้นตายเป้าหมาย
การตั้งค่าปัจจุบันตามมาหลังข้อพิพาทด้านความปลอดภัยที่กว้างขึ้น เมื่อทีมวิจัย Amazon รายงานการเจลเบรคที่ผลักให้ Fable 5 ระบุและสาธิตช่องโหว่ซอฟต์แวร์ คำตอบของ Anthropic คือคลาสสิฟายเออร์เชิงอนุรักษนิยม ซึ่งตอนนี้ดูเหมือนจะบล็อกมากกว่าพรอมต์อันตรายที่ตั้งใจจะดักจับเสียอีก
อ่านต่อ: Trump ยืนยันไม่รู้เรื่องรายได้คริปโต 1.4 พันล้านดอลลาร์