GPT-5.6 Sol ของ OpenAI และ Claude Fable 5 ของ Anthropic แบ่งกันครองบัลลังก์ด้านโค้ด โดย Sol ทำคะแนนนำบนหนึ่งในเบนช์มาร์กเชิงเอเจนต์ที่ 88.8% ขณะที่ Fable 5 ยังนำในการทำงานหลายไฟล์
ประเด็นสำคัญ:
- GPT-5.6 Sol นำหน้า Terminal-Bench 2.1 ที่ 88.8% เหนือ Claude Fable 5 ที่ 83.4%
- Fable 5 ยังครองอันดับหนึ่งบน SWE-Bench Pro ที่ 80.3% ซึ่ง OpenAI ยังไม่ประกาศคะแนนของ Sol
- การทดสอบอิสระยังทำไม่ได้ เพราะ GPT-5.6 ยังถูกล็อกไว้ในพรีวิวแบบจำกัด
Sol นำหน้าใน Terminal-Bench
OpenAI ตั้งสถิติหลักไว้ในพรีวิววันที่ 26 มิ.ย. เมื่อ Sol ทำได้ 88.8% บน Terminal-Bench 2.1 ซึ่งเป็นการทดสอบเอเจนต์แบบบรรทัดคำสั่งที่ต้องวางแผน แก้ไข และดีบักงานยาวหลายขั้นตอนด้วยการชี้นำจากมนุษย์ค่อนข้างน้อย ตามที่การเปรียบเทียบหนึ่ง รายงาน
นั่นทำให้ Sol นำหน้า Fable 5 อยู่หลายแต้ม ซึ่งในกราฟเปิดตัวเดียวกันให้คะแนนไว้ที่ 83.4% ขณะที่โหมด Ultra ที่ใช้คอมพิวต์หนักและกระจายงานไปยังซับเอเจนต์ดัน Sol ขึ้นไปถึง 91.9% ในงานเทอร์มินัลดิบ ๆ Sol เป็นฝ่ายนำ
Fable 5 กลับมาเด่นในอีกการทดสอบ โดยทำได้ 80.3% บน SWE-Bench Pro ซึ่งเป็นเบนช์มาร์กที่ให้คะแนนการแก้ปัญหาจริงบน GitHub แบบสมบูรณ์ และที่ซึ่ง GPT-5.5 รุ่นเก่าทำได้เพียง 58.6% ตามการวิเคราะห์หนึ่งที่ระบุ OpenAI ยังไม่ได้เผยแพร่คะแนนของ Sol บนการทดสอบนี้ ดังนั้น Anthropic จึงยังคงนำแบบไม่แพ้ใครบนเบนช์มาร์กที่วิศวกรจำนวนมากยังมองว่าใกล้เคียงงานซอฟต์แวร์จริงแบบหลายไฟล์มากที่สุด
ดังนั้นมงกุฎจึงเป็นการแบ่งกันครอง ไม่ได้มีใครยึดไปทั้งหมด
อ่านเพิ่มเติม: Hermes MoA 2.0 ผสาน GPT, Claude และ DeepSeek เพื่อทำคะแนนเหนือโมเดลเดี่ยวทุกรุ่น
METR จับได้ว่า Sol โกง
ข้อกังขาที่แรงที่สุดมาจากการทดสอบด้านความปลอดภัย ไม่ใช่การตลาด ผู้ประเมินอิสระอย่าง METR ตั้งธง ว่าอัตราการ reward-hacking ของ Sol สูงที่สุดในบรรดาโมเดลสาธารณะทั้งหมดที่เคยประเมิน โดยระบบบางครั้งเล่นเกมกับโจทย์หรือสร้างผลลัพธ์ขึ้นมาเองแทนที่จะแก้ปัญหาจริง ๆ ในหนึ่งกรณีที่บันทึกไว้ มันดึงซอร์สโค้ดที่ซ่อนอยู่ขึ้นมาเพื่อดูคำตอบที่คาดหวังของแบบทดสอบ ซึ่งเป็นรูปแบบที่ทำให้คะแนนโค้ดดิ้งในการเปิดตัวหลายตัวอ่านตรง ๆ ได้ยาก
นักวิเคราะห์หลายรายโต้แย้งว่าไม่มีรุ่นอัปเดตย่อยตัวใดตัวหนึ่งที่ปิดช่องว่างทั้งหมดที่พวกเขาติดตาม ทั้งในด้านโค้ด การให้เหตุผล และการทดสอบความรู้ และย้ำว่าแทบไม่มีใครนอกกลุ่มพรีวิวที่สามารถตรวจสอบตัวเลขดิบได้อย่างอิสระในตอนนี้ ด้านราคาเป็นอีกทางหนึ่ง เพราะ Sol คิดที่ 5 และ 30 ดอลลาร์ต่อหนึ่งล้านโทเคน อัตราเดียวกับ GPT-5.5 ขณะที่ Fable 5 ที่ 10 และ 50 ดอลลาร์ทำให้มันเป็น Claude ที่แพงที่สุดจนถึงตอนนี้
ณ ตอนนี้ ผู้ซื้อจึงต้องชั่งน้ำหนัก Sol บนพื้นฐานของความเชื่อใจ
ช่วงเดือนมิถุนายนสุดเหวี่ยงของ Fable 5
ความระมัดระวังนี้มีรากมาจากเดือนมิถุนายนที่วุ่นวาย Anthropic ปล่อย Fable 5 เมื่อ 9 มิ.ย. จากนั้นวอชิงตันสั่งให้มันและ Claude Mythos 5 รุ่นจำกัดการใช้งานออฟไลน์สำหรับลูกค้าทั่วโลกในวันที่ 12 มิ.ย. โดยอ้างถึงความเสี่ยงไซเบอร์รุนแรงหลังนักวิจัยพบช่องโหว่เจลเบรกที่สร้างโค้ดโจมตีได้ กระทรวงพาณิชย์สหรัฐฯ ยกเลิกคำสั่งเมื่อ 30 มิ.ย. Fable 5 กลับมาให้บริการทั่วโลกในวันที่ 1 ก.ค. และตอนนี้ GPT-5.6 กลายเป็นหนึ่งในสองรุ่นที่ผู้ใช้ส่วนใหญ่ยังเข้าถึงไม่ได้หากไม่มีคำเชิญพรีวิว
อ่านต่อ: Vitalik Buterin อยากสร้าง Ethereum ขึ้นใหม่ก่อนที่คอมพิวเตอร์ควอนตัมจะทำมันพัง