นักทดสอบอิสระให้คะแนนโมเดลใหม่ของ Anthropic อย่าง Claude Opus 5 ที่ 159 บนดัชนีวัดศักยภาพหนึ่งชุด ต่ำกว่า Claude Fable 5 เพียง 2 คะแนน แต่กลับสร้างเสียงแตกอย่างหนักในหมู่นักพัฒนาถึงคุณภาพด้านการรีวิวโค้ด
ประเด็นสำคัญ
- Epoch AI ให้คะแนน Claude Opus 5 ที่ 159 บนดัชนีศักยภาพ เทียบกับ 161 ของ Claude Fable 5 โดยทั้งคู่ทำคะแนนด้านซอฟต์แวร์เอนจิเนียริ่งสูสีกัน
- CodeRabbit วัดความแม่นยำของคอมเมนต์รีวิวโค้ดที่นำไปใช้ได้จริงที่ 39.3% จากฐาน 35.2% แต่จำนวนคอมเมนต์จุกจิกเพิ่มขึ้นเกือบ 4 เท่า
- ฝั่งเอ็นเตอร์ไพรส์อย่าง Cognition และ Zapier รายงานว่าผลดีชัดเจนในงานดีบักและอัตโนมัติขั้นตอนธุรกิจแบบ end‑to‑end
คะแนนทดสอบ Claude Opus 5 ถูกจับตาอย่างใกล้ชิด
Anthropic เปิดตัวโมเดลเมื่อวันศุกร์ที่ผ่านมา และระบุ ว่า Opus 5 เข้าใกล้ระดับ “frontier” ของ Fable 5 แต่คิดราคาครึ่งเดียว วางตำแหน่งเป็นเครื่องมือใช้งานประจำวัน ไม่ใช่โมเดลเฉพาะทาง ผู้ประเมินอิสระส่วนใหญ่ก็เห็นคล้อยตาม แม้จะต่างกันในรายละเอียดเรื่องช่องว่างประสิทธิภาพ
Epoch AI ให้คะแนน Opus 5 ที่ 159 บนดัชนีศักยภาพ เทียบกับ 161 ของ Fable 5 และจัดให้ทั้งสองโมเดลทำได้พอๆ กันด้านวิศวกรรมซอฟต์แวร์ จากการรวบรวมโดย Latent Space ที่เผยแพร่
ขณะเดียวกัน Artificial Analysis จัดอันดับ Opus 5 ขึ้นเป็นที่หนึ่งบนเกณฑ์วัดงานความรู้เชิงเอเจนต์ (agentic knowledge work) แซงหน้า Fable 5 ไปเกือบ 150 Elo พร้อมลดต้นทุนต่อหนึ่งงานลงราว 20% นักพัฒนาบางส่วนกลับไม่เห็นด้วยกับคะแนนดัชนีหลัก โดยมองว่าการเพิ่มขึ้นเพียง 1 คะแนนจาก Opus 4.8 รุ่นก่อนหน้า “ต่ำกว่าความจริง” อย่างมาก เมื่อเทียบกับประสบการณ์ใช้งานจริงในแต่ละวัน หนึ่งในผู้ประเมินยังพบว่า ระดับ “ความพยายามปานกลาง” ให้ผลดีกว่าการดันการตั้งค่าไปที่ระดับสูงในแบบทดสอบเขียนโค้ดบางชุด
อ่านเพิ่มเติม: BitMEX กำลังปิดกิจการหลังเปิดมานาน 11 ปี โดยยังหาผู้ซื้อไม่ได้
ผลรีวิวโค้ดทำผู้ทดสอบเสียงแตก
ฝั่งรีวิวโค้ด CodeRabbit นำ Opus 5 ไปทดสอบกับแพตเทิร์นบั๊กกว่า 100 รูปแบบที่ดึงมาจาก pull request แบบโอเพ่นซอร์สจริง ทำสามรอบต่อหนึ่งคอนฟิก และวัดผล ได้ความแม่นยำของคอมเมนต์ที่ “นำไปใช้จริงได้” ที่ 39.3%
ตัวเลขนี้เหนือกว่าฐาน 35.2% ของโมเดลรีวิวที่ใช้จริงในโปรดักชันของบริษัท แต่ในทางกลับกัน Opus 5 จับบั๊กที่รู้ล่วงหน้าได้น้อยลง และสร้างคอมเมนต์ “จุกจิกไร้สาระ” (nitpicks) เพิ่มขึ้นถึง 4 เท่า ซึ่งกลายเป็นภาระให้วิศวกรต้องคัดกรองเอง
เมื่อใช้ค่าเริ่มต้นด้านระดับความพยายาม (default effort) ความแม่นยำยิ่งลดลงเหลือเพียง 26.4% CodeRabbit จึงสรุปเชิงกลยุทธ์ว่า ทีมวิศวกรควรใช้ Opus 5 เป็น “รีวิวเวอร์ตัวที่สอง” ที่เน้นความแม่นยำเฉพาะจุด มากกว่าจะอัปเกรดเข้าไปแทนโมเดลรีวิวหลักใน pipeline ที่ทำงานได้ดีอยู่แล้ว
Claire Vo ผู้ดูแลเฟรมเวิร์กประเมิน 7 โมเดลสำหรับทีมพัฒนาผลิตภัณฑ์ ให้ความเห็น ว่าโมเดลฉลาดมากแต่ใช้งานแล้วน่าหงุดหงิด โดยเฉพาะนิสัย “ย้ำคิดย้ำทำ” และเคส merge conflict ที่โมเดลปฏิเสธไม่ยอมแตะต้องอย่างสิ้นเชิง
ลูกค้า Anthropic ชี้ศักยภาพด้านเอเจนต์เติบโตชัด
ด้านงานเอ็นเตอร์ไพรส์ Scott Wu ซีอีโอของ Cognition ระบุว่า ภายในระบบเอเจนต์ Devin นั้น Opus 5 เข้าใกล้ระดับ Fable ในราคาครึ่งเดียว โดยโดดเด่นเป็นพิเศษด้านดีบักและวิเคราะห์ root cause ของปัญหา ขณะที่ Wade Foster ซีอีโอ Zapier ระบุว่าโมเดลทำคะแนนสูงสุดบนกระดานจัดอันดับระบบอัตโนมัติของบริษัท โดยไม่ใช้โทเคนมากกว่ารุ่น Claude ก่อนหน้า ที่ตั้งราคาเท่ากันคือ 5 ดอลลาร์ต่อโทเคนอินพุตหนึ่งล้านโทเคน
อย่างไรก็ดี คำชมก็มีข้อจำกัดกำกับอยู่ Anthropic ชี้แจง ว่า Opus 5 ยังตามหลัง Mythos 5 ในงานด้าน offensive cybersecurity และคำร้องใดก็ตามที่ถูกระบบตรวจจับด้านความปลอดภัยของบริษัทมองว่าเสี่ยง จะถูกลดระดับกลับไปประมวลผลด้วย Opus 4.8 โดยอัตโนมัติ
ท่าทีระมัดระวังนี้เกิดขึ้นต่อเนื่องจากช่วงผันผวนของโมเดลท็อปไลน์ ก่อนหน้า Fable 5 เคยเปิดตัว ครั้งแรกในเดือนมิถุนายน ถูกถอดออกจากบริการเพียงไม่กี่วันถัดมา ก่อนจะกลับมาให้ผู้ใช้เข้าถึงอีกครั้งเมื่อต้นเดือนกรกฎาคม
อ่านต่อ: หุ้น HubSpot รูด 12.7% นักวิเคราะห์ชี้นิ้วไปที่เอเจนต์รุ่นใหม่ของ OpenAI