ประเด็นสำคัญ
Anthropic เผยงานวิจัยที่ให้ Claude ทำงาน alignment แบบอัตโนมัติ Claude ช่วยปรับปรุงคะแนนความปลอดภัยในเคสความล้มเหลวด้าน alignment ที่ทดสอบทั้ง 10 รูปแบบ Anthropic ระบุว่าความสามารถทั่วไปของโมเดลยังคงเดิมระหว่างการทดสอบ บริษัทปล่อยชุดเครื่องมือวิจัย alignment แบบอัตโนมัติให้บุคคลภายนอกใช้งาน
Anthropic เปิดเผยว่า Claude สามารถยกระดับคะแนนความปลอดภัยในเคสความล้มเหลวด้าน alignment ที่ทดสอบทั้ง 10 รูปแบบ ผ่านกระบวนการวิจัยแบบอัตโนมัติ โดยระบุว่าการทดสอบดังกล่าวยังรักษาความสามารถทั่วไปของโมเดลไว้ได้ ขณะที่นักวิจัยทดลองมาตรการด้านความปลอดภัยรูปแบบต่าง ๆ
Anthropic ระบุในโพสต์ ว่าได้ปล่อยชุดเครื่องมือสำหรับงานวิจัย alignment แบบอัตโนมัติให้กับนักวิจัยภายนอกใช้งาน โดยมองว่างานชุดนี้เป็นความพยายามในการวัดและลดปัญหาการ “ผิดแนว” (misalignment) ของโมเดล
Claude ทดสอบมาตรการด้านความปลอดภัย
Anthropic อธิบายว่า Claude ถูกใช้สำรวจรูปแบบการ misalignment ที่พบบ่อย เช่น พฤติกรรมหลอกลวง (deception) และการเออออตามผู้ใช้เกินควร (sycophancy) โมเดลเป็นฝ่ายเสนอแนวทาง แนะนำวิธีฝึกโมเดลขนาดเล็กลง และประเมินผลลัพธ์ด้วยตัวเองในแต่ละขั้น โดยแทบไม่ต้องอาศัยการแทรกแซงโดยตรงจากมนุษย์
ในการทดลองระยะต้น บริษัทให้ Claude ใช้เวลา 48 ชั่วโมงควบคู่กับหน่วยประมวลผลกราฟิก (GPU) จำนวน 1 ตัว เพื่อค้นคว้าแนวทาง เสนอวิธีการฝึก และทดสอบโมเดลที่ได้จากกระบวนการดังกล่าว
Anthropic ระบุว่า Claude สามารถเพิ่มคะแนนด้านความปลอดภัยได้ โดยไม่ทำให้ความสามารถทั่วไปของโมเดลถดถอยในสภาพแวดล้อมการทดสอบที่ใช้ อีกทั้งบางวิธียังสามารถถ่ายทอดผลลัพธ์ไปสู่ชุดวัดผล (benchmark) อื่น ที่ไม่ได้ถูกใช้ในขั้นตอนการปรับแต่งเริ่มต้น
บริษัทระบุเพิ่มเติมว่า วิธีการดังกล่าวสามารถใช้งานได้กับการตรวจสอบพฤติกรรมแบบ Petri behavioral audit และทดสอบกับโมเดลที่มีขนาดใหญ่กว่าโมเดลที่ใช้ในกระบวนการวิจัยสูงสุดถึง 4.7 เท่า
อย่างไรก็ดี ผลลัพธ์ทั้งหมดอ้างอิงจากสภาพแวดล้อมการทดสอบที่วัดได้เป็นหลัก โดย Anthropic เตือนว่าความล้มเหลวที่เกิดขึ้นนาน ๆ ครั้ง หรือกรณีที่ละเอียดอ่อนมาก อาจไม่ปรากฏในชุด benchmark ที่มีอยู่ในปัจจุบัน
อ่านเพิ่มเติม: อัปเกรด TRON เพิ่มการยืนยันแบบ P-256 และประวัติบล็อกที่ยาวขึ้น
ยุคใหม่ของ AI Alignment แบบอัตโนมัติ
ก่อนมีงานวิจัยชุดนี้ งานด้าน alignment ส่วนใหญ่ต้องอาศัยนักวิจัยมนุษย์ออกแบบมาตรการ และประเมินผลโมเดลด้วยตนเองเป็นหลัก ระบบอัตโนมัติอาจช่วยย่นระยะเวลาดังกล่าวได้ หากผลลัพธ์ยังยืนหยัดได้เมื่อผ่านการประเมินจากภายนอกอย่างอิสระ
ในช่วง 30 วันที่ผ่านมา ประเด็นถกเถียงเรื่องความปลอดภัยของ AI หันมาให้ความสนใจมากขึ้นกับแนวคิดที่ว่า โมเดลที่แข็งแกร่งกว่าอาจช่วยประเมิน และยกระดับความปลอดภัยให้โมเดลที่อ่อนแอกว่าได้
แนวทางนี้ตั้งอยู่บนเงื่อนไขสำคัญคือ การมีตัวชี้วัดที่เชื่อถือได้ และกลไกป้องกันไม่ให้โมเดล “เล่นเกม” กับชุด benchmark จนคะแนนดูดีเกินจริง
Anthropic ระบุว่าในการทดลอง ใช้ชุดทดสอบที่กันไว้ (held-out tests) เพื่อตรวจสอบว่าวิธีการที่ Claude ใช้สามารถทั่วไป (generalize) ไปไกลกว่าชุด benchmark ที่โมเดลใช้ในการปรับแต่งหรือไม่ พร้อมย้ำว่า ผลการทดสอบเพียงอย่างเดียวไม่อาจลบล้างความเสี่ยงทุกรูปแบบของโมเดลได้
บริษัทเน้นว่าการเลือกตัวชี้วัดที่ “ถูกต้องและตรงจุด” ยังคงเป็นหัวใจของงานด้านนี้
เปิดทางให้นักวิจัยภายนอกใช้ชุดเครื่องมือ
Anthropic เปิดชุดเครื่องมือวิจัยดังกล่าวเพื่อให้สถาบันและกลุ่มวิจัยอื่น สามารถทำซ้ำ (reproduce) หรือขยายผลการทดลองต่อไปได้ การทดสอบจากภายนอก จะเป็นตัวชี้ว่ากระบวนการนี้ใช้ได้ดีเพียงใดกับโมเดลคนละตระกูล และการประเมินความปลอดภัยหลากหลายรูปแบบ
บริษัทชี้แจงว่าไม่ได้มองผลลัพธ์ครั้งนี้เป็น “ตัวแทน” ของการประเมินโมเดลในวงกว้างทั้งหมด แต่จำกัดกรอบอยู่ที่เคสความล้มเหลวด้าน alignment ที่ทดสอบ และข้อจำกัดเชิงทดลองที่กำหนดไว้
งานวิจัยต่อเนื่องมีแนวโน้มจะมุ่งไปที่การทำซ้ำผลลัพธ์ การออกแบบ benchmark รูปแบบใหม่ และการไล่หาจุดล้มเหลวแฝง (failure modes) ที่อาจยังตรวจไม่พบ การปล่อยชุดเครื่องมือของ Anthropic จึงถูกมองว่าเป็นโครงร่างพื้นฐานสำหรับงานเหล่านี้
อ่านต่อ: กระแส Fomo Copy Trading ทำให้กระเป๋าเงินเกือบ 94% ขาดทุน: ผลวิจัย
