GPT-6.1 Sol ช่วย Asana ลดต้นทุนเอเจนต์บนเบราว์เซอร์ได้ 76 เท่า แต่มีข้อแม้สำคัญ

Asana สามารถลดต้นทุนการรันเอเจนต์ AI บนเบราว์เซอร์ได้ถึง 76 เท่าในการทดสอบภายใน หลังจากปรับวิธีการนำข้อมูลเก่ากลับมาใช้ซ้ำ และเปลี่ยนมาใช้โมเดล OpenAI's GPT-6.1 Sol ตามข้อมูลจากทั้งสองบริษัท

ประเด็นสำคัญ:

• เอเจนต์ที่ปรับแต่งแล้วของ Asana มีต้นทุนเฉลี่ยต่อการรันอยู่ที่ 0.47 ดอลลาร์บน GPT-6.1 Sol ลดลงจากอย่างน้อย 36.21 ดอลลาร์บนโมเดลคู่แข่ง
• แค่ปรับเวิร์กโฟลว์ ยังไม่เปลี่ยนโมเดล ก็ช่วยลดต้นทุนได้แล้ว 29 เท่า
• ตัวเลขทั้งหมดมาจากการทดสอบในกรณีใช้งานที่แคบ และยังไม่มีการตรวจสอบจากบุคคลที่สาม

การทดสอบ Asana StackAI

OpenAI ได้เผยแพร่ ผลการทดสอบนี้ในกรณีศึกษาเมื่อวันที่ 9 ต.ค. หนึ่งวันหลังจากทีมวิศวกรของ Asana เผยแพร่รายละเอียดการทดสอบ 144 รอบที่ใช้เป็นฐานข้อมูล

การทดสอบมุ่งไปที่เอเจนต์เบราว์เซอร์ภายใน StackAI แพลตฟอร์มอัตโนมัติที่ Asana เข้าซื้อกิจการ ซึ่งสามารถท่องเว็บไซต์ กรอกฟอร์ม และดึงข้อมูลโดยไม่ต้องเขียนโค้ด แต่ละรันถูกสั่งให้รวบรวมข้อมูลเกี่ยวกับหนังสือ 32 เล่ม

ในสภาพแวดล้อมโปรดักชันเดิมที่ใช้โมเดลคู่แข่ง การรันแต่ละครั้งมีต้นทุนอย่างน้อย 36.21 ดอลลาร์ และใช้เวลาขั้นต่ำราว 22.5 นาที โดยบางรันชนเพดานจำนวนขั้นตอนจนไม่สามารถทำงานจบได้ ขณะที่เวอร์ชันที่ปรับแต่งแล้วซึ่งรันบน GPT-6.1 Sol มีต้นทุนเฉลี่ยเพียง 0.47 ดอลลาร์ ใช้เวลาประมาณ 4 นาทีต่อรัน และทุกการรันให้คำตอบถูกต้องครบถ้วน

GPT-6 Astra ของ OpenAI ที่ทำงานอยู่ในเครื่องมือโค้ดดิ้ง Codex ตรวจพบว่าเอเจนต์ส่งประวัติข้อความหน้าเว็บและภาพหน้าจอที่สะสมอยู่กลับไปใหม่แทบทุกครั้งในราคาปกติเต็มจำนวน Astra จึงทดลอง แนวทางแก้ไขหลายอย่าง ตั้งแต่แคชประวัติหน้าเว็บ ปล่อยให้ภาพหน้าจอสะสมได้สูงสุด 20 ภาพก่อนจะตัดกลับมาเหลือเพียงภาพเดียว และเพิ่มเพดานความยาวประวัติเป็น 4 เท่า เมื่อรันบน GPT-6.1 Sol หลังปรับแล้ว พบว่าถึง 89% ของอินพุตมาจากแคช

อ่านเพิ่มเติม: UI อัจฉริยะของ ChatGPT ใส่กราฟและเครื่องคิดเลขในคำตอบสำหรับผู้ใช้ 1.2 พันล้านคน

มุมมองของแฟรงก์ ฮิดัลโก เรื่องต้นทุน

แฟรงก์ ฮิดัลโก ประธานเจ้าหน้าที่เทคโนโลยีของ StackAI ระบุว่า งานวิจัยชุดนี้หากทำเองด้วยมือจะใช้เวลาประมาณ 1–2 เดือน แต่เมื่อใช้เครื่องมือช่วยเหลือใช้เวลาเพียงราวหนึ่งสัปดาห์ เขายังกล่าวด้วยว่า ต้นทุนเคยเป็นปัจจัยสำคัญที่จำกัดว่า Asana จะเสนอโมเดลใดให้ลูกค้าใช้กับงานลักษณะนี้ได้บ้าง การทำเอเจนต์ให้ “เบา” ลงจึงเปิดทางให้บริษัทเลือกใช้โมเดลที่เร็วขึ้น แต่ต้นทุนปฏิบัติการต่ำลง

ด้านบริษัทจัดเส้นทางโมเดล AI อย่าง OrcaRouter ได้ออกบทวิเคราะห์ชี้ว่า สัดส่วนการประหยัดส่วนใหญ่ไม่ได้มาจากการเปลี่ยนโมเดล แต่เกิดจากการแก้เวิร์กโฟลว์เป็นหลัก

การปรับเวิร์กโฟลว์แบบเดียวกันช่วยลดต้นทุนบนโมเดลคู่แข่งได้ถึง 29 เท่า จากนั้นการเปลี่ยนมาใช้ GPT-6.1 Sol เพิ่มการประหยัดต้นทุนอีกประมาณ 2.6 เท่าในระดับราคาป้ายเท่ากัน โดย OrcaRouter ผูกส่วนต่างนี้เข้ากับประสิทธิภาพของโมเดลในการใช้แคช

ปัจจุบันยังไม่มีหน่วยงานอิสระเข้ามาตรวจสอบความถูกต้องของตัวเลขดังกล่าว

นี่ไม่ใช่ครั้งแรกที่ Asana เปิดเผยผลการใช้ Codex ต่อสาธารณะ เมื่อวันที่ 7 ส.ค. วิศวกรของบริษัทระบุว่า เอเจนต์ Codex สามารถย้ายชุดทดสอบด้านหน้า (front-end tests) ของบริษัทออกจากไลบรารีเก่าที่ใช้มานานได้ภายในราวสองสัปดาห์ ทั้งที่งานนี้เดิมประเมินไว้ว่าจะใช้เวลาราวห้าปี ค่าใช้จ่ายรวมอยู่ที่ประมาณ 12,000 ดอลลาร์

อ่านต่อ: TRON ป้องกันสเตเบิลคอยน์ 95 พันล้านดอลลาร์จากการโจมตีควอนตัมได้หรือไม่? ซันยืนยันว่าพร้อมแล้ว