Asana สามารถลดต้นทุนในการรันเอเจนต์เบราว์เซอร์ที่ขับเคลื่อนด้วย AI ลงได้ถึง 76 เท่าในการทดสอบภายใน หลังจากปรับวิธีการนำข้อมูลเดิมกลับมาใช้ซ้ำ และย้ายมาใช้โมเดล OpenAI GPT-6.1 Sol ตามข้อมูลที่ทั้งสองบริษัทเปิดเผย
ประเด็นสำคัญ
- เอเจนต์ที่ปรับแต่งแล้วของ Asana มีต้นทุนเฉลี่ย 0.47 ดอลลาร์ต่อการรัน 1 ครั้งบน GPT-6.1 Sol ลดลงจากอย่างน้อย 36.21 ดอลลาร์บนโมเดลคู่แข่ง
- แค่ปรับเวิร์กโฟลว์ (ยังไม่เปลี่ยนโมเดล) ก็ทำให้ต้นทุนลดลงได้ 29 เท่าแล้ว
- ตัวเลขทั้งหมดมาจากการทดสอบในกรณีแคบ ๆ และยังไม่ผ่านการตรวจสอบจากบุคคลที่สาม
การทดสอบ StackAI ของ Asana
OpenAI ได้เผยแพร่ ผลการทดสอบในกรณีศึกษาเมื่อ 9 ต.ค. หนึ่งวันหลังทีมวิศวกรของ Asana เปิดเผยรายละเอียดการศึกษา 144 การรันที่อยู่เบื้องหลังผลลัพธ์ดังกล่าว
การทดสอบมุ่งที่เอเจนต์เบราว์เซอร์ภายในแพลตฟอร์มอัตโนมัติ StackAI ซึ่ง Asana ซื้อกิจการมา เอเจนต์นี้สามารถท่องเว็บ กรอกฟอร์ม และดึงข้อมูลได้โดยไม่ต้องเขียนโค้ด โดยแต่ละการรันได้รับโจทย์ให้รวบรวมข้อมูลเกี่ยวกับหนังสือ 32 เล่ม
ในระบบโปรดักชันเดิมที่รันบนโมเดลคู่แข่ง การรันหนึ่งครั้งมีต้นทุนอย่างน้อย 36.21 ดอลลาร์ และใช้เวลาขั้นต่ำราว 22.5 นาที เนื่องจากบางการรันติดเพดานจำนวนสเต็ปก่อนงานเสร็จ ส่วนเวอร์ชันที่ปรับแต่งแล้วซึ่งรันบน GPT-6.1 Sol มีต้นทุนเฉลี่ยเพียง 0.47 ดอลลาร์ ใช้เวลาประมาณ 4 นาทีต่อการรัน และให้คำตอบถูกต้องครบทุกเคส
ภายในเครื่องมือโค้ดดิ้ง Codex โมเดล GPT-6 Astra ของ OpenAI ตรวจพบว่าเอเจนต์ตัวเดิมส่งประวัติข้อความหน้าเว็บและภาพหน้าจอที่สะสมเพิ่มขึ้นเรื่อย ๆ ซ้ำไปในทุกคอลล์ โดยถูกคิดราคาเต็มทุกรอบ Astra จึงทดสอบ แนวทางแก้ ได้แก่ การแคชประวัติ การปล่อยให้จำนวนภาพหน้าจอสะสมได้ถึง 20 ภาพก่อนจะลดกลับมาเหลือภาพเดียว และการเพิ่มขีดจำกัดความยาวประวัติเป็นสี่เท่า เมื่อนำมาใช้กับ GPT-6.1 Sol พบว่า 89% ของอินพุตมาจากแคช
อ่านเพิ่มเติม: UI อัจฉริยะของ ChatGPT ใส่ชาร์ตและเครื่องคิดเลขในคำตอบสำหรับผู้ใช้ 1.2 พันล้านคน
มุมมองเรื่องต้นทุนจาก Frank Hidalgo
Frank Hidalgo ประธานเจ้าหน้าที่เทคโนโลยีของ StackAI ระบุว่าหากทำการศึกษานี้ด้วยตนเองน่าจะใช้เวลา 1–2 เดือน แต่เมื่อใช้เครื่องมือ AI แล้วใช้เวลาราวหนึ่งสัปดาห์ เขายังยอมรับว่าก่อนหน้านี้ “ต้นทุน” เป็นข้อจำกัดสำคัญที่กำหนดว่า Asana จะสามารถเสนอโมเดลใดให้ลูกค้าใช้สำหรับงานลักษณะนี้ได้ แต่เมื่อเอเจนต์ทำงานได้กระชับขึ้น บริษัทจึงสามารถนำโมเดลที่เร็วขึ้นมาให้บริการ พร้อมกับลดต้นทุนการดำเนินงานไปพร้อมกัน
ด้านบริษัทจัดเส้นทางโมเดล AI อย่าง OrcaRouter ได้วิเคราะห์ ว่าส่วนใหญ่ของการประหยัดต้นทุนมาจากการแก้เวิร์กโฟลว์ มากกว่าการเปลี่ยนโมเดล
ชุดการปรับเปลี่ยนเดียวกันนี้ช่วยลดต้นทุนบนโมเดลคู่แข่งได้ถึง 29 เท่า จากนั้นการย้ายมา GPT-6.1 Sol ให้การลดต้นทุนเพิ่มอีก 2.6 เท่า ทั้งที่ราคาแบบลิสต์เท่ากัน ซึ่งการวิเคราะห์เชื่อมโยงช่องว่างนี้กับประสิทธิภาพของโมเดลในการใช้แคช
ปัจจุบันตัวเลขทั้งหมดนี้ยังไม่ได้รับการตรวจสอบรับรองโดยหน่วยงานภายนอก
นี่ไม่ใช่ครั้งแรกที่ Asana เปิดผลลัพธ์จากการใช้ Codex ต่อสาธารณะ เมื่อวันที่ 7 ส.ค. ทีมวิศวกรของบริษัทเปิดเผย ว่าเอเจนต์ Codex สามารถย้ายชุดเทสต์ฝั่งเฟรอนต์เอนด์ของบริษัทออกจากไลบรารีเก่าที่ใช้งานมานานได้ภายในประมาณสองสัปดาห์ จากเดิมที่คาดกันว่าน่าจะใช้เวลาราวอีกห้าปี ค่าใช้จ่ายทั้งหมดอยู่ที่ประมาณ 12,000 ดอลลาร์
อ่านต่อ: TRON ปกป้องสเตเบิลคอยน์ 95 พันล้านดอลลาร์จากการโจมตีควอนตัมได้หรือไม่? Sun ยืนยันว่าพร้อมแล้ว
