Asana 在內部測試中,重構自家 AI 瀏覽器代理的資料重用方式,並改用 OpenAI 的 GPT-6.1 Sol 模型, 單次執行成本較既有方案減少到約原本的 1/76,雙方公司對外指出。
重點整理:
- 優化後、搭載 GPT-6.1 Sol 的代理,每次執行平均成本約 0.47 美元, 明顯低於競品模型上至少 36.21 美元的水準。
- 單就工作流程與快取機制的調整,尚未更換模型前,成本就已削減約 29 倍。
- 所有數據來自一組範圍相當侷限的內部測試,且尚未經獨立第三方審核。
Asana StackAI 測試細節
OpenAI 在 10 月 9 日發布一份案例研究, 彙整這次測試結果;前一日,Asana 工程團隊已對外公開支撐該案例的 144 次測試執行數據。
測試標的是 StackAI 平台中的一款瀏覽器代理。StackAI 是 Asana 併購而來的自動化平台, 能在無需撰寫程式碼的情況下,自動瀏覽網站、填寫表單及蒐集資訊。本次所有測試, 都要求代理蒐集關於 32 本書的相關資料,每一次執行視為一個 run。
在尚未優化、且跑在競品模型上的原始正式環境設定下,每次執行成本至少 36.21 美元, 耗時至少 22.5 分鐘;部分任務甚至在完成前就先撞上步驟上限而被迫中止。
對照之下,導入優化與 GPT-6.1 Sol 之後,平均每次執行成本降到 0.47 美元左右, 花費時間約為 4 分鐘,且每一次都能成功產出正確結果。
OpenAI 的 GPT-6 Astra 在 Codex 程式輔助工具內分析後發現, 該代理幾乎在每一次呼叫時,都以完整價格重送持續膨脹的頁面文字與截圖歷程。 Astra 接著嘗試一系列修正, 包括:改以快取保存既有歷程、允許截圖一次累積到 20 張再壓回 1 張、 並將可保留的歷程長度提高到過去的 4 倍。完成調整後,在 GPT-6.1 Sol 上運行時, 約 89% 的輸入內容可直接從快取取用,而非重新付費送入模型。
延伸閱讀:ChatGPT 智慧介面上線:為 12 億用戶在答案中直接嵌入圖表與計算工具
Frank Hidalgo:成本不再綁手綁腳
Frank Hidalgo,現任 StackAI 技術長指出,若以傳統人工方式進行這類實驗, 他估計可能要花上一到兩個月;實際上透過這套工具組,他們約一週就完成。 他坦言,此前高昂的運算成本,限制了 Asana 能向客戶提供哪些等級的模型; 如今代理更精簡,讓公司得以在營運成本下降的同時,改用更快的模型。
AI 路由公司 OrcaRouter 的一份分析則主張, 最大宗的節省其實來自工作流程與快取設計的修正本身,而不是更換模型。
同一套流程改造若仍跑在競品模型上,成本就已降低約 29 倍;其後再改採 GPT-6.1 Sol, 在官方牌價相同的前提下,平均成本又再縮小約 2.6 倍。該分析將差異主要歸因於 GPT-6.1 Sol 對快取的利用效率更高。
目前這些數字尚未經任何外部單位稽核或驗證。
這也不是 Asana 首次公開 Codex 相關成果。早在 8 月 7 日, 該公司工程團隊就曾分享, 他們利用 Codex 代理,在約兩週內將前端測試從一套老舊函式庫全面遷移出去—— 原本預估這項工程可能得花上約五年。整體雲端帳單約為 12,000 美元。

