Asana 在一項內部測試中表示,經重構其 AI 瀏覽器代理的資料重用方式, 再改用 OpenAI 的 GPT-6.1 Sol 模型 後, 單次執行成本理論上較原先配置大幅降低約 76 倍。
重點摘要:
- 經優化後、運行於 GPT-6.1 Sol 的代理,每次平均成本約 0.47 美元, 低於採用競爭對手模型時至少 36.21 美元。
- 單是工作流程與快取機制的調整,在未更換模型前,已令成本下降約 29 倍。
- 數據僅來自一組相對狹窄的內部測試,尚未獲任何第三方獨立審核。
Asana StackAI 測試細節
OpenAI 於 10 月 9 日發佈一篇個案研究 報告, 引用的是 Asana 工程團隊一日前公開、共 144 次運行的測試結果。
測試對象是一個嵌入 StackAI 的瀏覽器代理。StackAI 是 Asana 收購的一個自動化平台, 能無需編碼就自動瀏覽網站、填寫表格及收集資料。是次測試中, 每次運行都要求代理整理 32 本書的相關資訊。
在使用某競爭對手模型的原始生產環境設定下, 每次運行成本至少 36.21 美元,耗時至少 22.5 分鐘, 部分更因達到步驟上限而未能完成。經優化、並改用 GPT-6.1 Sol 後, 每次平均成本約 0.47 美元、耗時約四分鐘,而且每次都成功輸出正確答案。
OpenAI 的 GPT-6 Astra 以 Codex 編碼工具為介面, 分析後發現該代理幾乎在每次呼叫時,都會把累積的頁面文字及截圖歷史完整重傳, 等同每次都付「全額」。Astra 其後 測試 多項修正:包括為歷史內容加上快取、容許截圖先累積至 20 張才再壓縮回一張, 並把可保存歷史的上限提高四倍。改用 GPT-6.1 Sol 後, 約 89% 的輸入資料來自快取而毋須重新計價。
延伸閱讀: ChatGPT 智能介面為 12 億用戶帶來圖表及計算功能
Hidalgo:研究時間由兩個月縮至一星期
Frank Hidalgo,即 StackAI 技術總監表示, 若以傳統方式自行分析並重構,整個研究或需花費一至兩個月; 今次借助工具與自動化,約一星期便能完成。
他指出,過去模型使用成本偏高,限制了 Asana 可向客戶提供的模型選擇。 代理變得更精簡後,公司可在營運成本降低的同時, 為客戶轉用速度更快的模型。
AI 路由公司 OrcaRouter 則在一篇分析中指出, 大部分成本節省其實來自流程及快取設計的修正,而非單純模型更替。
同一套優化方案應用在競爭對手模型上時, 成本同樣被壓縮約 29 倍;其後再換用 GPT-6.1 Sol, 在標示價相同的情況下額外再降約 2.6 倍。 OrcaRouter 將這差距歸因於 GPT-6.1 Sol 較善用快取機制。
目前上述數據未經任何外部機構獨立審核, 投資者及企業用戶在解讀時仍需保留空間。
這亦並非 Asana 首次公開 Codex 的實戰成效。 早在 8 月 7 日,其工程團隊就曾 披露, 利用 Codex 代理,在約兩星期內將公司前端測試, 從一套老化函式庫全面遷出——原先預期需時約五年。 當時總成本約為 12,000 美元。

