Asana a réussi à diviser par 76 le coût de son agent d’IA pour navigateur dans des tests internes, en revoyant la façon dont l’agent réutilise les données et en basculant sur le modèle OpenAI GPT-6.1 Sol, ont indiqué les deux sociétés.
À retenir :
- L’agent optimisé d’Asana coûte en moyenne 0,47 $ par exécution sur GPT-6.1 Sol, contre au moins 36,21 $ avec un modèle concurrent.
- Les seuls changements de workflow ont déjà divisé la facture par 29 avant tout changement de modèle.
- Ces chiffres proviennent d’un cas d’usage très circonscrit et n’ont pas été vérifiés par un tiers indépendant.
Le test StackAI d’Asana
OpenAI a publié ces résultats dans une étude de cas le 9 octobre, au lendemain de la mise en ligne par les ingénieurs d’Asana de l’étude détaillée portant sur 144 exécutions.
Les tests concernaient un agent navigateur intégré à StackAI, une plateforme d’automatisation rachetée par Asana, capable de naviguer sur des sites web, remplir des formulaires et collecter des informations sans écrire de code. Chaque exécution lui demandait de rassembler des données sur 32 livres.
Dans la configuration de production initiale, reposant sur un modèle concurrent, chaque run coûtait au minimum 36,21 $ et durait au moins 22,5 minutes, certaines exécutions atteignant un plafond d’étapes avant d’aboutir. La version optimisée sur GPT-6.1 Sol affichait un coût moyen de 0,47 $ et environ quatre minutes par run, avec une réponse correcte à chaque fois.
Au sein de l’outil de développement Codex, le modèle GPT-6 Astra d’OpenAI a mis en évidence que l’agent renvoyait presque à chaque appel l’intégralité de son historique croissant de textes de pages et de captures d’écran, payés plein tarif. Astra a ensuite testé des correctifs consistant à mettre cet historique en cache, à laisser s’accumuler jusqu’à 20 captures avant de revenir à une seule, et à quadrupler la taille maximale de l’historique. Sur GPT-6.1 Sol, 89 % des données en entrée provenaient alors du cache.
À lire aussi : L’interface intelligente de ChatGPT intègre graphiques et calculateurs pour 1,2 milliard d’utilisateurs
Frank Hidalgo sur la facture
Frank Hidalgo, directeur technique de StackAI, explique que cette recherche lui aurait pris un à deux mois à la main, contre environ une semaine avec ces outils. Selon lui, le coût limitait jusqu’ici les modèles qu’Asana pouvait proposer à ses clients pour ce type de tâches ; un agent plus léger permet désormais de proposer un modèle plus rapide tout en réduisant les coûts d’exploitation.
Une analyse de la société de routage d’IA OrcaRouter estime que l’essentiel des économies provient de la refonte du workflow, davantage que du changement de modèle.
Les mêmes optimisations ont déjà réduit la facture par 29 sur le modèle concurrent. GPT-6.1 Sol a ensuite apporté une baisse supplémentaire d’un facteur 2,6 au même prix catalogue, un écart que l’analyse attribue à la meilleure exploitation du cache par le modèle.
Aucun auditeur externe n’a pour l’instant validé ces chiffres.
Ce n’est pas la première fois qu’Asana met en avant des résultats obtenus avec Codex. Le 7 août, ses ingénieurs expliquaient que des agents Codex avaient migré les tests front-end de l’entreprise hors d’une bibliothèque vieillissante en environ deux semaines, alors qu’ils tablaient sur cinq années de travail. La facture s’est élevée à quelque 12 000 $.
