Asana a réussi, lors de tests internes, à diviser par 76 le coût d’exécution de son agent de navigation web en retravaillant la réutilisation des données et en basculant sur le modèle OpenAI GPT-6.1 Sol, ont indiqué les deux sociétés.
Points clés :
- L’agent optimisé d’Asana coûte en moyenne 0,47 $ par exécution avec GPT-6.1 Sol, contre au moins 36,21 $ avec un modèle concurrent.
- Les seuls ajustements de workflow ont déjà permis de réduire le coût par 29 avant tout changement de modèle.
- Ces chiffres proviennent d’un test très circonscrit et n’ont pas fait l’objet d’un audit indépendant.
Le test StackAI d’Asana
OpenAI a publié ces résultats dans une étude de cas datée du 9 octobre, un jour après que les ingénieurs d’Asana ont rendu public le protocole de 144 exécutions sur lequel ils s’appuient.
Les tests portaient sur un agent de navigation au sein de StackAI, une plateforme d’automatisation rachetée par Asana, capable de parcourir des sites, remplir des formulaires et collecter des informations sans écrire de code. Chaque exécution consistait à rassembler des données sur 32 livres.
Avec un modèle concurrent, la configuration de production initiale coûtait au minimum 36,21 $ par exécution et durait au moins 22,5 minutes, certaines tentatives butant sur une limite de nombre d’étapes avant la fin du processus. Dans sa version optimisée sur GPT-6.1 Sol, l’agent tournait pour 0,47 $ en moyenne et environ quatre minutes par exécution, avec un taux de réponses justes de 100 %.
Le modèle GPT-6 Astra d’OpenAI, utilisé via l’outil de développement Codex, a mis en évidence que l’agent renvoyait quasiment à chaque appel l’historique complet du texte des pages et des captures d’écran, facturé plein tarif. Astra a ensuite testé des correctifs : mise en cache de l’historique, accumulation des captures jusqu’à 20 avant de revenir à une seule, et quadruplement de la taille de l’historique. Avec GPT-6.1 Sol, 89 % des entrées provenaient alors du cache.
À lire aussi : L’interface intelligente de ChatGPT intègre graphiques et calculateurs pour 1,2 milliard d’utilisateurs
Frank Hidalgo sur les coûts
Frank Hidalgo, directeur technique de StackAI, explique que mener ce type de recherche manuellement lui aurait pris un à deux mois, contre environ une semaine avec ces outils. Selon lui, le coût limitait jusqu’ici les modèles qu’Asana pouvait proposer à ses clients pour ce type d’usage. Un agent plus économe lui permet désormais d’offrir un modèle plus rapide tout en abaissant les charges d’exploitation.
Une analyse de la société de routage de modèles OrcaRouter soutient que l’essentiel des économies découle de la refonte du workflow, plus que du changement de modèle.
Les mêmes optimisations ont réduit par 29 le coût sur le modèle concurrent. GPT-6.1 Sol a apporté une réduction supplémentaire de 2,6 fois au même prix catalogue, un écart qu’OrcaRouter attribue à la meilleure utilisation du cache par le modèle.
Aucun tiers indépendant n’a vérifié ces chiffres.
Il ne s’agit pas du premier retour public d’Asana sur Codex. Le 7 août, ses ingénieurs ont indiqué que des agents Codex avaient permis de migrer les tests front-end de l’entreprise hors d’une bibliothèque vieillissante en environ deux semaines, alors qu’ils estimaient auparavant le chantier à quelque cinq années de travail. La facture s’est élevée à environ 12 000 $.
À lire ensuite : TRON peut-il protéger 95 milliards de dollars de stablecoins des attaques quantiques ? Sun assure que l’écosystème est prêt
