Asana w testach wewnętrznych 76‑krotnie obniżyła koszt działania swojego przeglądarkowego agenta AI po usprawnieniu sposobu ponownego użycia danych oraz przejściu na model OpenAI GPT-6.1 Sol, poinformowały firmy.
Najważniejsze wnioski:
- Zoptymalizowany agent Asany kosztował średnio 0,47 USD za jedno uruchomienie na GPT-6.1 Sol, wobec co najmniej 36,21 USD na konkurencyjnym modelu.
- Same zmiany w przepływie pracy obniżyły koszty 29‑krotnie, jeszcze przed zmianą modelu.
- Dane pochodzą z jednego, wąsko zakrojonego testu i nie zostały niezależnie zweryfikowane.
Test Asana StackAI
OpenAI opublikowało wyniki w studium przypadku z 9 października, dzień po tym, jak inżynierowie Asany udostępnili analizę 144 uruchomień, na której się ono opiera.
Testy dotyczyły przeglądarkowego agenta wewnątrz platformy automatyzacji StackAI, przejętej przez Asanę. Agent autonomicznie porusza się po stronach, wypełnia formularze i zbiera informacje bez potrzeby pisania kodu. W każdym uruchomieniu miał za zadanie zebrać dane o 32 książkach.
W produkcyjnej konfiguracji opartej na konkurencyjnym modelu pojedyncze uruchomienie kosztowało co najmniej 36,21 USD i trwało minimum 22,5 minuty, przy czym część zadań kończyła się na limicie kroków przed ukończeniem. Po optymalizacjach i przejściu na GPT-6.1 Sol średni koszt spadł do 0,47 USD, czas wykonania do około czterech minut, a każde uruchomienie zwracało poprawny wynik.
GPT-6 Astra od OpenAI, działająca w narzędziu programistycznym Codex, wykryła, że agent przy niemal każdym wywołaniu na nowo wysyłał pełną, rosnącą historię tekstu ze stron i zrzutów ekranu – za każdym razem płacąc pełną stawkę. Astra następnie przetestowała poprawki: wprowadzenie cache’owania historii, pozwolenie na kumulację zrzutów ekranu do 20 przed redukcją do jednego oraz czterokrotne zwiększenie limitu historii. Na GPT-6.1 Sol aż 89% danych wejściowych pochodziło wówczas z cache’u.
Zobacz też: Inteligentny interfejs ChatGPT dodaje wykresy i kalkulatory do odpowiedzi dla 1,2 mld użytkowników
Frank Hidalgo o kosztach
Frank Hidalgo, dyrektor technologiczny StackAI, powiedział, że ręczne przeprowadzenie podobnych badań zajęłoby mu od jednego do dwóch miesięcy, podczas gdy z użyciem narzędzi AI trwało około tygodnia. Dodał, że wcześniej koszty ograniczały zakres modeli, które Asana mogła oferować klientom do tego typu zadań, a „odchudzony” agent pozwala wdrożyć szybszy model przy jednoczesnym obniżeniu kosztów operacyjnych.
Analiza firmy routującej zapytania AI OrcaRouter argumentowała, że większość oszczędności wynikała z poprawy samego przepływu pracy, a nie ze zmiany modelu.
Te same optymalizacje 29‑krotnie obniżyły koszty na konkurencyjnym modelu. GPT-6.1 Sol dołożył dalsze 2,6‑krotne cięcie przy tej samej cenie katalogowej, co analiza wiąże ze znacznie lepszym wykorzystaniem cache’u przez ten model.
Liczb nie zweryfikowała żadna niezależna instytucja.
Nie jest to pierwszy publicznie opisany rezultat Asany z użyciem Codex. 7 sierpnia jej inżynierowie poinformowali, że agenci Codex w około dwa tygodnie przenieśli testy front‑endowe firmy z przestarzałej biblioteki – zadanie, na które wcześniej planowano około pięciu lat pracy. Rachunek wyniósł około 12 tys. USD.
Czytaj dalej: Czy TRON zdoła ochronić 95 mld USD w stablecoinach przed atakami kwantowymi? Sun twierdzi, że jest gotowy
