Asana w wewnętrznych testach 76‑krotnie obniżyła koszt działania swojego przeglądarkowego agenta AI po tym, jak uporządkowała sposób ponownego użycia danych przez system i przeszła na model OpenAI GPT-6.1 Sol – poinformowały firmy.
Najważniejsze wnioski:
- Po optymalizacji agent Asany kosztował średnio 0,47 dol. za uruchomienie na GPT-6.1 Sol, wobec co najmniej 36,21 dol. na konkurencyjnym modelu.
- Sama zmiana workflowu, jeszcze przed wymianą modelu, ścięła koszty 29‑krotnie.
- Dane pochodzą z wąskiego testu i nie zostały niezależnie zweryfikowane.
Test StackAI w Asanie
OpenAI upubliczniło wyniki 9 października w formie studium przypadku, dzień po tym, jak inżynierowie Asany opublikowali bazujące na nim badanie obejmujące 144 przebiegi.
Testy dotyczyły przeglądarkowego agenta wewnątrz platformy automatyzacji StackAI, przejętej przez Asanę. Agent bez kodowania porusza się po stronach www, wypełnia formularze i zbiera informacje. Każdemu uruchomieniu zlecano zebranie danych o 32 książkach.
W pierwotnej wersji produkcyjnej, działającej na konkurencyjnym modelu, pojedynczy przebieg kosztował co najmniej 36,21 dol. i trwał co najmniej 22,5 minuty – część zadań kończyła się przed czasem po osiągnięciu limitu kroków. Po optymalizacji i przejściu na GPT-6.1 Sol średni koszt spadł do 0,47 dol., czas do ok. czterech minut, a każde uruchomienie kończyło się poprawną odpowiedzią.
GPT-6 Astra od OpenAI, pracujący w narzędziu programistycznym Codex, wykrył, że agent przy niemal każdym wywołaniu na nowo przesyłał pełną historię tekstu ze stron i zrzutów ekranu, płacąc za nią pełną stawkę. Astra następnie przetestował poprawki: wprowadzenie cache’owania historii, kumulowanie zrzutów ekranu do 20 sztuk przed redukcją do jednego oraz czterokrotne zwiększenie limitu historii. Po tych zmianach, na GPT-6.1 Sol aż 89% danych wejściowych pochodziło z cache’u.
Przeczytaj także: Inteligentny interfejs ChatGPT wbudowuje wykresy i kalkulatory w odpowiedzi dla 1,2 mld użytkowników
Frank Hidalgo o kosztach
Frank Hidalgo, dyrektor technologiczny StackAI, powiedział, że ręczne przeprowadzenie badania zajęłoby mu od jednego do dwóch miesięcy, podczas gdy z nowym podejściem zamknął się w około tygodniu. Jak dodał, wcześniej koszty ograniczały wybór modeli, jakie Asana mogła oferować klientom do tego typu zadań; odchudzony agent pozwala teraz proponować szybszy model przy jednoczesnej redukcji kosztów operacyjnych.
Analiza firmy routującej zapytania AI OrcaRouter zwróciła uwagę, że główne oszczędności wynikały z naprawy workflowu, a nie z samej zmiany modelu.
Te same modyfikacje 29‑krotnie obniżyły koszty na konkurencyjnym modelu. GPT-6.1 Sol przyniósł dodatkowe 2,6‑krotne cięcie rachunku przy tej samej cenie katalogowej – różnicę analitycy powiązali ze skuteczniejszym wykorzystaniem mechanizmu cache przez nowy model.
Żadna zewnętrzna instytucja nie przeprowadziła audytu przedstawionych liczb.
Nie jest to pierwszy publiczny przykład wykorzystania Codexa przez Asanę. 7 sierpnia inżynierowie spółki informowali, że agenci Codexa w około dwa tygodnie przenieśli zestaw testów front‑endu z przestarzałej biblioteki – zadanie, które wcześniej szacowano na mniej więcej pięć lat pracy. Łączny rachunek wyniósł ok. 12 tys. dol.
Czytaj dalej: Czy TRON zdoła osłonić 95 mld dol. w stablecoinach przed atakami kwantowymi? Sun twierdzi, że jest gotowy
