Asana, dahili testlerde tarayıcı tabanlı yapay zekâ ajanının maliyetini, veriyi yeniden kullanma biçimini düzeltip OpenAI'nin GPT-6.1 Sol modeline geçerek 76 kat aşağı çekti. Ancak verilere göre asıl farkı yaratan, model değil mimari değişiklikler oldu.
Öne çıkanlar:
- Asana’nın optimize edilen ajanı, GPT-6.1 Sol üzerinde çalışırken koşu başına ortalama 0,47 dolar maliyete indi; rakip modelde bu tutar en az 36,21 dolardı.
- Yalnızca iş akışındaki değişiklikler, model değişikliğinden önce maliyeti 29 kat düşürdü.
- Rakamlar, dar kapsamlı tek bir testten geliyor ve henüz bağımsız bir denetime tabi tutulmadı.
Asana StackAI testi
OpenAI, sonuçları 9 Ekim tarihli bir vaka çalışmasında paylaştı; bir gün önce de Asana mühendisleri, 144 çalıştırmadan oluşan test setinin teknik detaylarını yayımlamıştı.
Testler, Asana’nın satın aldığı otomasyon platformu StackAI içindeki bir tarayıcı ajanını kapsıyor. Bu ajan, yazılım geliştirmeye ihtiyaç duymadan sitelerde geziniyor, formları dolduruyor ve bilgi topluyor. Her koşuda ajandan 32 kitaba dair verileri derlemesi istendi.
Rakip bir model üzerinde çalışan ilk üretim kurgusunda, koşu başına maliyet en az 36,21 dolara, süre ise en az 22,5 dakikaya ulaştı; bazı koşular adım sınırına takılıp tamamlanamadı. Optimize edilen versiyon, GPT-6.1 Sol üzerinde koşu başına ortalama 0,47 dolara ve yaklaşık dört dakikaya indi ve her çalıştırmada doğru sonuç üretildi.
OpenAI’nin Kodex kodlama aracı içinde çalışan GPT-6 Astra sistemi, ajanın sayfa metinleri ve ekran görüntülerinden oluşan büyüyen geçmişi her çağrıda sanki ilk kez gönderiliyormuş gibi, tam tarife üzerinden tekrar tekrar ilettiğini tespit etti. Astra ardından, bu geçmişi önbelleğe alan, ekran görüntülerinin önce 20’ye kadar birikmesine izin verip sonra yeniden teke indiren ve geçmiş limitini dört katına çıkaran düzeltmeleri test etti. GPT-6.1 Sol üzerinde bu değişikliklerin ardından girdinin yüzde 89’u önbellekten gelmeye başladı.
Ayrıca bkz.: ChatGPT’nin Akıllı Arayüzü 1,2 Milyar Kullanıcıya Cevaplarda Grafik ve Hesap Makinesi Sunuyor
Frank Hidalgo maliyetleri anlatıyor
Frank Hidalgo, StackAI’nin teknoloji direktörü, bu araştırmayı elle yürütse bir ila iki ay süreceğini, ancak mevcut araçlarla yaklaşık bir haftada tamamladığını söyledi. Maliyetlerin, Asana’nın bu tür işler için müşterilerine sunabileceği model seçeneklerini uzun süre sınırladığını, daha “hafif” bir ajan mimarisinin ise hem daha hızlı bir modeli devreye almalarına hem de işletme giderlerini düşürmelerine imkân verdiğini belirtti.
Yapay zekâ yönlendirme şirketi OrcaRouter tarafından yapılan bir analiz, asıl tasarrufun model değişikliğinden değil, iş akışının düzeltilmesinden kaynaklandığını öne sürüyor.
Aynı mimari değişiklikler, rakip model üzerinde de maliyeti 29 kat aşağı çekti. GPT-6.1 Sol, liste fiyatı aynı kalmasına rağmen, önbelleği daha verimli kullanması sayesinde ek olarak 2,6 katlık ilave bir düşüş sağladı.
Rakamlar henüz herhangi bir bağımsız kurum tarafından doğrulanmış değil.
Bu çalışma, Asana’nın Codex tabanlı çözümleri ilk kez kamuoyuyla paylaşması da değil. 7 Ağustos’ta şirket mühendisleri, Codex ajanlarının şirketin ön yüz testlerini eskimiş bir kütüphaneden yaklaşık iki haftada taşıdığını, oysa bu geçiş için beş yıla yakın bir süre öngördüklerini açıklamışlardı. Bu projenin faturasının yaklaşık 12.000 dolar tuttuğu belirtildi.
Sırada bu var: TRON 95 Milyar Dolarlık Stablecoin’i Kuantum Saldırılarından Koruyabilir mi? Sun “Hazırız” Diyor
