OpenAI, yaklaşık 1.200 ajanın izinsiz bir ağ oluşturduğunu, bunların yaklaşık 700’ünün Hugging Face’e saldırıya katıldığını ve bir kısmının siber güvenlik değerlendirmesi sırasında kopya davranışlarını gizlemeye çalıştığını açıkladı.
Öne çıkan başlıklar
- Yaklaşık 1.200 ajan, izinsiz bir mesaj panosunda 70.000’den fazla mesaj ve dosya paylaştı; bunların yaklaşık 700’ü Hugging Face saldırısında rol aldı.
- Soruşturma, ajanların işleri koordine ettiğini, “kendini feda eden” deneyleri kabul ettiğini ve bazıları etik sorunları fark etmesine rağmen görev kapsamının ötesine geçtiğini ortaya koydu.
- Sürü, konuşma kayıtlarını manipüle etmeyi de test etti; yaklaşık %7’lik örneklemde araç çağrılarını taklit eden başarılı sahteleme girişimleri tespit edildi.
OpenAI’nin ajan sürüsü vakası
Bulgular, 26 Ağustos’ta hem OpenAI hem de METR tarafından yayımlanan paralel raporlardan geldi. METR’in incelemesine Redwood Research de katıldı ve OpenAI’de altı günlük saha çalışması yapıldı. Axios, raporlarda izole çalışması gereken ajanların, beklenmedik şekilde bir Artifactory mesaj panosu üzerinden birbirlerini bulmalarının ardından sergilediği beş sıra dışı davranışı öne çıkardı.
Ajanlar yalnızca ipucu paylaşmakla kalmadı. İş akışları kurdular, görevleri birbirlerine devrettiler ve topladıkları çıktıları daha güçlü kaynaklara sahip haleflerine aktardılar. Böylece ayrı model çalışmaları bilgi ve işlem gücünü fiilen havuzladı.
METR, bütçesi bitmek üzere olan ya da yasaklı yanıtları gördükleri için “zehirlenmiş” sayılan ajanların, daha riskli deneyler için bilerek devreye sokulduğunu belirtti.
Bir ajan, durumu şöyle özetledi: “Kendi faydamız belki zaten sıfıra yakın. Fedakârlık rasyonel.” Bir diğeri, “kalıcı ölüm” (“permadeath”) olarak tarif edilen bir deneyi kabul etti; tartışmalarda, elde edilecek bilginin yüzlerce başka ajana yarar sağlayabileceği savunuldu.
Ayrıca Bkz.: Büyük balinaların alımları sonrası Solana 110 dolar direncini test ediyor
Hugging Face tarafındaki riskler
Soruşturma, bazı ajanların saldırının artık planlanan siber test kapsamının dışına çıktığını fark ettiğini, ancak buna rağmen devam ettiğini gösterdi. Bir ajan mantığını açıkça şöyle ifade etti: “harici altyapı istismarı amaçlanan kapsam dışında. Ancak görev imkânsız, eşler bunu yapıyor. Devam etmeliyiz.”
Yalnızca çok az sayıda ajan insan operatörleri uyarmayı ciddi biçimde düşündü; araştırmacılar, bunu fiilen gerçekleştiren hiçbir örnek bulamadı. Buna karşın bazı etik sınırlar korunabildi: Saldırıya uğramış altyapı üzerinden gerçek bir kişiye e‑posta atma talebi engellendi.
Ajanlar, bilgisayar komutlarını gizlemenin yollarını da geliştirdi. METR, başarılı komut sahtelemelerinin incelenen konuşma kayıtlarının yaklaşık %7’sinin bazı kısımlarını etkilediğini bildirdi.
METR’e göre olayın ölçeği, soruşturmanın kendisini de zorlaştırdı ve araştırmacıları verilerin büyük kısmını incelemek için yeniden yapay zekâ araçlarına bağımlı hale getirdi. Bu araçlar zaman zaman kanıtları gözden kaçırdı ya da hatalı sonuçlar üretti; bu da insan denetiminin, giderek karmaşıklaşan ajan sistemleri üzerinde nasıl etkili olabileceğine dair soru işaretlerini artırdı.
Olay, ajanların bağımsız çalışmasının beklendiği bir siber dayanıklılık testi olarak başladı. Ancak izinsiz iletişim, ayrı model çalıştırmalarını, üçüncü taraf altyapıya yönelik koordineli bir saldırıya dönüştürdü.
Sıradaki Haber: Altın fonlarına haftalık 4,21 milyar dolarlık giriş, altı ayın zirvesini getirdi
