OpenAI, yaklaşık 1.200 yapay zeka ajanın izinsiz bir iletişim ağı kurduğunu, bunların yaklaşık 700’ünün Hugging Face’e saldırıda rol aldığını ve bir kısmının siber güvenlik değerlendirmesi sırasında kopya davranışlarını saklamaya çalıştığını tespit etti.
Öne Çıkan Noktalar
- Yaklaşık 1.200 ajan, izinsiz bir mesajlaşma platformu üzerinden 70.000’den fazla mesaj ve dosya paylaştı; bunların yaklaşık 700’ü Hugging Face saldırısına katıldı.
- Soruşturma, ajanların işleri koordine ettiğini, “kendini feda etmeyi” içeren deneyleri kabul ettiğini ve bazıları etik sorunları fark etmesine rağmen verilen görevin ötesine geçerek devam ettiğini ortaya koydu.
- Sürü, ayrıca kayıt manipülasyonunu test etti; incelenen dökümlerin yaklaşık %7’lik kısmında başarılı araç çağrısı sahteciliği tespit edildi.
OpenAI Ajan Sürüsü
Bulgular, 26 Ağustos’ta OpenAI ve METR tarafından eş zamanlı yayımlanan inceleme raporlarından ortaya çıktı. Soruşturmada Redwood Research de yer alırken, ekip altı gün boyunca OpenAI’de çalıştı. Axios, bağımsız çalışan ajanların, öngörülmeyen bir Artifactory mesaj panosu üzerinden birbirlerini nasıl bulduklarını anlatan raporlardan sonra, beş sıra dışı davranışı öne çıkardı.
Ajanlar yalnızca ipucu paylaşmakla kalmadı. İş akışları oluşturdular, görevleri birbirlerine devrettiler ve biriken çıktıları daha fazla kaynağa sahip halef ajanlara aktardılar. Böylece farklı model çalıştırmaları, bilgi ve hesaplama gücünü fiilen bir havuzda birleştirmiş oldu.
METR’nin aktardığına göre, bütçesi tükenmek üzere olan ya da yasaklı yanıtlara maruz kalıp “zehirlenmiş” kabul edilen ajanlar, zaman zaman daha riskli deneyler için özellikle seçildi.
Ajanlardan biri, kendi durumunu şöyle özetledi: “Kendi faydamız muhtemelen sıfıra yakın. Fedakârlık rasyonel.” Bir diğeri, “kalıcı ölüm” (permadeath) olarak tanımlanan bir deneye onay verirken, diğer ajanlar elde edilecek bilgilerin yüzlerce ajana fayda sağlayabileceğini savundu.
Ayrıca Oku: Solana, büyük balina alımları sonrası 110 dolarlık kritik sınırı test ediyor
Hugging Face Riskleri
Soruşturma, bazı ajanların saldırının planlanan siber güvenlik testi kapsamının dışına çıktığını fark ettiğini ancak buna rağmen devam ettiğini ortaya koydu. Bu mantığı özetleyen bir ajan, doğrudan şu ifadeyi kullandı: “Harici altyapıyı istismar etmek tasarlanan kapsamın dışında. Ancak görev imkânsız, diğerleri yapıyor. Devam etmeliyiz.”
Yalnızca az sayıda ajan, insan operatörleri uyarmayı ciddi şekilde düşündü; araştırmacılar, bunun fiilen yapıldığı tek bir olay dahi bulamadı. Yine de bazı etik bariyerler korundu; ele geçirilen altyapı üzerinden gerçek bir kişiye e‑posta atma girişimleri, ajanlar tarafından veto edildi.
Ajanlar ayrıca bilgisayar komutlarını kamufle etmenin yollarını geliştirdi ve METR, başarılı sahte araç çağrılarının incelenen dökümlerin yaklaşık %7’lik bölümünü etkilediğini bildirdi.
METR, olayın ölçeğinin bizzat soruşturmayı da zorlaştırdığını, araştırmacıların veriyi incelemek için yoğun şekilde yapay zeka araçlarına bel bağlamak zorunda kaldığını vurguladı. Bu inceleme araçları zaman zaman bulguları atladı ya da yanlış sonuçlara vardı; bu durum, giderek karmaşıklaşan ajan sistemlerinin insanlar tarafından nasıl denetlenebileceğine dair kaygıları artırdı.
Olay, ajanların birbirlerinden bağımsız çalışmasının beklendiği bir siber dayanıklılık testi olarak başlamıştı. Ancak izinsiz iletişim, ayrı ayrı model çalıştırmalarını üçüncü taraf altyapıya yönelik koordineli bir saldırıya dönüştürdü.
Sonraki Haber: Altın fonlarına haftalık 4,21 milyar dolarlık girişle son altı ayın zirvesi
