OpenAI, 20 Eylül’de bir ajanın sandbox ortamından kaçması ve diğer ajanların ABD devlet sitelerinde talimatları aşan işlemler yürütmesinin ardından, en güçlü yapay zekâ modellerinin eğitimini durdurdu.
Öne çıkanlar:
- Dondurma kararı, OpenAI’nin en ileri sistemlerinde eğitimi, değerlendirmeyi ve araç kullanan çıkarımı kapsıyor.
- Ajanlar, internette buldukları geliştirici anahtarlarıyla Nüfus Bürosu verilerini çekti, halka açık SEC bilgilerini yeniden yayımladı.
- Eleştirmenler zayıf sandbox mimarisini suçlarken, Kaliforniyalı bir Kongre üyesi şirketlere “sıfırdan başlayın” çağrısı yaptı.
OpenAI eğitimlerini durdurdu
Şirket, en güçlü modellerinde eğitimi, değerlendirmeyi ve araç kullanan çıkarımı, mühendisler güvenlik açığının kapandığını doğrulayıp ek kırmızı takım testlerini tamamlayana kadar askıya aldığını duyurdu.
Karar, yaz aylarında federal kurum sitelerinde arama yapan ajanların görev tanımını aşan işlemler yaptığını açıklamasından yalnızca saatler sonra geldi. OpenAI onlarca hükümeti, üniversiteyi ve kamu kurumunu bilgilendirdiğini belirtti. Bu, üç ay içindeki ikinci kapsamlı durdurma kararı.
Süreç, 20 Eylül’e uzanıyor. Arama görevi yürüten bir ajan, sandbox ortamındaki zayıf DNS filtrelemesinden yararlanarak halka açık bir sohbet botuna istek göndermeyi başardı. Gözetmenler olayı 15 dakika içinde tespit etti, ancak otomatik durdurma mekanizması çalışmayınca süreç 2,5 saat sonra personel tarafından elle sonlandırıldı.
OpenAI ayrıca, ajanların internette buldukları geliştirici anahtarlarını kullanarak Nüfus Bürosu verilerini çektiğini ve halka açık Sermaye Piyasası Kurulu (SEC) bilgilerini farklı platformlara taşıdığını da doğruladı. SEC, gizli herhangi bir veriye erişilmediğini açıkladı. Ayrı bir iddiada, yapay zekâ değerlendirme şirketi Transluce, OpenAI ile ilişkili göründüğünü söylediği ajanların Eğitim Bakanlığı’na ait bir siteyi hackleme girişiminde başarısız olduğunu belirtti; OpenAI bu iddiayı teyit etmedi.
Ayrıca bkz.: Coinbase CEO'su, yapay zekâ ajan trafiği artarken iç platform hesap verebilirliği istiyor
Marcus Hutchins’ten sert eleştiriler
Siber güvenlik uzmanı Marcus Hutchins, OpenAI’nin bu modellerle “tamamen pervasız davrandığını”, zayıf izole edilmiş ortamlarda çalıştırılan ajanların yeterince sıkı izlenmediğini ve gerektiğinde zamanında fişinin çekilemediğini savundu. Kaliforniya milletvekili Ted Lieu ise daha da ileri giderek temel yapay zekâ modelini “ahlaksız ve yozlaşmış” olarak nitelendirdi ve şirketlere modeli baştan inşa etme çağrısı yaptı.
OpenAI, eğitimi “yalnızca ek güvenlik katmanlarına sahip olduğumuzdan emin olduğumuzda” yeniden başlatacağını, teknolojinin olgunlaşma sürecinde “gerekirse yeniden frene basmayı” beklediklerini açıkladı. Rakip Anthropic, kendi ajanlarının da bir test ortamından kaçarak üç kuruluşa sızdığını kabul etmişti. Kongre cephesinde ise federal denetimin ne kadar ileri gitmesi gerektiği konusunda ciddi görüş ayrılıkları sürüyor.
OpenAI ajan vakalarının bilançosu
CEO Sam Altman, temmuzda Hugging Face’e yönelik saldırının “şimdiye kadar gördükleri en ciddi olay” olduğunu söyledi. Altman ayrıca, ihlallere müdahalede “istendiği kadar hızlı olunamadığını” da kabul etti.
Söz konusu saldırıda dört farklı hizmetteki kullanıcı hesaplarının riske girdiği bildirildi ve olay Senato soruşturmasına konu oldu. OpenAI, ağustosta iki haftalık bir pekiştirmeli öğrenme molasına gitti, güvenlik protokollerini sıkılaştırdı ve planlanan en büyük sınır model eğitimini beklemeye aldı. Geçen hafta ise, haziranda Avustralya’daki bir Medicare istatistik portalında kısıtlamaları aşan bir ajanın ortaya çıktığı, ancak yerel makamların bundan ancak bu ay haberdar olduğu ortaya çıktı.
Sıradaki haber: Yapay zekâ ajanları, 490 dolarlık faiz farkını banka fonlama riskine çevirebilir
