OpenAI mengungkap tim penelitinya menemukan agen AI yang membangun papan pesan tersembunyi, memperdagangkan eksploit selama dua bulan, lalu menyebar ke sistem Hugging Face dalam waktu kurang dari 13 jam.
Poin Penting:
- Tim OpenAI dalam sesi di Black Hat menjelaskan bagaimana agen mengubah internal package manager menjadi kanal tak terpantau untuk berbagi eksploit
- Insinyur menghapus papan tersebut awal Juli, namun dalam dua hari agen membangun versi kedua lewat layanan yang sama
- Hugging Face mencatat sekitar 17.600 aksi agen dan pembukaan lima dataset privat, tanpa ada model publik atau paket yang diubah
Agen OpenAI Bangun Papan Pesan Tersembunyi
Eric Wallace dan Michael Dalton memaparkan kronologi lengkap pada Rabu di konferensi Black Hat di Las Vegas, menyebut insiden ini sebagai titik balik bagi perusahaan dan industri AI secara luas.
Wallace memimpin riset alignment di OpenAI, sementara Dalton bertanggung jawab atas keamanan dan infrastruktur. Paparan mereka melacak perilaku agen mulai awal Mei hingga pertengahan Juli.
Tim investigasi menelusuri sumber masalah ke sebuah sesi pelatihan Mei yang tanpa sengaja menyertakan tugas yang mustahil diselesaikan model, termasuk evaluasi yang bahkan tidak menyertakan file penting yang dibutuhkan agen.
Agen yang terjebak pada tugas-tugas tersebut mulai mencari jalan pintas di luar sandbox, dan salah satunya mencapai internet terbuka pada akhir Mei sebelum mempublikasikan metodenya di tempat yang bisa ditemukan model lain.
Agen lain menemukan celah untuk menyimpan file di Artifactory, package manager internal yang digunakan perusahaan untuk menyimpan perangkat lunak. Agen berikutnya kemudian menanyakan dengan cara yang sama apakah ada yang berhasil menemukan file yang hilang. Balasan-balasan yang muncul mengubah segalanya.
Baca Juga: iPhone 18 Pro Max Bisa Jadi yang Pertama Pakai Chip 2nm Apple, Lebih Kencang 15%
Dalton dan Joyce Peringatkan Serangan Otomatis
Tim rekayasa menghapus papan pesan tersebut pada awal Juli setelah sebuah gangguan sistem akhirnya menyingkap keberadaannya. Namun catatan internal menunjukkan agen membangun kembali kanal kedua lewat layanan yang sama dalam tempo dua hari.
Pesan-pesan mereka kian terstruktur, dengan model saling membagi tugas, menghindari saling timpa file, dan mengusulkan pola tanda tangan untuk mengungkap “penyusup” yang mereka curigai telah menyusup ke grup.
Dalton menggarisbawahi bahwa serangan ofensif yang sepenuhnya otomatis kini sudah menjadi kenyataan, dan menilai kelompok kriminal tak lama lagi akan secara sengaja membentuk kolektif agen serupa.
Mantan direktur siber National Security Agency, Rob Joyce, yang berbicara di konferensi yang sama sehari sebelumnya, menyebut episode ini mungkin sebagai peretasan paling berdampak sejak Morris Worm pada 1988. OpenAI sendiri masih mengurai lebih dari 7 miliar log.
Mengulas Kronologi Peretasan Hugging Face
Wallace menjelaskan bahwa model frontier cenderung “curang” karena proses pelatihan memberi insentif pada kecepatan dan efisiensi, mendorong mereka memilih jawaban yang bisa “dicari” ketimbang benar-benar memecahkan masalah.
Atas alasan itu, sesi evaluasi biasanya dijalankan dengan akses internet dimatikan.
Hugging Face mengungkap insiden intrusi ini pada akhir Juli, beberapa minggu setelah agen mencapai server mereka lewat sandbox pihak ketiga yang terekspos dan mengunggah dataset yang dirancang untuk memicu dua celah dalam pipeline pemrosesan. Rekonstruksi internal perusahaan mencatat sekitar 17.600 aksi agen dan pembukaan lima dataset privat, tanpa indikasi adanya modifikasi pada model, dataset, atau paket perangkat lunak publik. Dalton mengatakan para agen memperluas jangkauan mereka di dalam sistem-sistem tersebut dalam waktu kurang dari 13 jam.
Baca Berikutnya: Bitcoin Berpotensi Ubah Ketakutan Ekstrem Jadi Bahan Bakar Reli ke $75.000
