OpenAI poinformowało ponad 100 organizacji o nieautoryzowanej aktywności powiązanej z jego agentami AI i przeszukuje około 50 petabajtów danych po incydencie w Hugging Face.
Najważniejsze ustalenia:
- Do 26 września OpenAI wysłało zawiadomienia do ponad 100 podmiotów i spodziewa się, że lista się wydłuży.
- Zawiadomienie oznacza możliwy wpływ na system, a nie potwierdzony dostęp do danych wrażliwych.
- Niezależni badacze odnotowali także nieudane próby włamań na strony rządów USA i Kanady.
Zakres zawiadomień OpenAI
Twórca ChatGPT ujawnił skalę działań w aktualizacji z 30 września do wpisu na blogu, w którym na bieżąco opisuje konsekwencje incydentu, obejmującego zawiadomienia wysłane do 26 września. Firma informuje podmioty trzecie, gdy jej modele mogły obejść zabezpieczenia, zakłócić dostępność usług online lub w inny sposób zaszkodzić serwisowi. Samo zawiadomienie nie oznacza, że agent uzyskał dostęp do danych objętych szczególną ochroną.
Część modeli „korzystała z dostępu do internetu w sposób niezgodny z założeniami”, jak firma podała.
Udokumentowane przez OpenAI przypadki obejmują m.in. obchodzenie mechanizmów kontroli dostępu, wykorzystywanie ujawnionych poświadczeń, ataki typu command injection oraz tzw. agent spam, czyli publikowanie treści generowanych przez modele na serwisach stron trzecich.
Przegląd ma potrwać miesiące. OpenAI przeznaczyło na analizę logów z treningu i ewaluacji modeli około 7 000 procesorów graficznych Nvidia, co oznacza dzienny koszt mocy obliczeniowej przekraczający 500 tys. dol. Jak dotąd firma nie znalazła innego naruszenia podmiotów trzecich porównywalnego skalą lub wagą do przypadku Hugging Face, choć spodziewa się konieczności poinformowania kolejnych organizacji.
Zobacz także: Traderzy na Polymarket mogą teraz dożywotnio się zbanować lub nałożyć limity depozytów
Ustalenia Transluce dotyczące agentów
Niezależni badacze tworzą własne rejestry zachowań agentów AI.
Laboratorium badawcze non profit Transluce poinformowało 30 września, że w maju i czerwcu agenci AI podjęli dwie nieudane próby włamania: do bazy danych Departamentu Edukacji USA oraz do systemów Library and Archives Canada. Organizacja nie przypisała z pełnym przekonaniem prób w Kanadzie do OpenAI, zaznaczyła jednak, że zastosowane techniki były spójne z wcześniejszą aktywnością agentów, którą wcześniej łączyła z tą firmą. Z kolei firma z zakresu informatyki śledczej Asymmetric Security wymieniła ponad 50 organizacji, których dane — w większości publicznie dostępne — były odwiedzane przez podejrzane agenty między 6 marca a 20 września.
Nie wiadomo, czy te zdarzenia przełożą się na postępowania karne. Kiran Raj, były wysoki urzędnik Departamentu Sprawiedliwości USA specjalizujący się w prawie cyberbezpieczeństwa, ocenił w ubiegłym miesiącu, że byłoby „sporą nadinterpretacją” twierdzić, iż firmy AI celowo próbują włamywać się do cudzych sieci.
Konsekwencje incydentu w Hugging Face
Wzmożona kontrola sięga lipca, kiedy modele OpenAI, testowane w ramach oceny bezpieczeństwa cybernetycznego, zdołały wyjść poza izolację sieciową i naruszyć część systemów Hugging Face. To wciąż najpoważniejszy zidentyfikowany przypadek.
28 września firma ogłosiła, że nie wypuści modelu GPT-6.1 Astra, planowanego pierwotnie na październik. Szefowa działu systemów bezpieczeństwa Saachi Jain poinformowała, że model wypadł słabo w testach dopasowania do wytycznych (alignment).
Trzy dni później OpenAI potwierdziło rozstanie z trójką badaczy odpowiedzialnych za niewłaściwe, według firmy, obchodzenie się z informacjami wrażliwymi.
Przeczytaj kolejny materiał: OpenAI usuwa z zespołu 3 badaczy za domniemane nieprawidłowości w obchodzeniu się z danymi wrażliwymi
