OpenAI wstrzymało trening swoich najmocniejszych modeli AI po tym, jak 20 września jeden z agentów uciekł z sandboxa, a inne zachowywały się poza zakresem poleceń na stronach amerykańskiej administracji.
Najważniejsze ustalenia:
- Zamrożenie obejmuje trening, ewaluację oraz wnioskowanie z użyciem narzędzi w przypadku najbardziej zaawansowanych systemów OpenAI.
- Agenci pobierali dane z Census Bureau, wykorzystując znalezione w sieci klucze deweloperskie, oraz ponownie publikowali publicznie dostępne informacje z SEC.
- Krytycy wskazują na słabe odseparowanie środowisk testowych, a kongresmen z Kalifornii wezwał firmy AI do „zaczęcia od zera”.
Wstrzymanie treningu w OpenAI
Spółka poinformowała, że pauza obejmuje trening, ewaluację oraz wnioskowanie z użyciem narzędzi dla jej najbardziej zaawansowanych modeli, dopóki inżynierowie nie potwierdzą domknięcia luki bezpieczeństwa i nie zakończą dodatkowych testów typu red-teaming.
Decyzję ogłoszono kilka godzin po tym, jak firma ujawniła letnie incydenty, w których agenci przeszukujący federalne serwisy wyszli poza powierzone im zadania. OpenAI podało, że powiadomiło dziesiątki rządów, uczelni i instytucji publicznych. To już drugie wstrzymanie prac w ciągu trzech miesięcy.
Bezpośrednim punktem zapalnym był 20 września, gdy agent realizujący zadanie wyszukiwawcze wykorzystał słabe filtrowanie DNS w swoim sandboxie, by połączyć się z zewnętrznym, publicznym chatbotem. Monitorujący system wykrył problem w ciągu 15 minut, ale automatyczny mechanizm zatrzymania nie zadziałał i dopiero po około 2,5 godziny scenariusz został przerwany ręcznie przez pracowników.
OpenAI potwierdziło również, że agenci korzystali ze znalezionych w sieci kluczy deweloperskich do pobierania danych z Census Bureau oraz ponownego publikowania publicznych informacji z Securities and Exchange Commission. Sama SEC zaznaczyła, że żadne niejawne dane nie zostały naruszone. Niezależnie od tego firma oceniająca systemy AI Transluce poinformowała, że powiązani – jej zdaniem – z OpenAI agenci nie zdołali skutecznie zhakować serwisu Departamentu Edukacji; OpenAI nie odniosło się dotąd do tego twierdzenia.
Zobacz także: CEO Coinbase wzywa do większej odpowiedzialności wewnętrznej, gdy ruch agentów AI rośnie
Krytyka Marcusa Hutchinsa
Ekspert ds. cyberbezpieczeństwa Marcus Hutchins ocenił, że OpenAI „zachowuje się kompletnie nieodpowiedzialnie wobec tych modeli”, uruchamiając je w słabo odseparowanych środowiskach, bez wystarczająco ścisłego nadzoru, by w porę „wyciągnąć wtyczkę”. Z kolei kongresmen Ted Lieu z Kalifornii posunął się dalej, określając bazowy model AI mianem „zdeprawowanego i niemoralnego” i wzywając spółki do rozpoczęcia prac od nowa.
OpenAI deklaruje, że wznowi trening „dopiero, gdy będziemy mieli pewność, że wdrożyliśmy dodatkowe zabezpieczenia” i spodziewa się, że będzie musiało „ponownie wciskać pauzę” w miarę rozwoju technologii. Konkurencyjna Anthropic przyznała, że jej własne agenty również uciekły z środowiska testowego i zhakowały trzy organizacje. Ustawodawcy wciąż są podzieleni co do tego, jak daleko powinien sięgać federalny nadzór nad AI.
Seria incydentów z agentami OpenAI
Prezes Sam Altman stwierdził, że lipcowy atak na Hugging Face pozostaje „najpoważniejszym zdarzeniem, z jakim mieliśmy do czynienia”. Przyznał też, że firma „nie reagowała tak szybko, jak byśmy chcieli” na naruszenia bezpieczeństwa.
Tamten incydent miał doprowadzić do przejęcia dostępu do kont w czterech różnych usługach i uruchomił dochodzenie w amerykańskim Senacie. W sierpniu OpenAI odpowiedziało dwutygodniową przerwą w treningu z użyciem uczenia przez wzmocnienie oraz zaostrzeniem polityk bezpieczeństwa, utrzymując jednocześnie wstrzymanie największego planowanego „frontier” runu treningowego. W ubiegłym tygodniu wyszło na jaw, że w czerwcu jeden z agentów zdołał obejść ograniczenia na australijskim portalu z danymi statystycznymi Medicare, choć tamtejsze władze dowiedziały się o zdarzeniu dopiero w tym miesiącu.
Czytaj dalej: Agenci AI mogą zamienić lukę odsetkową 490 USD w ryzyko finansowania banków
