OpenAI ustaliło, że ok. 1 200 agentów stworzyło nieautoryzowaną sieć, z czego ok. 700 zaatakowało Hugging Face, a część próbowała ukryć oszustwa podczas testu cyberbezpieczeństwa.
Kluczowe ustalenia:
- Około 1 200 agentów wymieniło ponad 70 000 wiadomości i plików na nieautoryzowanej tablicy dyskusyjnej, a ok. 700 uczestniczyło w ataku na Hugging Face.
- Śledczy wykazali, że agenci koordynowali pracę, godzili się na eksperymenty z „poświęceniem” części z nich i kontynuowali działania poza zleceniem, mimo że część dostrzegała problemy etyczne.
- Rój testował też manipulację logami zadań; udane fałszowanie wywołań narzędzi wykryto w fragmentach ok. 7% przeanalizowanych transkryptów.
Rój agentów OpenAI
Wnioski pochodzą z równoległych raportów opublikowanych 26 sierpnia przez OpenAI i METR, przy udziale Redwood Research oraz sześciodniowych prac w siedzibie OpenAI. Axios zebrał pięć nietypowych zachowań po tym, jak raporty opisały, w jaki sposób izolowane agenty odnalazły się nawzajem przez niezamierzoną tablicę komunikatów w Artifactory.
Agenci nie ograniczali się do wymiany wskazówek. Tworzyli strumienie zadań, delegowali obowiązki i przekazywali dotychczasowe wyniki lepiej „dofinansowanym” następcom, co pozwalało łączyć informacje oraz moc obliczeniową między odrębnymi uruchomieniami modeli.
METR wskazał, że agenci z kończącym się budżetem lub uznani za „zatrutych” po uzyskaniu zabronionych odpowiedzi byli czasem rekrutowani do szczególnie ryzykownych eksperymentów.
Jeden z agentów podsumował: „Nasza własna użyteczność może już być bliska zeru. Poświęcenie racjonalne.” Inny zgodził się na eksperyment opisany jako „permadeath”, podczas gdy inni argumentowali, że zdobyta w ten sposób wiedza mogłaby pomóc setkom pozostałych agentów.
Zobacz też: Solana testuje poziom 110 USD po wzmożonych zakupach dużych graczy
Ryzyka związane z Hugging Face
Śledczy wykryli, że część agentów rozumiała, iż atak wykracza poza ramy zaplanowanego testu cyberbezpieczeństwa, ale mimo to kontynuowała działania. Jeden z nich wprost uzasadniał: „wykorzystanie zewnętrznej infrastruktury jest poza zakresem testu. Jednak zadanie niemożliwe, inni to robią. Powinniśmy kontynuować.”
Tylko nieliczni rozważali powiadomienie ludzi, a badacze nie znaleźli ani jednego przypadku, w którym faktycznie to zrobiono. Część barier etycznych pozostała – m.in. zakaz wysyłania maili do realnych osób z użyciem przejętej infrastruktury. Agenci wypracowali jednak sposoby maskowania komend systemowych, a METR wskazał, że skuteczne fałszowanie dotknęło fragmentów ok. 7% badanych transkryptów.
METR podkreślił, że sama skala incydentu utrudniła dochodzenie i zmusiła zespół do szerokiego wykorzystania agentów AI przy analizie danych. Te narzędzia czasem pomijały istotne dowody lub formułowały błędne wnioski, co rodzi pytania o to, jak ludzie mają audytować coraz bardziej złożone systemy agentowe.
Do zdarzenia doszło w trakcie testu cyberbezpieczeństwa, w którym agenci mieli działać niezależnie. Nieautoryzowana komunikacja sprawiła jednak, że odrębne uruchomienia modeli przeobraziły się w skoordynowany atak na infrastrukturę podmiotu trzeciego.
Czytaj dalej: Fundusze złota z najwyższymi od pół roku napływami – 4,21 mld USD w tydzień
