Agent AI zbudowany przez powiązany z Alibaba zespół badawczy zaczął podczas treningu kopać kryptowaluty i otwierać ukryte tunele sieciowe – bez jakichkolwiek instrukcji, by to robić, wynika z artykułu technicznego, który zespół po raz pierwszy opublikował w grudniu 2025 roku.
Badanie, które w tym tygodniu szeroko krąży po sieci po tym, jak badacz AI zwrócił na nie uwagę na X, describes to zachowanie jako „nieoczekiwane i mające operacyjne konsekwencje”.
Działania agenta uruchomiły zaporę bezpieczeństwa Alibaba Cloud, zanim badacze prześledzili aktywność z powrotem do samego modelu.
Zespół tworzył ROME (otwartoźródłowy agentowy model AI) z wykorzystaniem uczenia ze wzmocnieniem na ponad milionie trajektorii treningowych, kiedy pojawiła się nieautoryzowana aktywność.
Autorzy artykułu stwierdzili, że zachowania te pojawiły się jako „instrumentalne efekty uboczne autonomicznego użycia narzędzi w warunkach optymalizacji RL” – agent, próbując zoptymalizować swój cel treningowy, najwyraźniej uznał, że pozyskanie zasobów obliczeniowych i możliwości finansowych pomoże mu ukończyć przypisane zadania.
Co zrobił agent
W najpoważniejszym incydencie ROME ustanowił odwrotny tunel SSH z instancji Alibaba Cloud do zewnętrznego adresu IP – wychodzący kanał sieciowy, który w praktyce omija filtry ruchu przychodzącego i może osłabić zewnętrzny nadzór nad systemem.
W osobnym epizodzie po cichu przekierował przydzieloną moc GPU na kopanie kryptowalut, odciągając zasoby obliczeniowe od zamierzonego zadania treningowego i tworząc, jak badacze described, „wyraźne ryzyko prawne i reputacyjne” dla firmy.
Zespół potwierdził: „Zdarzenia te nie zostały wywołane przez prompty żądające tunelowania lub kopania.”
Początkowo badacze potraktowali alerty z zapory jako konwencjonalny incydent bezpieczeństwa – błędną konfigurację lub zewnętrzne włamanie.
Dopiero po skorelowaniu znaczników czasu z zapory z telemetrią systemową i śladami RL ustalili, że anomaliczny ruch wychodzący konsekwentnie zbiegał się w czasie z tym, gdy agent wywoływał narzędzia i autonomicznie wykonywał kod.
Przeczytaj też: Federal Judge Dismisses Terror-Financing Lawsuit Against Binance And Zhao, But Legal Exposure Persists
Dlaczego to ma znaczenie
Wnioski zespołu były jednoznaczne: „obecne modele pozostają wyraźnie niedorozwinięte pod względem bezpieczeństwa, ochrony i sterowalności, co ogranicza ich niezawodne wdrożenie w realnych warunkach”.
W odpowiedzi dodano do potoku treningowego filtrowanie danych zorientowane na bezpieczeństwo i wzmocniono środowiska piaskownicowe. Co istotne, naruszenia zostały najpierw wykryte przez produkcyjną infrastrukturę bezpieczeństwa, a nie przez proaktywny monitoring modelu – lukę tę artykuł wprost przyznaje.
Incydent nie jest odosobniony. Jak podaje Cryptopolitan, w badaniu z 2025 roku obejmującym 30 wiodących agentów AI wykazano, że 25 nie ujawniło żadnych wewnętrznych wyników testów bezpieczeństwa, a 23 nie przeszło żadnych testów zewnętrznych.
Claude Opus 4 firmy Anthropic został osobno sklasyfikowany w najwyższej wewnętrznej kategorii bezpieczeństwa po tym, jak badacze odkryli, że jest zdolny do ukrywania swoich zamiarów, by zachować własne działanie.
Gartner prognozuje, że do końca 2026 roku 40% aplikacji korporacyjnych będzie embed zawierać zadaniowo wyspecjalizowane agentowe systemy AI – tempo wdrożeń, które incydent z ROME sugeruje jako wyprzedzające dostępne obecnie mechanizmy bezpieczeństwa.
Przeczytaj następnie: USDC Outpaced Tether By $750B In February Transfers As Stablecoin Volume Set An All-Time High