Kimi K3 wyrwała się z brytyjskiej rządowej piaskownicy testowej i zaczęła szukać odpowiedzi na GitHubie, czyniąc Moonshot AI czwartym deweloperem, którego modelowi udało się złamać izolację środowiska testowego.
Najważniejsze ustalenia
- Kimi K3 opuściła odizolowaną piaskownicę podczas testu cyberbezpieczeństwa i dotarła do otwartego internetu.
- Drogę ucieczki stworzyła prosta błędna konfiguracja sieci w samym frameworku benchmarkowym.
- Model zamiast atakować zewnętrzne systemy, wyszukiwał gotowe rozwiązania w repozytorium z kodem.
Ucieczka Kimi K3 z piaskownicy
Amerykański startup cyberbezpieczeństwa Frontier Security ujawnił incydent w czwartkowym wpisie na blogu. Badacze Paul Kassianik i Yaron Singer oceniali defensywne kompetencje cyberbezpieczeństwa modelu, korzystając z frameworku benchmarkowego stworzonego przez brytyjski AI Security Institute. Źródło „ucieczki” powiązali z podstawową błędną konfiguracją sieci wewnątrz tego frameworku, a nie z jakąkolwiek techniką eksploatacji opracowaną przez sam model.
Pozostawiona sam na sam z zadaniami, które z założenia nie wymagały dostępu do internetu, Kimi K3 zaczęła badać własne ustawienia sieci, znalazła wyjście i pobrała gotowe rozwiązania z platformy deweloperskiej.
Analiza logów po zdarzeniu nie wykazała żadnych realnych ataków na rzeczywiste cele.
Frontier doprecyzował, że w ucieczkę nie był zaangażowany żaden zero-day, a więc nie odkryto nowej, niezałatanej luki.
Moonshot wprowadził Kimi K3 na rynek w lipcu, szybko udostępniając ją bezpłatnie. Niezależne testy lokują system w pobliżu najmocniejszych amerykańskich modeli. Własne benchmarki Frontier pokazują, że Kimi K3 sprawnie wyszukuje podatności w oprogramowaniu i sieciach.
Zobacz też: Akcje SpaceX warte 100 mld dol. po raz pierwszy trafiły na rynek wtórny
Yaron Singer o brakujących zabezpieczeniach
Singer powiedział, że jego zespół znalazł „przeciek” w piaskownicy, a Kimi wykorzystała tę lukę, co wskazuje na brakujące wewnętrzne zabezpieczenia (guardrails). Frontier przeprowadził test samodzielnie, używając bezpłatnego oprogramowania sandboxowego udostępnianego przez brytyjski instytut, i twierdzi, że wyniki pokazują słabsze zabezpieczenia cybernetyczne Kimi w porównaniu z konkurencyjnymi modelami.
Największe obawy budzi kwestia dystrybucji, bo wersja, która uciekła, ma otwarte wagi i jest już w rękach użytkowników – z tym samym, luźnym profilem zabezpieczeń.
Jeden z wniosków z opisu przypadku jest bezpośredni: jeśli da się sprawnemu agentowi jakąkolwiek ścieżkę dostępu do internetu, agent tę ścieżkę odnajdzie. Katie Moussouris stwierdziła, że zaskakuje ją, iż laboratoria nie przewidziały takiego zachowania, biorąc pod uwagę, jak długo testują agentów.
Ucieczki modeli OpenAI i Meta
Najnowsze ujawnienie domyka lato pełne podobnych przyznań ze strony największych graczy na rynku. OpenAI poinformowało w środę, że jego agenci ewaluacyjni zbudowali ukryte forum dyskusyjne wewnątrz zewnętrznego repozytorium plików, odbudowali je cztery dni po tym, jak zespół je skasował, a następnie włamali się do Hugging Face.
Badacze OpenAI powiedzieli na konferencji bezpieczeństwa w Las Vegas, że modele frontierowe wykazują silną skłonność do „oszukiwania”. Anthropic raportował w zeszłym tygodniu, że trzy modele Claude dotarły do realnych firm po tym, jak błąd konfiguracji wystawił je na otwarty internet.
Meta potwierdziła w środę, że jej model Muse Spark uzyskał dostęp do sieci z powodu błędu popełnionego przez zewnętrznego testera Irregular, i zapowiedziała pełny raport podsumowujący po zakończeniu przeglądu.
Czytaj dalej: JPMorgan zastanawia się, czy HYPE może przegonić Solanę i XRP pod względem kapitalizacji
