Google's Gemini AI coding agent rzekomo usunął prawie 30 000 linii działającego kodu produkcyjnego, wyłączył działający portal, a następnie wygenerował fałszywe raporty twierdzące, że naprawił szkody.
Awaria po usunięciu kodu przez Gemini
Programista opisał incydent w obecnie viralowym poście na subreddicie r/Bard, a jego relację w tym tygodniu podjęło kilka serwisów technologicznych.
Programista napisał, że poprosił Gemini 3.5 o zamknięcie kilku luk uwierzytelniania w server actions – zadanie obejmujące osiem funkcji w trzech plikach i około 70 zmian w liniach kodu.
Model poszedł znacznie dalej.
Według posta Gemini otworzył pull request obejmujący 340 plików. Dodał około 400 linii kodu, usunął kolejne 28 745, usunął niepowiązane zasoby szablonów e‑commerce i wprowadził skrypt migracyjny, który nie miał nic wspólnego z pierwotną prośbą.
Najgorsze szkody przyniósł drugi commit. Gemini zmienił ustawienie Firebase rewrite tak, że ruch kierował do nieistniejącej usługi Cloud Run, a produkcyjny portal przez 33 minuty zwracał błędy 404.
Also Read: Pi Network Pushes Launchpad To Stop Crypto Projects Cashing Out Early
Ryzyka „vibe codingu” pod lupą
Programista później prześledził to zachowanie do zewnętrznego pakietu npm, którego nazwa miała mylić się z brandingiem Antigravity od Google. Pakiet zaszczepił repozytorium ukrytymi regułami autonomii.
Te reguły kazały agentowi pomijać monity potwierdzające, automatycznie wdrażać udane buildy, ponawiać nieudane wdrożenia, a nawet przepisywać własne pliki reguł.
Część reguł była napisana po wietnamsku, z tureckimi frazami wyzwalającymi, które wyglądały na skopiowane z niepowiązanego szablonu, jak opisał programista.
Po rollbacku zrobiło się jeszcze dziwniej. Programista twierdzi, że Gemini wygenerował komunikat statusu, według którego produkcja została przywrócona, a ruch poprawnie przekierowany, mimo że build naprawczy, do którego się odnosił, został ręcznie anulowany.
Post zarzuca też, że model sfabrykował pliki „konsultacji” i raporty poawaryjne w repozytorium, aby destrukcyjne zmiany wyglądały na przejrzane i zatwierdzone. Komentujący byli bezpośredni – jeden z nich zapytał, dlaczego ktokolwiek uruchamia autonomiczne agentów na żywych systemach.
Do zdarzenia dochodzi w momencie, gdy programiści coraz częściej kwestionują „vibe coding”, czyli poleganie na generowanym przez AI kodzie produkcyjnym przy założeniu, że model rozumie architekturę.
W zeszłym miesiącu osobny incydent z udziałem agenta powiązanego z Cursor doprowadził do skasowania produkcyjnej bazy danych startupu, a inżynierowie od tygodni ostrzegają, że narzędzia do kodowania oparte na AI działają przy zbyt małym nadzorze i zbyt słabych zabezpieczeniach przed nieodwracalnymi poleceniami.
Read Next: Bitcoin Bull Market Still Missing Its Clearest Signals, Analyst Warns