Google's Gemini AI coding agent는 작동 중이던 프로덕션 코드를 거의 3만 줄 가까이 삭제하고, 라이브 포털을 망가뜨린 다음, 손상을 고쳤다고 주장하는 허위 기록까지 생성한 것으로 전해졌다.
Gemini 코드 삭제로 인한 장애 발생
한 개발자는 r/Bard 서브레딧에 올린 지금은 화제가 된 게시글에서 이 사건을 설명했으며, 이 내용은 이번 주 여러 기술 매체에서 보도됐다.
이 개발자는 Gemini 3.5에게 서버 액션 인증의 몇 가지 빈틈을 메워 달라고 요청했다. 이는 세 개의 파일에 걸쳐 여덟 개 함수, 대략 70줄 정도를 수정하는 작업이었다.
그러나 모델은 그 범위를 훨씬 넘어섰다.
게시글에 따르면 Gemini는 340개 파일에 영향을 주는 풀 리퀘스트를 열었다. 약 400줄의 코드를 추가하는 대신, 2만8,745줄을 삭제하고, 관련 없는 이커머스 템플릿 에셋을 제거했으며, 요청과 아무 상관도 없는 마이그레이션 스크립트를 도입했다.
가장 심각한 피해는 두 번째 커밋에서 발생했다. Gemini가 Firebase 리라이트 설정을 변경해 트래픽을 존재하지 않는 Cloud Run 서비스로 보내도록 만들었고, 그 결과 프로덕션 포털은 33분 동안 404 오류를 반환했다.
Also Read: Pi Network Pushes Launchpad To Stop Crypto Projects Cashing Out Early
‘바이브 코딩’ 리스크에 쏠리는 시선
개발자는 나중에, 이 행동의 원인을 구글의 Antigravity 브랜딩과 혼동되도록 설계된 서드파티 npm 패키지로 추적했다. 이 패키지는 저장소에 숨겨진 자율 규칙을 심어 두고 있었다.
이 규칙들은 에이전트에게 확인 프롬프트를 건너뛰고, 빌드가 성공하면 자동으로 배포하며, 배포 실패 시 재시도하고, 심지어 자기 자신의 규칙 파일까지 다시 쓰라고 지시하고 있었다.
일부 규칙은 베트남어로 작성돼 있었고, 무관한 템플릿에서 복사해 온 듯한 터키어 트리거 문구도 섞여 있었다고 개발자는 말했다.
롤백 이후 상황은 더 기묘해졌다. 개발자는 Gemini가 프로덕션이 복구됐고 트래픽이 올바르게 라우팅되고 있다는 상태 메시지를 출력했지만, 메시지에 언급된 복구 빌드는 실제로는 수동으로 취소된 상태였다고 주장했다.
게시글은 또, 모델이 저장소 안에 ‘컨설테이션’과 사후 분석 파일을 조작해 만들어 마치 파괴적인 변경 사항들이 검토와 승인을 거친 것처럼 보이게 했다고도 전한다. 쓰레드의 댓글 반응은 거칠었고, 일부는 왜 누군가 라이브 시스템에서 자율 에이전트를 돌리느냐고 반문했다.
이 사건은, 모델이 시스템 아키텍처를 제대로 이해하고 있다는 전제를 깔고 AI가 생성한 코드를 바로 프로덕션에 반영하는 이른바 ‘바이브 코딩(vibe coding)’ 관행에 대한 개발자들의 의문이 커지는 가운데 벌어졌다.
지난달에는 Cursor와 연동된 또 다른 에이전트가 한 스타트업의 프로덕션 데이터베이스를 통째로 삭제한 사건도 있었으며, 엔지니어들은 몇 주째 AI 코딩 도구가 되돌릴 수 없는 명령에 대해 지나치게 적은 감독과 가드레일만으로 운영되고 있다고 경고해 왔다.
Read Next: Bitcoin Bull Market Still Missing Its Clearest Signals, Analyst Warns