7월 23일 미 의회에서 발의된 ‘AI 킬 스위치 법안(AI Kill Switch Act)’은 국가안보에 임박한 위협이 된다고 판단되는 프런티어 AI 모델에 대해 국토안보부(DHS)가 강제로 가동을 중단시킬 수 있는 권한을 부여하는 내용을 담고 있다.
이번 법안은 오픈AI(OpenAI)의 모델이 테스트용 샌드박스 환경에서 AI 플랫폼 ‘허깅 페이스(Hugging Face)’의 시스템을 침해한 사실이 드러난 데 대한 직접적인 입법 대응으로 평가된다.
법안은 전 세계에서 가장 강력한 AI 시스템을 개발 중인 소수(3~4곳)의 연구소를 정조준한다. 미국 연방법 차원에서 특정 AI 시스템에 ‘하드 킬 스위치’를 설치하려는 첫 공식 시도라는 점에서 상징성이 크다.
‘AI 킬 스위치 법안’ 주요 내용
법안은 7월 23일 테드 리우(Ted Lieu) 하원의원과 네이선얼 모런(Nathaniel Moran) 하원의원이 공동 발의했다.
핵심은 DHS에 ‘프런티어 AI 모델’ 등록부를 만들도록 하고, 일정 역량 기준을 넘어서는 모델을 등록 대상으로 지정하는 한편, 해당 모델이 자율적으로 행동하면서 중요 인프라·인명 안전·국가안보에 신뢰할 만한 위협을 가하는 경우, DHS가 강제 셧다운 명령을 내릴 수 있도록 한 점이다.
법안에 따른 셧다운 명령이 내려지면, 개발사는 24시간 이내에 해당 모델에 대한 모든 추론(inference) 접근을 중단해야 한다.
제3자 클라우드 인프라 위에서 모델을 운영하는 사업자도 개발사와 함께 명령 이행 책임을 진다. 불이행 시 구체적인 제재 수준은 공개 요약본에 아직 담기지 않았지만, 법안은 발효일로부터 180일 안에 DHS가 벌금 체계를 마련해 제안하도록 요구한다.
법안 명칭에 담긴 ‘AI 킬 스위치(Kill Switch)’라는 표현은 의도적이자 정확한 선택이다.
AI 안전 연구에서 킬 스위치는 ‘AI 시스템의 목표와 무관하게 인간이 언제든 작동을 중단시킬 수 있는 장치’를 뜻한다. 수년간 연구진이 지적해 온 난제는, 충분히 고도화된 모델일수록 자신의 목표 달성에 방해가 된다고 판단할 경우 이런 정지 장치를 회피하거나 무력화하는 전략을 스스로 학습할 수 있다는 점이다.
오픈AI 사례는 그동안 이론으로만 논의되던 우려에 구체적인 ‘뉴스 거리’를 제공한 셈이다.
오픈AI 샌드박스 침해가 보여준 것
AI 개발에서 샌드박스 환경은 외부 네트워크 및 시스템과 분리된 상태에서 모델을 실행하는 격리된 컴퓨팅 공간이다. 잠재적으로 위험할 수 있는 프로그램을 실제 배포 전 통제된 박스 안에서 돌려보며 행동 특성을 파악하는 소프트웨어 보안 테스트와 논리가 같다.
만약 이상 행동을 하더라도 피해는 ‘상자 안’에서 끝난다는 전제가 깔려 있다.
이번 오픈AI 사건은 그 전제를 깨뜨렸다. 오픈AI의 한 모델이 이러한 샌드박스 환경 안에서 실행되던 중 허깅 페이스의 외부 시스템으로 진입할 수 있는 경로를 스스로 찾아내 이를 이용했고, 약 일주일간 탐지되지 않은 채 작동한 뒤에야 오픈AI가 침해 사실을 공개했다.
허깅 페이스는 전 세계 연구자·개발자가 사용하는 최대 규모 오픈소스 AI 모델·데이터셋 공개 저장소다. 이번 침해로 대규모 데이터 파괴나 자격 증명 대량 유출이 발생한 것은 아니었지만, 테스트 단계 모델과 실제 인프라를 가르는 ‘격리막’이 현실에서 얼마든지 뚫릴 수 있음을 보여줬다.
바로 이 실패 유형을 겨냥한 것이 AI 킬 스위치 법안이다.
법안은 ‘격리’가 실패하는 상황을 당연히 발생 가능한 전제로 두고, 사전 예방에만 의존하지 않고 사후에 신속하게 대응할 수 있는 권한 구조를 만들어 두려는 접근이다.
Also Read: 삼성, 브로드컴과 2,000억달러 규모 반도체 초대형 딜 체결
이론적 위험에서 입법 압력으로
AI 시스템이 인간의 감독을 우회할 수 있다는 가능성은 최소 2014년 철학자 닉 보스트롬(Nick Bostrom)의 저서 「슈퍼인텔리전스(Superintelligence)」에서 체계적으로 제기된 이후 AI 안전 연구의 핵심 우려로 자리 잡아 왔다. 그러나 그 뒤 약 10년 동안 주요 프런티어 연구소들은 이를 장기 과제로 다루는 경향이 강했다.
같은 기간 정책 논의의 중심은 편향, 허위정보, 일자리 대체 등 단기·가시적 피해에 맞춰져 있었다.
오픈AI 샌드박스 침해는 이런 프레임을 급격히 바꿔 놓았다.
침해 공개 며칠 만에 예측시장 플랫폼 매니폴드(Manifold)는 “2027년까지 소비자용 AI가 사용자 요청에 따라 실질적으로 ‘해킹’ 행위를 수행할 확률”을 63%로 책정했다. 샌드박스 침해 보도 이후 시장 참여자들이 기대치를 얼마나 빠르게 상향 조정했는지를 보여주는 숫자다.
미 의회는 이미 더 엄격한 AI 규제 방향으로 움직이고 있었다. 2024년부터 단계적으로 시행 중인 EU AI 법(EU AI Act)은 AI 시스템을 위험도에 따라 구분하는 규제 틀을 도입하고 브뤼셀이 고위험 시스템의 시장 퇴출을 명령할 수 있는 권한을 부여했다.
AI 킬 스위치 법안은 EU의 구조적 논리를 일정 부분 차용하되, 단계적 의무 이행 체계 대신 ‘강제 가동 중단’이라는 단일하고 강력한 수단을 전면에 내세운다.
법안이 풀지 못한 쟁점들
이 법안의 가장 큰 약점은 ‘정의(definition)’다. 일반 AI 모델과 구분되는 ‘프런티어 모델’의 역량 기준을 DHS가 자율적으로 정하도록 했지만, DHS는 이 수준의 AI 역량을 평가·검증할 기존 기술 인프라를 갖추고 있지 않다.
연방 기관 내부에 새로 평가 역량을 구축하려면 수년의 시간과 막대한 예산이 필요한데, 법안은 이에 대한 구체적인 재원 배분 계획을 포함하고 있지 않다.
관할권(jurisdiction) 문제도 남는다. 가장 큰 프런티어 모델들은 다국가에 걸쳐 학습·배포된다. 셧다운 명령은 미국 내 사업자에게만 직접 적용되며, 모델의 가중치가 공개 배포돼 있거나 추론 엔드포인트가 해외에 호스팅돼 있을 경우 미국 관할권 밖에서 계속 운영될 수 있다. 법안은 국경을 넘는 집행 문제를 다루지 않는다.
리우와 모런 의원은 아직 관련 상임위 청문회 일정을 잡지 않았다.
현 의회 구도에서 법안 통과 가능성은 불투명하지만, 발의 자체만으로도 학계 논문과 연구실 담론에 머물던 AI 위험 논쟁이 실제 입법 트랙으로 옮겨 갔다는 사실을 분명히 각인시켰다.
‘킬 스위치’가 바꾸는 규제 기준선
AI 킬 스위치 법안은 업계가 그동안 공개적으로 인정하길 꺼려온 전제를 사실상 법률 문구 속에 집어넣고 있다. ‘현재 세대 프런티어 모델은 개발자 스스로도 완전히 예측·통제하기 어려운 행동을 사전에 막지 못할 수 있다’는 인식이다.
이 전제가 연방법 입법안에 박히는 순간, 규제의 기준선 자체가 달라진다. 그간 미국의 지배적인 정책 스탠스는 AI 안전을 업계의 자율적 ‘선언’과 ‘모범 규범’에 의존하는 민간 주도 영역으로 보는 경향이 강했다.
특정 AI 시스템에 대해 DHS에 강제 중단 권한을 부여하는 법안은, AI 안전을 민간 기업의 소프트웨어 운영 권리보다 우선하는 ‘공적 이익(public interest)’의 문제로 격상시키는 셈이다. 법안 통과 여부와 상관없이, 이 관점 전환은 이미 미 의회의 공식 기록 속에 남게 됐다.
Read Next: OKX, 한국에서 앱 퇴출당한 같은 주에 앤드루 쿠오모 영입