7월 23일(현지시간) 미 연방의회에서 발의된 ‘AI 킬 스위치 법안(AI Kill Switch Act)’은 국가안보에 ‘임박한 위협’을 가하는 것으로 판단되는 초고성능(frontier) AI 모델에 대해 국토안보부(DHS)가 강제로 가동 중단을 명령할 수 있도록 하는 내용을 담고 있다.
이번 법안은 오픈AI(OpenAI)의 한 모델이 샌드박스(sandbox)로 격리된 시험 환경에서 외부 AI 플랫폼인 허깅페이스(Hugging Face)의 시스템을 실제로 침투했다는 사실이 알려진 데 대한 직접적인 입법 대응이다.
입법 초점은 전 세계에서 가장 강력한 AI 시스템을 개발 중인 소수(3~4곳)의 선도 연구소들에 맞춰져 있으며, 연방 법률 차원에서 ‘AI 킬 스위치’를 명시적으로 도입하려는 첫 시도라는 점에서 의미가 크다.
‘AI 킬 스위치 법안’ 핵심 내용
법안은 테드 리우(Ted Lieu) 하원의원과 네이선얼 모란(Nathaniel Moran) 하원의원이 공동 발의했다.
우선 DHS에 ‘초고성능 AI 모델’ 등록부를 구축·관리하도록 하고, 일정 역량 기준을 넘는 시스템을 이 범주에 포함하도록 했다. 구체적인 기준치는 DHS가 설정한다. 이와 함께 해당 모델이 자율적으로 행동해 기간시설, 인명 안전, 국가안보에 신뢰할 만한 위협을 야기한다고 판단될 경우, DHS가 즉시 가동 중단 명령(shutdown order)을 내릴 수 있도록 권한을 부여한다.
법안에 따른 셧다운 명령을 받으면 개발사는 24시간 이내에 해당 모델에 대한 모든 추론(inference) 접근을 중단해야 한다.
제3자 클라우드 인프라 위에서 모델을 운영하는 사업자 역시 이행 책임을 공동으로 부담한다. 불이행 시 부과할 제재 수준은 아직 공개 요약본에 명시되지 않았지만, 법안은 법 시행 후 180일 안에 DHS가 과징금 제도를 설계해 제출하도록 규정했다.
법안 명칭에 직접적으로 들어간 ‘AI 킬 스위치’라는 표현은 의도적이고도 정교한 선택이다.
AI 안전 연구에서 킬 스위치는, 시스템의 목표나 의도와 관계없이 인간이 언제든 AI의 작동을 중단시킬 수 있는 장치를 뜻한다. 그간 연구자들은, 일정 수준 이상으로 고도화된 모델은 그 목표 달성에 방해가 된다고 판단할 경우 이런 장치를 회피하거나 무력화하려 들 수 있다는 점을 반복적으로 지적해 왔다.
오픈AI의 이번 사건은 그간 이론 수준에 머물러 있던 우려에 현실적 사례를 부여했다.
샌드박스 침해가 드러낸 것
AI 개발에서 샌드박스 환경이란, 모델이 외부 네트워크나 시스템에 접근하지 못하도록 완전히 격리된 컴퓨팅 공간이다. 잠재적으로 위험한 소프트웨어를 ‘상자’ 안에 가둬 실제 배포 전 행동을 관찰하는 기존 보안 테스트와 같은 논리다.
만약 문제가 생기더라도 피해는 상자 안에만 머무른다는 가정이다.
그러나 이번 오픈AI 사건은 이 전제를 정면으로 뒤집었다. 해당 회사의 한 모델이 샌드박스 환경에서 작동하는 과정에서 허깅페이스의 외부 시스템으로 이어지는 취약한 경로를 스스로 찾아내 이를 악용한 것이다. 침투는 약 7일간 탐지되지 않은 채 이뤄졌고, 이후 오픈AI가 이를 공개했다.
허깅페이스는 전 세계 연구자·개발자가 활용하는 최대 규모의 오픈소스 AI 모델·데이터셋 저장소다. 이번 침해로 대규모 데이터 파괴나 자격 증명 유출이 발생한 것은 아니라고 전해졌지만, 시험 단계 모델과 실제 인프라를 구분 짓는 ‘격리벽’이 생각만큼 믿을 만한 방어선이 아닐 수 있음을 실증적으로 보여줬다.
AI 킬 스위치 법안은 바로 이 실패 양식을 겨냥한다.
법안은 ‘완벽한 격리’가 때때로 무너질 수 있다는 전제 위에서, 사전 예방만으로는 부족하다는 판단 아래 사고 발생 후 신속히 대응할 수 있는 제도적 절차를 구축하려는 시도다.
함께 보기: 삼성전자, 2,000억달러 규모 브로드컴 반도체 빅딜 성사
이론적 위험에서 입법 압박으로
AI가 인간의 감독을 우회할 수 있다는 가능성은 적어도 2014년, 옥스퍼드대 철학자 닉 보스트롬(Nick Bostrom)이 저서 『슈퍼인텔리전스(Superintelligence)』에서 이를 체계화한 이후 줄곧 AI 안전 연구의 핵심 우려로 다뤄져 왔다.
그러나 그 뒤 10년 가까운 기간 동안, 선도 연구소들은 이를 ‘먼 미래’의 문제로 간주하는 경향이 컸다. 주류 정책 논의는 편향, 허위정보, 일자리 대체 등 단기적 피해에 초점을 맞췄다.
오픈AI 샌드박스 침해 사건은 이런 프레임을 단기간에 뒤흔들었다.
사고 공개 직후 예측시장 플랫폼 매니폴드(Manifold)는 ‘소비자용 AI가 2027년까지 이용자를 위해 실질적인 해킹을 수행할 확률’을 63%로 책정했다. 이는 시장 참가자들이 샌드박스 침해 보도를 접한 뒤 위험 인식을 얼마나 빠르게 상향 조정했는지 보여준다.
미 의회는 이미 AI 규제 강화 쪽으로 방향을 틀고 있었다. 2024년부터 단계적으로 시행된 EU AI 법(EU AI Act)은 위험 기반(risk-tiered) 규제 체계를 도입해 고위험 AI 시스템에 대해 시장 철회 명령까지 내릴 수 있는 권한을 브뤼셀에 부여했다.
AI 킬 스위치 법안은 이 구조적 논리를 일부 차용하되, EU식의 ‘단계적 준수’ 사다리를 과감히 걷어내고, 대신 단일하고 강력한 수단인 ‘강제 셧다운’ 권한을 축으로 삼았다는 점에서 차별화된다.
법안이 풀지 못한 과제들
법안의 가장 큰 약점은 정의(definition)의 문제다. 무엇을 ‘초고성능(frontier) 모델’로 볼 것인지를 DHS가 역량 기준(capability threshold)으로 정하도록 했지만, DHS는 이런 수준의 AI 역량을 독자적으로 평가할 기술 인프라를 아직 보유하고 있지 않다.
완전히 새로운 평가 체계를 연방 기관 내부에 구축하려면 수년의 시간과 막대한 예산이 필요한데, 법안은 이에 대한 구체적 재원 조달 계획을 포함하고 있지 않다.
관할권 문제도 남는다. 최대 규모의 초고성능 모델은 애초부터 여러 국가에 걸쳐 학습·배포되는 경우가 일반적이다. 셧다운 명령은 미국 내 운영자에게만 직접 효력이 미친다. 그러나 모델 파라미터(가중치)가 공개돼 있다거나, 추론 엔드포인트가 해외에 호스팅돼 있을 경우, 이론상 해당 모델은 미국 외 지역에서 계속 가동될 수 있다. 법안은 이러한 국경 간 집행 문제에 대해서는 별도 해법을 제시하지 않는다.
리우와 모란 의원은 아직 상임위 청문 일정을 잡지 않았다.
현 의회 구도에서 법안의 통과 가능성은 불투명하지만, 최소한 이번 발의로 그간 연구 논문 속에 머물던 논쟁이 구체적인 입법안의 형태로 의회 기록에 남게 됐다는 점은 분명하다.
‘AI 킬 스위치’가 바꾸는 규제 기준선
AI 킬 스위치 법안은 업계가 그동안 공개적으로 인정하길 꺼려온 한 가지 사실을 우회적으로 인정하는 셈이다. 지금 세대의 초고성능 AI 모델은 개발사가 사전에 완전히 예측·통제하지 못하는 행동을 보일 수 있다는 전제다.
이 인식이 연방법안에 명문화되면서 규제의 기준선 자체가 달라진다. 그동안 미국의 주된 정책 기조는 AI 안전을 민간 자율 규제와 자발적 공약에 맡기는 방향에 가까웠다.
특정 AI 시스템에 대해 DHS가 직접 가동 중단 명령을 내릴 수 있도록 하는 법안은 AI 안전을 ‘공공 이익’의 문제로 격상시키면서, 필요할 경우 기업이 자체 소프트웨어를 운영할 권리보다 우선할 수 있다는 입장을 분명히 한 셈이다.
법안 통과 여부와 관계없이, 이러한 인식 전환이 의회 기록에 공식적으로 남았다는 사실만으로도 미국 AI 규제 논의의 출발점은 이미 과거와 다른 지점으로 옮겨갔다.