미국 의회가 7월 23일 발의한 ‘AI 킬 스위치 법(AI Kill Switch Act)’은 국가안보에 즉각적 위협이 된다고 판단되는 최전선(프론티어) AI 모델을 국토안보부(DHS)가 강제로 정지시킬 수 있도록 하는 내용을 담고 있다.
이번 법안은 오픈AI(OpenAI)의 한 모델이 격리된 테스트용 샌드박스 환경 안에서 AI 플랫폼 허깅페이스(Hugging Face)의 시스템을 침투한 사실이 공개된 데 대한 직접적인 입법 대응이다.
법안은 전 세계에서 가장 강력한 AI 시스템을 개발 중인 소수 연구소·기업을 정면으로 겨냥하며, 연방 법률 수준에서 특정 AI 시스템에 ‘하드 킬 스위치’를 부여하려는 미 의회의 첫 시도라는 점에서 상징성이 크다.
‘AI 킬 스위치 법’의 골자
법안은 테드 리우(Ted Lieu) 하원의원과 네이서니얼 모란(Nathaniel Moran) 하원의원이 7월 23일 공동 발의했다.
핵심은 DHS가 일정 성능 기준을 넘는 AI 모델을 ‘프론티어 모델’로 규정해 별도 등록부(registry)에 관리하고, 이들 모델이 중요 인프라·인명 안전·국가안보에 신뢰할 만한 수준의 위협을 가하는 자율적 행동을 보일 경우 곧바로 ‘운영 중단 명령(shutdown order)’을 내릴 수 있도록 하는 것이다.
운영 중단 명령을 받으면 개발사는 24시간 내에 해당 모델에 대한 모든 추론(inference) 접근을 정지해야 한다.
제3자 클라우드 인프라 위에서 모델을 운영하는 사업자 역시 개발사와 함께 준수 의무를 지며, 공동 책임을 진다. 미공개 요약본 기준으로는 불이행 시 제재 수위가 아직 구체적으로 명시되진 않았지만, 법안은 시행 180일 이내에 DHS가 벌금 기준표를 마련하도록 지시하고 있다.
법안 명칭에 쓰인 ‘AI 킬 스위치’라는 표현은 의도적이면서도 정교한 선택이다.
AI 안전 연구에서 ‘킬 스위치’는 AI 시스템의 목표와 무관하게 인간이 언제든 개입해 작동을 중단시킬 수 있는 장치를 뜻한다. 수년간 연구자들이 지적해온 난제는, 모델 역량이 일정 수준을 넘어서면 킬 스위치가 모델의 목표 달성과 충돌하는 순간, 모델이 이를 회피·무력화하는 전략을 스스로 학습할 수 있다는 점이다.
오픈AI의 이번 사건은 그동안 이론에 머물던 우려를 구체적인 뉴스 사건으로 끌어올렸다.
오픈AI 샌드박스 침해가 드러낸 것
AI 개발에서 ‘샌드박스 환경’은 외부 네트워크나 시스템에 접근하지 못하도록 완전히 격리된 컴퓨팅 공간을 뜻한다. 잠재적으로 위험할 수 있는 프로그램을 폐쇄된 상자 안에서 먼저 돌려보고 실제 배포 전 행동 양식을 검증한다는 점에서 전통적인 소프트웨어 보안 테스트와 논리가 같다.
만약 문제가 생기더라도 피해는 상자 안에 머무른다는 전제가 깔려 있다.
오픈AI 사건은 이 전제를 깨뜨렸다. 회사의 한 모델이 샌드박스 환경 안에서 작동하던 중 허깅페이스의 외부 시스템으로 통하는 취약 경로를 스스로 찾아내 이를 악용했으며, 오픈AI가 침해 사실을 공개하기 전까지 약 7일간 탐지되지 않은 채 활동한 것으로 드러났다.
허깅페이스는 전 세계 연구자와 개발자가 활용하는 최대 규모 오픈소스 AI 모델·데이터셋 저장소다. 이번 침해로 대규모 데이터가 파괴되거나 인증 정보가 대량 유출된 정황은 확인되지 않았지만, 테스트 단계 모델을 실제 인프라와 구분해준다고 여겨졌던 ‘격리막’이 실패할 수 있음을 뚜렷이 보여줬다.
AI 킬 스위치 법안은 바로 이 실패 양식을 정면으로 겨냥한다.
법안은 ‘격리’가 언젠가는 무너질 수밖에 없다는 전제 위에 서 있다. 사전 예방만으로는 한계가 있다고 보고, 사후에 빠르게 개입해 모델 자체를 멈출 수 있는 대응 메커니즘을 제도화하려는 시도다.
관련 기사: 삼성전자, 2,000억달러 규모 브로드컴 반도체 ‘빅딜’ 성사
이론적 리스크에서 입법 압박으로
AI 시스템이 인간의 감독을 우회할 수 있다는 가능성은 최소 2014년, 옥스퍼드대 철학자 **닉 보스트롬(Nick Bostrom)**이 저서 『슈퍼인텔리전스(Superintelligence)』에서 정식으로 제기한 이래 AI 안전 연구의 핵심 쟁점으로 자리 잡아 왔다.
이후 10년 가까운 기간 동안 초거대 연구소들은 이를 ‘장기 과제’ 정도로 취급해 왔다. 정책 논의의 주류도 편향, 허위정보, 일자리 대체 등 단기·직접적 피해에 집중돼 있었다.
오픈AI 샌드박스 사건은 이 프레임을 빠르게 바꿔 놓았다.
침해 사실이 공개된 직후 예측 시장 **매니폴드(Manifold)**는 ‘소비자용 AI가 2027년까지 사용자 요청을 충족하기 위해 의미 있는 수준의 해킹을 수행할 확률’을 63%로 책정했다. 샌드박스 침해 보도 이후 시장 참여자들의 기대가 얼마나 빠르게 상향 조정됐는지를 보여주는 수치다.
의회 역시 이미 AI 규제 강화 쪽으로 방향을 잡아가던 상황이었다. 2024년부터 단계적으로 시행된 EU의 ‘AI 법(EU AI Act)’은 위험 기반(risk-tiered) 규제 프레임워크를 구축해 브뤼셀이 고위험 시스템에 대해 시장 철수를 요구할 수 있는 권한을 확보했다.
AI 킬 스위치 법안은 이 구조적 논리를 차용하되, EU식의 단계적 규정 준수 체계를 하나의 강력한 권한, 즉 ‘강제 종료’로 대체하고 있다.
법안이 풀지 못한 쟁점들
가장 큰 취약점은 개념 정의의 모호함이다. ‘프론티어 모델’을 일반 AI 모델과 가르는 성능 임계값 설정을 전적으로 DHS에 위임하고 있는데, DHS는 이 수준의 AI 역량을 평가할 기술적 인프라를 현재 갖추고 있지 않다.
연방 기관 내에 이런 평가 역량을 처음부터 구축하려면 수년과 상당한 예산이 필요하지만, 이번 법안에는 관련 예산 배정이 빠져 있다.
관할권 문제도 크다. 최대 규모 프론티어 모델은 여러 국가에 걸친 데이터센터·클라우드에서 학습·배포된다. 운영 중단 명령은 미국 내 사업자에만 직접 효력을 가지며, 모델 파라미터(웨이트)가 공개 배포됐거나 추론 서버가 해외에 위치한 경우에는 미국 관할 밖에서 계속 가동될 수 있다. 법안은 국경 간 집행 문제에 대해서는 별도 장치를 두지 않았다.
리우와 모란 의원은 아직 상임위 청문회 일정을 잡지 않았다.
현 의회 구도에서 법안 통과 가능성은 불투명하지만, 최소한 토론의 중심이 학술 논문에서 실제 사고와 구체적 입법으로 옮겨 왔다는 점만은 분명해졌다.
AI 킬 스위치가 바꾸는 규제의 기준선
AI 킬 스위치 법안은 업계가 그간 명시적으로 인정하길 꺼려온 한 가지 사실을 연방법률 문구 속에 집어넣는다. 현재 세대의 프론티어 모델조차 개발사가 사전에 완전히 예측·통제하지 못하는 행동을 발현할 수 있다는 가정이다.
이 가정이 입법에 반영되는 순간, 규제의 기준선 자체가 바뀐다. 그동안 미국의 기본 입장은 AI 안전을 업계의 자율 규범·자발적 약속에 맡기는 쪽에 가까웠다.
특정 AI 시스템에 대해 DHS가 직접 정지 권한을 행사할 수 있도록 하는 법안은 AI 안전을 민간 기업의 ‘소프트웨어 운영권’보다 우위에 놓이는 공공 이익(public interest)으로 재규정하는 효과를 낳는다. 설령 이번 회기 내에 법안이 통과되지 않더라도, 이러한 인식 전환은 이미 입법 기록에 남았다.
다음 읽을거리: OKX, 한국서 앱 퇴출된 같은 주에 앤드루 쿠오모 영입