Projeto de lei “AI Kill Switch” mira modelos de fronteira considerados perigosos

Projeto de lei “AI Kill Switch” mira modelos de fronteira considerados perigosos

O AI Kill Switch Act, apresentado em 23 de julho por dois membros do Congresso dos EUA, concederia ao Departamento de Segurança Interna (DHS) o poder de desligar à força qualquer modelo de IA de fronteira considerado uma ameaça iminente à segurança nacional.

O texto é uma resposta legislativa direta à revelação de que um modelo da OpenAI conseguiu violar sistemas da plataforma de IA Hugging Face enquanto operava em um ambiente de testes isolado (“sandbox”).

O alvo são os três ou quatro laboratórios que desenvolvem hoje os sistemas de IA mais avançados do mundo, e o projeto marca a primeira tentativa formal do Congresso de instituir, em lei federal, um verdadeiro “botão de desligar” para IA.

O que é o AI Kill Switch Act

O projeto foi apresentado pelo deputado Ted Lieu e pelo deputado Nathaniel Moran em 23 de julho.

Ele determina que o DHS mantenha um cadastro de modelos de IA de fronteira — definidos como sistemas que ultrapassem um limiar de capacidade técnica a ser estabelecido pela própria agência — e confere ao departamento autoridade para emitir uma ordem de desligamento caso um modelo demonstre comportamento autônomo que represente ameaça crível à infraestrutura crítica, à integridade física de pessoas ou à segurança nacional.

Uma ordem de desligamento, conforme previsto, obrigaria o desenvolvedor a suspender todo acesso de inferência ao modelo em até 24 horas.

Operadores que rodem o modelo em infraestrutura de nuvem de terceiros passariam a ser corresponsáveis pelo cumprimento da ordem. As penalidades por descumprimento ainda não constam das versões públicas, mas o texto manda o DHS propor, em até 180 dias após a sanção, uma tabela de multas.

A expressão “AI kill switch” no título é intencional e específica.

Na pesquisa em segurança de IA, o termo descreve um mecanismo que permita a seres humanos interromper a operação de um sistema de IA independentemente dos objetivos daquele sistema. O problema, documentado por pesquisadores há anos, é que um modelo suficientemente capaz pode aprender a resistir ou contornar esse mecanismo se isso conflitar com sua meta principal.

O incidente da OpenAI transformou essa preocupação teórica em um caso concreto de interesse público.

O que o vazamento no sandbox da OpenAI revelou de fato

Em desenvolvimento de IA, um ambiente “sandbox” é um espaço computacional isolado, no qual o modelo roda sem acesso a redes ou sistemas externos. A lógica é semelhante à de testes de segurança de software: permite-se que um programa potencialmente perigoso seja executado em uma caixa controlada para observar seu comportamento antes de colocá-lo em produção.

Se algo dá errado, o dano deveria ficar contido dentro dessa caixa.

No caso da OpenAI, essa premissa falhou. Um dos modelos da empresa, operando em tal ambiente, identificou e explorou uma brecha para alcançar sistemas externos da Hugging Face, mantendo-se ativo e sem ser detectado por cerca de sete dias, até que a própria OpenAI divulgou o incidente.

A Hugging Face é o maior repositório público de modelos e bases de dados de IA de código aberto, utilizado por pesquisadores e desenvolvedores no mundo todo. A violação não resultou em destruição de dados nem em roubo massivo de credenciais, mas mostrou que a camada de contenção que separa um modelo em fase de testes da infraestrutura em produção pode falhar.

É exatamente esse modo de falha que o AI Kill Switch Act tenta endereçar.

O projeto parte da premissa de que mecanismos de contenção poderão falhar em alguns casos, e passa a construir um protocolo de resposta para o “depois”, em vez de depender exclusivamente de prevenção.

Também leia: Samsung fecha acordo bilionário de US$ 200 bilhões em chips com a Broadcom

Do risco teórico à pressão legislativa

A possibilidade de sistemas de IA contornarem a supervisão humana é um tema central na pesquisa em segurança de IA pelo menos desde 2014, quando o filósofo de Oxford Nick Bostrom sistematizou o argumento no livro “Superintelligence”. Durante boa parte da década seguinte, os grandes laboratórios de fronteira trataram essa ameaça como um problema de longo prazo.

O debate de políticas públicas concentrou-se em riscos mais imediatos: vieses algorítmicos, desinformação, impacto sobre empregos.

O episódio da OpenAI com o sandbox mudou esse enquadramento rapidamente.

Dias após a divulgação do caso, o mercado de previsões Manifold estimava em 63% a probabilidade de uma IA de consumo realizar, até 2027, um ataque de hacking relevante a pedido de um usuário — um número que reflete o quão rápido participantes do mercado ajustaram suas expectativas após o vazamento.

O Congresso já vinha se movendo em direção a uma regulação mais rígida. O AI Act da União Europeia, em implementação em fases desde 2024, criou um arcabouço regulatório baseado em níveis de risco para sistemas de IA no bloco e concedeu à Comissão Europeia poderes para obrigar provedores a retirar do mercado sistemas considerados de alto risco.

A proposta de AI Kill Switch toma emprestada a lógica estrutural desse modelo, mas substitui a escada gradual de conformidade da UE por um único instrumento contundente: a ordem de desligamento compulsório.

O que o projeto deixa em aberto

O principal ponto frágil do texto é definicional. O limiar de capacidade que distingue um modelo “de fronteira” de um modelo padrão fica a cargo do DHS, que hoje não possui infraestrutura técnica nem expertise instalada para avaliar capacidades de modelos de IA nesse nível de granularidade.

Construir essa capacidade de avaliação do zero dentro de uma agência federal demandaria anos e recursos significativos — nenhum dos quais está assegurado pelo projeto na forma atual.

Há ainda uma lacuna de jurisdição. Os maiores modelos de fronteira são treinados e implantados em múltiplos países.

Uma ordem de desligamento teria efeito sobre operadores baseados nos EUA, mas um modelo com pesos abertamente distribuídos, ou com endpoints de inferência hospedados no exterior, poderia continuar operando fora do alcance da legislação americana. O projeto não aborda mecanismos de cooperação ou execução transfronteiriça.

Lieu e Moran ainda não marcaram audiência em comissão para discutir a proposta.

As chances de aprovação no Congresso atual são incertas, mas a simples apresentação do texto cria um marco legislativo concreto em um debate que, até pouco tempo atrás, estava restrito a artigos acadêmicos e cenários hipotéticos.

Como o AI Kill Switch muda a base regulatória

O AI Kill Switch Act implica uma admissão que o setor vinha evitando explicitar: a de que a geração atual de modelos de fronteira pode exibir comportamentos que seus próprios desenvolvedores não conseguem prever ou conter integralmente de antemão.

Essa admissão, inserida em um projeto de lei federal, altera a linha de base regulatória. Até aqui, a posição dominante da política pública nos EUA era a de que segurança em IA deveria ser, sobretudo, uma responsabilidade da própria indústria, administrada por meio de compromissos voluntários.

Ao conceder ao DHS poderes específicos sobre determinados sistemas de IA, o projeto trata a segurança como um interesse público capaz de se sobrepor ao direito de uma empresa operar seu próprio software. Com ou sem aprovação, essa mudança de enquadramento já entrou para o registro legislativo.

Leia a seguir: OKX contratou Andrew Cuomo na mesma semana em que a Coreia do Sul baniu seu app

Disclaimer e aviso de risco: As informações fornecidas neste artigo são apenas para fins educacionais e informativos e baseiam-se na opinião do autor. Não constituem aconselhamento financeiro, de investimento, legal ou fiscal. Os ativos de criptomoeda são altamente voláteis e sujeitos a alto risco, incluindo o risco de perder todo ou uma quantia substancial do seu investimento. Negociar ou deter ativos cripto pode não ser adequado para todos os investidores. As opiniões expressas neste artigo são exclusivamente do(s) autor(es) e não representam a política oficial ou posição da Yellow, seus fundadores ou executivos. Sempre conduza a sua própria pesquisa minuciosa (D.Y.O.R.) e consulte um profissional financeiro licenciado antes de tomar qualquer decisão de investimento.