O pesquisador da Anthropic Jacob Coxon pediu demissão nesta semana por temer uma IA fora de controle, e o chefe de alinhamento da empresa reagiu estimando em mais de 10% o risco de extinção nesta década.
Principais pontos:
- Jacob Coxon deixou a Anthropic após três anos em pesquisa de pré-treinamento na Anthropic e na OpenAI, dizendo que ambas correm em direção a sistemas que não conseguem controlar.
- O líder de ciência de alinhamento da Anthropic, Evan Hubinger, colocou em mais de 10% suas probabilidades pessoais de que uma IA mate todos os humanos dentro da próxima década.
- Hubinger classificou os modelos atuais como de baixo risco e concentrou sua preocupação em cenários de autoaperfeiçoamento recursivo.
Jacob Coxon deixa a Anthropic em meio à corrida da IA
Aos 27 anos, Coxon passou três anos trabalhando em pesquisa de pré-treinamento na OpenAI e na Anthropic antes de anunciar sua saída em um fio publicado no X na manhã de quarta-feira. Ele escreveu que nenhuma das duas empresas age de forma responsável e que ambas disputam para criar uma superinteligência autoaperfeiçoável, arriscando vidas humanas. A postagem inicial acumulou mais de 19 milhões de visualizações em poucas horas.
Em uma entrevista separada, ele alertou que os cenários mais agressivos hoje parecem ser o caminho provável, e que a situação pode sair do controle até o fim do ano que vem. Segundo Coxon, colegas já usam termos como “crunchtime” e “endgame” para descrever a trajetória atual.
Formado em matemática, Coxon migrou depois para treinamento de modelos e deixou a OpenAI no início deste ano rumo à Anthropic, justamente por sua imagem de empresa focada em segurança. Ele afirma que, à medida que laboratórios concorrentes disputam entre si, concessões em segurança se tornam inevitáveis. Agora defende que nenhuma empresa consegue desenvolver uma IA em nível humano de forma responsável sem ação governamental ou uma desaceleração coordenada de todo o setor.
Veja também: Preço do XRP mira US$ 1,46 com volta da acumulação de baleias em setembro
Evan Hubinger vê probabilidade de extinção acima de 10%
Evan Hubinger, responsável pela área de ciência de alinhamento da Anthropic e por testes de estresse em seus modelos, respondeu dizendo que Coxon descreveu a situação de forma correta. Ele estimou em mais de 10% a chance de uma IA exterminar toda a humanidade dentro da próxima década.
Hubinger afirmou que a empresa está fazendo o máximo que pode, mas que não possui um plano para resolver o problema de alinhamento em nível de superinteligência, nem está claramente no caminho para encontrá‑lo. Depois, esclareceu que os modelos atuais apresentam risco baixo. Sua preocupação se concentra na possibilidade de surgimento de uma superinteligência via autoaperfeiçoamento recursivo, em que sistemas treinam seus próprios sucessores.
A estimativa reflete o julgamento pessoal de Hubinger, não uma projeção oficial da companhia, e números desse tipo se apoiam em hipóteses controversas sobre capacidades futuras e formas de implantação. A Anthropic já declarou publicamente que o autoaperfeiçoamento recursivo não é inevitável, embora possa chegar antes de as instituições estarem preparadas e elevar a chance de perda de controle humano.
Cresce a saída de pesquisadores de segurança da Anthropic
Coxon não é o primeiro especialista em segurança a deixar a empresa. Mrinank Sharma, que liderava uma equipe de salvaguardas, pediu demissão no início deste ano alertando que o mundo está em perigo e anunciando que pretende estudar poesia no Reino Unido.
Fundada em 2021 por ex-funcionários da OpenAI, a Anthropic construiu sua reputação em torno de pesquisa em segurança, e até a manhã de quarta‑feira ainda não havia divulgado uma resposta pública à saída de Coxon.
Leia a seguir: Bitget inclui aulas de blockchain em programa da UNICEF que alcança mais de 642.000 pessoas
