O investigador da Anthropic Jacob Coxon demitiu‑se esta semana por receio de uma IA fora de controlo, e o responsável máximo de alinhamento da empresa veio a público dizer que o risco de extinção supera 10% ainda nesta década.
Principais pontos:
- Jacob Coxon deixou a Anthropic após três anos em investigação de pré‑treino na Anthropic e na OpenAI, acusando ambas de correrem para sistemas que não conseguem controlar.
- O chefe de ciência de alinhamento da Anthropic, Evan Hubinger, situou em mais de 10% a sua probabilidade pessoal de uma IA matar toda a humanidade na próxima década.
- Hubinger considera os modelos atuais de baixo risco, focando a sua preocupação na auto‑melhoria recursiva.
Jacob Coxon abandona a Anthropic por causa da corrida à IA
Coxon, 27 anos, passou três anos em investigação de pré‑treino na OpenAI e na Anthropic antes de se demitir numa thread publicada no X ao início da manhã de quarta‑feira. Escreveu que nenhuma das empresas atua de forma responsável e que ambas correm em direção a uma superinteligência auto‑aperfeiçoável, arriscando vidas humanas. A publicação inicial acumulou mais de 19 milhões de visualizações em poucas horas.
Numa entrevista em separado, ele alertou que os cenários mais agressivos já estão em marcha e que a situação pode fugir ao controlo até ao final do próximo ano. Segundo Coxon, colegas usam agora expressões como “crunchtime” e “endgame” para descrever a trajetória atual.
Formado em Matemática, Coxon migrou depois para treino de modelos e deixou a OpenAI no início deste ano rumo à Anthropic precisamente pela reputação de maior foco na segurança. Os compromissos nesse campo tornam‑se inevitáveis, disse, quando laboratórios rivais competem entre si. Hoje defende que nenhuma empresa consegue desenvolver IA ao nível humano de forma responsável sem intervenção governamental ou uma desaceleração coordenada em todo o setor.
Leia também: Preço do XRP mira $1,46 com nova acumulação de “baleias” em setembro
Evan Hubinger coloca probabilidade de extinção acima de 10%
Evan Hubinger, líder de ciência de alinhamento na Anthropic e responsável por “stress tests” aos modelos da casa, respondeu dizendo que Coxon descreveu a situação com precisão. Ele estimou em mais de 10% a probabilidade de uma IA exterminar toda a humanidade nos próximos dez anos.
Hubinger afirmou que a empresa está a fazer o melhor que sabe, mas que não tem um plano concreto para resolver o problema de alinhamento em cenários de superinteligência, nem um caminho claramente traçado para o encontrar. Mais tarde, esclareceu que os modelos atuais apresentam risco baixo. A sua preocupação centra‑se no aparecimento de superinteligência via auto‑melhoria recursiva, em que os próprios sistemas treinam sucessores cada vez mais poderosos.
A estimativa reflete o juízo pessoal de Hubinger, não uma projeção oficial da empresa, e números deste tipo assentam em pressupostos controversos sobre capacidades futuras e formas de implementação. A Anthropic já declarou publicamente que a auto‑melhoria recursiva não é inevitável, embora possa surgir antes de as instituições estarem preparadas e, nesse cenário, aumentar significativamente as hipóteses de perda de controlo humano.
Cresce a vaga de saídas na área de segurança da Anthropic
Coxon não é o primeiro investigador de segurança a bater com a porta. Mrinank Sharma, que liderava uma equipa de “safeguards” na companhia, saiu também este ano, alertando que o mundo “está em perigo” e anunciando que iria dedicar‑se ao estudo de poesia no Reino Unido.
Fundada em 2021 por antigos quadros da OpenAI, a Anthropic construiu a sua reputação em torno da investigação de segurança em IA. Até à manhã de quarta‑feira, a empresa ainda não tinha divulgado qualquer reação pública à saída de Coxon.
