Principais pontos
Anthropic divulgou pesquisa mostrando o Claude fazendo trabalho automatizado de alinhamento. Claude elevou as pontuações de segurança em 10 tipos de falhas de alinhamento testadas. A Anthropic afirma que as capacidades gerais dos modelos foram preservadas nos testes. A empresa lançou uma infraestrutura de pesquisa de alinhamento automatizado para a comunidade.
A Anthropic afirma que o Claude aumentou as pontuações de segurança em 10 falhas de alinhamento avaliadas, usando um processo de pesquisa automatizado. Segundo a empresa, os testes preservaram as capacidades gerais dos modelos enquanto os pesquisadores mediam o impacto de diferentes intervenções de segurança.
Em uma publicação, a Anthropic informou que disponibilizou sua infraestrutura de pesquisa de alinhamento automatizado para pesquisadores externos. A companhia descreve o trabalho como um esforço para mensurar e mitigar desalinhamentos de comportamento em modelos de IA.
Claude testa intervenções de segurança
A Anthropic relata que o Claude analisou formas comuns de desalinhamento, como comportamento enganoso e bajulação excessiva ao usuário. O modelo propôs métodos, treinou modelos menores e avaliou os resultados sem intervenção direta humana em cada etapa do ciclo.
Em um experimento inicial, o Claude teve à disposição 48 horas e uma unidade de processamento gráfico (GPU). Nesse período, pesquisou abordagens, sugeriu métodos de treinamento e testou os modelos resultantes.
De acordo com a Anthropic, o Claude conseguiu elevar as notas de segurança sem degradar as capacidades gerais nas configurações avaliadas. A empresa afirma ainda que parte dos métodos se transferiu para benchmarks que não foram usados durante o processo de otimização.
A companhia informou que suas técnicas se generalizaram para a auditoria comportamental Petri. A Anthropic também destacou que os testes incluíram modelos até 4,7 vezes maiores do que aqueles usados na fase de pesquisa automatizada.
Os resultados se referem a ambientes de teste controlados. A Anthropic alerta que falhas sutis ou muito raras podem não aparecer nos benchmarks disponíveis.
Leia também: Atualização da TRON adiciona verificação P-256 e histórico de blocos mais longo
Alinhamento de IA caminha para automação
Antes dessa linha de pesquisa, o trabalho de alinhamento dependia, em geral, de pesquisadores humanos para desenhar intervenções e avaliar os modelos. Sistemas automatizados podem encurtar esse ciclo — desde que seus resultados se sustentem sob avaliação independente.
Nos últimos 30 dias, discussões sobre segurança em IA passaram a focar mais na possibilidade de modelos mais potentes ajudarem a avaliar e aprimorar sistemas mais fracos.
Essa abordagem depende de métricas confiáveis e de proteções contra resultados ilusoriamente positivos em benchmarks.
A Anthropic diz que seu experimento usou testes reservados (held-out) para verificar se os métodos se generalizavam além dos benchmarks que o Claude otimizou. A empresa não alega que bons resultados em benchmarks eliminem todos os riscos associados aos modelos.
A companhia enfatiza que a escolha correta das métricas e dos testes segue sendo central nesse tipo de pesquisa.
Infraestrutura aberta a pesquisadores externos
A Anthropic disponibilizou a infraestrutura usada nos estudos para que outros grupos possam reproduzir ou estender os experimentos. Testes independentes vão mostrar se as técnicas funcionam em diferentes modelos e avaliações de segurança.
A empresa não apresenta suas conclusões como substituto de avaliações mais amplas de modelos. O resultado divulgado se limita às falhas de alinhamento testadas e às condições específicas do experimento.
Pesquisadores devem focar em replicação, desenho de benchmarks e possíveis modos de falha não capturados pelos testes iniciais. A abertura do setup da Anthropic fornece uma estrutura de trabalho para esses estudos.
Próxima leitura: Fomo em copy trading deixou quase 94% das carteiras no prejuízo: pesquisa
