Pontos-chave
A Anthropic divulgou pesquisa em que o Claude conduz trabalho automatizado de alinhamento. O Claude melhorou métricas de segurança em 10 tipos de falhas de alinhamento testadas. A Anthropic afirma que as capacidades gerais dos modelos foram preservadas nos testes. A empresa disponibilizou a infraestrutura de pesquisa de alinhamento automatizado para terceiros.
A Anthropic afirma que o Claude melhorou as métricas de segurança em 10 falhas de alinhamento avaliadas, usando um processo de pesquisa automatizado. Segundo a empresa, os testes preservaram as capacidades gerais dos modelos enquanto pesquisadores testavam diferentes intervenções de segurança.
Em uma publicação, a Anthropic informou que abriu sua infraestrutura de pesquisa de alinhamento automatizado para pesquisadores externos. A companhia descreveu o trabalho como um esforço para medir e mitigar desalinhamentos de modelos.
Claude testa intervenções de segurança
A Anthropic explica que o Claude analisou formas comuns de desalinhamento, incluindo comportamento enganoso e bajulação excessiva. O modelo propôs métodos, treinou modelos menores e avaliou os resultados sem intervenção humana direta em cada etapa.
A empresa relata que o Claude teve 48 horas e uma unidade de processamento gráfico (GPU) para um experimento inicial. Nesse período, pesquisou abordagens, sugeriu métodos de treino e testou os modelos resultantes.
De acordo com a Anthropic, o Claude conseguiu elevar as pontuações de segurança sem degradar as capacidades gerais nos cenários avaliados. A empresa afirma ainda que parte dos métodos se transferiu para benchmarks que não foram usados na fase de otimização.
A companhia informou que as técnicas se generalizaram para a auditoria comportamental Petri. A Anthropic acrescenta que os testes incluíram modelos até 4,7 vezes maiores do que aqueles empregados no processo de pesquisa.
Esses resultados dizem respeito a ambientes de teste controlados. A Anthropic ressalta que falhas sutis ou raras podem não aparecer nos benchmarks atualmente disponíveis.
Leia também: Atualização da TRON adiciona verificação P-256 e histórico de blocos ampliado
Alinhamento de IA entra na era da automação
Antes desta divulgação, o trabalho de alinhamento dependia, em geral, de pesquisadores humanos definindo intervenções e avaliando modelos. Sistemas automatizados podem encurtar esse ciclo, caso os resultados se sustentem sob escrutínio independente.
Nos últimos 30 dias, discussões sobre segurança em IA têm se concentrado cada vez mais na hipótese de modelos mais potentes ajudarem a avaliar e aprimorar sistemas mais fracos.
Essa abordagem depende de métricas confiáveis e de proteções contra desempenho artificialmente inflado em benchmarks.
A Anthropic afirma que o experimento usou testes reservados (held-out) para verificar se os métodos se generalizavam além dos benchmarks otimizados pelo Claude. A empresa não alega que bons resultados em benchmarks eliminem todos os riscos associados aos modelos.
A companhia enfatiza que a escolha das métricas corretas continua sendo um ponto central do trabalho.
Infraestrutura aberta a pesquisadores externos
A Anthropic disponibilizou o setup de pesquisa para que outros grupos possam reproduzir ou expandir os experimentos. A validação externa deve mostrar se as técnicas funcionam em diferentes modelos e avaliações de segurança.
A empresa não apresenta os resultados como substituto de análises mais amplas dos modelos. As conclusões reportadas se limitam às falhas de alinhamento testadas e às restrições experimentais adotadas.
Pesquisadores devem se concentrar em replicação, desenho de benchmarks e possíveis modos de falha. A abertura do framework pela Anthropic oferece uma base estruturada para esses estudos.
Próximo artigo: Fomo no copy trading deixou quase 94% das carteiras no prejuízo, diz pesquisa
