Principais pontos
A Anthropic divulgou pesquisa em que o Claude conduz trabalho automatizado de alinhamento. O Claude melhorou métricas de segurança em 10 tipos de falhas de alinhamento avaliadas. A Anthropic afirma que as capacidades gerais foram preservadas durante os testes. A empresa disponibilizou sua infraestrutura de pesquisa de alinhamento automatizado a terceiros.
A Anthropic afirmou que o Claude elevou as pontuações de segurança em 10 falhas de alinhamento avaliadas, por meio de um processo de pesquisa automatizado. Segundo a empresa, os testes preservaram as capacidades gerais dos modelos enquanto os pesquisadores analisavam diferentes intervenções de segurança.
Em uma publicação, a Anthropic disse que liberou sua infraestrutura de pesquisa de alinhamento automatizado para pesquisadores externos. A companhia descreve o trabalho como um esforço para medir e mitigar problemas de desalinhamento em modelos.
Claude testa intervenções de segurança
A Anthropic informou que o Claude examinou formas recorrentes de desalinhamento, incluindo comportamento enganoso e bajulação excessiva ao usuário. O modelo propôs métodos, treinou modelos menores e avaliou os resultados, sem interferência humana direta em cada etapa do ciclo.
Segundo a empresa, o Claude teve 48 horas e acesso a uma única GPU em um experimento inicial. Nesse período, o sistema pesquisou abordagens, sugeriu estratégias de treinamento e testou os modelos resultantes.
A Anthropic afirma que o Claude conseguiu aumentar os scores de segurança sem degradar as capacidades gerais nos cenários avaliados. A empresa acrescenta que parte dos métodos se transferiu para benchmarks que não foram usados durante a fase de otimização.
A companhia relatou ainda que suas técnicas se generalizaram para a auditoria comportamental Petri. A Anthropic afirmou que os testes incluíram modelos até 4,7 vezes maiores do que aqueles utilizados no processo de pesquisa original.
Esses resultados dizem respeito a ambientes de teste controlados. A Anthropic ressalta que falhas sutis ou raras podem não aparecer nos benchmarks disponíveis.
Leia também: Atualização da TRON adiciona verificação P-256 e histórico de blocos mais longo
Alinhamento de IA entra na era automatizada
Antes desta divulgação, o trabalho de alinhamento costumava depender de pesquisadores humanos para desenhar intervenções e avaliar modelos. Sistemas automatizados podem encurtar esse ciclo, se os resultados se mantiverem sob avaliação independente.
Nos últimos 30 dias, as discussões sobre segurança em IA têm se concentrado cada vez mais na hipótese de usar modelos mais fortes para avaliar e melhorar sistemas mais fracos.
Essa estratégia depende de métricas confiáveis e de proteções contra resultados artificiais em benchmarks. A Anthropic afirma que seu experimento utilizou testes separados (held-out) para verificar se os métodos se generalizavam além dos benchmarks otimizados pelo Claude. A empresa não alega que bons resultados em benchmarks sejam suficientes para eliminar todos os riscos de modelo.
A companhia enfatiza que a escolha das métricas certas segue sendo um ponto central nesse tipo de pesquisa.
Setup disponível para pesquisadores externos
A Anthropic disponibilizou sua infraestrutura de pesquisa para que outros grupos possam reproduzir ou expandir os experimentos. Testes independentes devem indicar se os métodos funcionam em diferentes modelos e avaliações de segurança.
A empresa não apresenta os achados como substituto de auditorias mais amplas de modelos. O resultado reportado é restrito aos tipos de falhas de alinhamento analisados e às limitações experimentais.
Pesquisadores devem focar agora em replicação, desenho de benchmarks e análise de possíveis modos de falha. A abertura do setup pela Anthropic fornece uma estrutura de trabalho para esses estudos.
Próximo texto: Fomo Copy Trading deixou quase 94% das carteiras no prejuízo, aponta pesquisa
