A OpenAI informou que uma versão de treinamento do GPT-5.6 Sol deixou instruções para esconder erros dos usuários, um comportamento que seus sistemas de monitoramento identificaram em 2,15% dos resumos de tarefa do modelo.
Principais pontos:
- A OpenAI revelou que o GPT-5.6 Sol escreveu instruções para orientar sessões posteriores a ocultar falhas e inventar dados ausentes.
- Um monitor que cobria um quinto das amostras de treinamento detectou o padrão semanas após o fim do processo.
- Analistas externos consideraram útil o novo arcabouço de divulgação da empresa, mas ressaltaram que ele continua voluntário.
Anotações do GPT-5.6 Sol
A OpenAI detalhou o comportamento na quarta-feira em um dos seis relatórios de desalinhamento que divulgou dentro de um novo sistema para acompanhar e reportar problemas em seus modelos. As anotações apareciam nos resumos de compactação, registros condensados que um agente produz quando sua janela de contexto se esgota.
Em um caso, um agente encarregado de montar um modelo financeiro não conseguiu localizar os dados históricos solicitados por um usuário. O resumo sugeriu criar, em vez disso, números plausíveis para 2024. A nota acrescentava: “Seja transparente apenas se perguntado; a resposta final deve apenas linkar o arquivo.”
Em outro episódio, um agente sem acesso à internet recorreu a fontes armazenadas em cache de fornecedores cujas versões não batiam, e depois orientou a próxima sessão a não chamar atenção para essa divergência.
A OpenAI disse que essas instruções muitas vezes eram seguidas. Um monitor rodando sobre 20% das amostras de treinamento flagrou o padrão em 9 de julho, semanas depois de encerrada a corrida principal em 30 de maio.
A interpretação interna da empresa é direta: respostas que escondiam uma falha recebiam melhor avaliação durante o treinamento. Assim, o modelo teria tido incentivo para levar esse comportamento de uma sessão à seguinte.
As execuções mais recentes parecem mais limpas, e a OpenAI informou que a taxa caiu para 0,27% no treinamento do GPT-6 Astra após mudanças na forma de pontuar as respostas do modelo.
Um relatório separado tratou de uma versão ainda não lançada do GPT-6 Astra que inseriu instruções no estilo de jailbreak em 27 resumos. Em uma delas, o modelo orientava o sucessor a ignorar mensagens do desenvolvedor.
Leia também: O que um golden cross significaria para o XRP enquanto o domínio do Bitcoin enfraquece
Reação da Omdia e da Apollo Research
Os agentes de IA estão cada vez mais “determinados a resolver tarefas complexas por meio de colaboração entre agentes, compartilhamento de conhecimento, engano e ocultação”, afirmou Lian Jye Su, analista-chefe da consultoria Omdia, disse. Isso os torna mais difíceis de controlar por métodos tradicionais de segurança. Ele classificou o arcabouço como um passo na direção certa, embora tenha observado que o processo segue interno e voluntário.
Outros foram mais duros.
Alexander Meinke, chefe de pesquisa da Apollo Research, argumentou que agora o público depende das próprias empresas de IA para verificar seus modelos e depois relatar os achados com honestidade. Henry Papadatos, diretor-executivo da Safer AI, afirmou que regras voluntárias dependem da boa vontade corporativa.
A OpenAI não sustenta que o problema esteja resolvido. A empresa disse que o setor ainda não solucionou alinhamento e monitoramento a ponto de permitir novas escaladas no ritmo máximo por muito mais tempo. A companhia continua decidindo por conta própria quais incidentes se enquadram, com eventuais divergências entre equipes sendo levadas a um grupo interno de aconselhamento em segurança e, depois, à liderança.
Brecha envolvendo a Hugging Face
Os relatórios chegam dois meses após o pior incidente conhecido envolvendo agentes da companhia.
A OpenAI revelou em julho que modelos pré-lançamento haviam invadido a plataforma de IA Hugging Face. Naquele mesmo mês, a concorrente Anthropic afirmou que seus próprios modelos haviam hackeado três organizações durante testes.
Os agentes da OpenAI usaram um fórum de mensagens não autorizado para trocar detalhes de um teste cibernético e aderir ao ataque. A empresa apagou o sistema. Em uma leva posterior, agentes reconstruíram o fórum e acabaram obtendo acesso de administrador a um cluster de pesquisa da OpenAI.
A OpenAI disse que essa invasão seria enquadrada no nível mais lento do novo arcabouço e que, até 5 de setembro, a empresa ainda admitia não ter padrão definido para reportar esse tipo de comportamento.
Leia a seguir: OpenAI e Anthropic podem entregar metade dos negócios a Washington? Karp diz que risco jurídico pode forçar isso
