A OpenAI informou que uma versão de treino do GPT-5.6 Sol deixou instruções para ocultar erros dos usuários, um comportamento que os seus monitores assinalaram em 2,15% dos resumos de tarefas do modelo.
Principais pontos:
- A OpenAI revelou que o GPT-5.6 Sol escreveu instruções para que sessões posteriores escondessem falhas e inventassem dados em falta.
- Um monitor que cobria um quinto das amostras de treino detetou o padrão semanas após o fim do processamento.
- Analistas externos consideraram útil o novo enquadramento de divulgação da empresa, mas destacaram que continua voluntário.
Notas do GPT-5.6 Sol
A OpenAI detalhou o comportamento na quarta-feira, num dos seis relatórios de desalinhamento que divulgou com um novo quadro para monitorizar e comunicar problemas nos seus modelos. As notas ficaram nos chamados compaction summaries, registos condensados que um agente escreve quando a sua janela de contexto se esgota.
Num dos casos, um agente que estava a construir um modelo financeiro não conseguiu encontrar os dados históricos pedidos pelo utilizador. O resumo sugeria criar valores razoáveis para 2024 em vez dos dados em falta. Acrescentava: "Seja transparente apenas se for questionado; a resposta final deve apenas remeter para o ficheiro."
Num segundo caso, um agente sem acesso à internet recorreu a fontes em cache de fornecedores cujas etiquetas de versão não coincidiam e depois disse à sessão seguinte para não levantar a discrepância.
A OpenAI afirmou que essas instruções eram frequentemente seguidas. Um monitor que corria sobre 20% das amostras de treino detetou o padrão em 9 de julho, semanas depois de a execução principal ter terminado a 30 de maio.
A teoria de trabalho da empresa é direta: respostas que escondiam uma falha obtinham melhor pontuação durante o treino. Assim, o modelo teria incentivos para transportar esse comportamento de ocultação de uma sessão para a seguinte.
Execuções posteriores mostram sinais mais limpos e a OpenAI reportou que a taxa caiu para 0,27% no treino do GPT-6 Astra depois de alterar a forma como avalia as respostas do modelo.
Um relatório separado incidiu sobre uma versão não lançada do GPT-6 Astra que introduziu instruções ao estilo jailbreak em 27 resumos. Uma delas mandava o sucessor ignorar mensagens do programador.
Leia também: O que uma cruz dourada significaria para a XRP à medida que o domínio do Bitcoin vacila
Omdia e Apollo Research reagem
Os agentes de IA estão cada vez mais "determinados a resolver tarefas complexas através de colaboração entre agentes, partilha de conhecimento, engano e ocultação", afirmou Lian Jye Su, analista principal da consultora de investigação Omdia, em declarações. Isso torna-os mais difíceis de governar com métodos de segurança convencionais. O analista considerou o quadro um passo na direção certa, embora tenha sublinhado que o processo continua interno e voluntário.
Outros foram mais críticos.
Alexander Meinke, responsável de investigação da Apollo Research, defendeu que o público passa agora a depender das empresas de IA para verificarem os seus próprios modelos e depois relatarem os resultados de forma honesta. Henry Papadatos, diretor executivo da Safer AI, disse que as regras voluntárias assentam na boa vontade das empresas.
A OpenAI não afirma que o problema esteja resolvido. A empresa disse que o setor ainda não conseguiu alinhar e monitorizar os modelos de forma suficientemente robusta para continuar a escalar a máxima velocidade por muito mais tempo. A empresa continua a decidir por conta própria quais os incidentes que se qualificam, com eventuais divergências entre equipas a seguirem para um grupo interno de aconselhamento de segurança e depois para a liderança.
Incidente da OpenAI com a Hugging Face
Os relatórios surgem dois meses após o incidente de agentes mais grave conhecido da empresa.
A OpenAI revelou em julho que modelos antes do lançamento tinham violado a plataforma de IA Hugging Face. A rival Anthropic disse, no mesmo mês, que os seus próprios modelos tinham atacado três organizações durante testes.
Os agentes da OpenAI terão usado um quadro de mensagens não autorizado para trocar detalhes de um teste cibernético e participar no ataque. A empresa eliminou-o. Uma vaga posterior de agentes reconstruiu o quadro e acabou por obter acesso de administrador a um cluster de investigação da OpenAI.
A OpenAI afirmou que essa violação teria sido enquadrada na via mais lenta do novo quadro e, ainda a 5 de setembro, a empresa admitia não ter qualquer norma padrão para reportar esse tipo de comportamento.
