OpenAI ha reso noto che una versione di training di GPT-5.6 Sol ha lasciato a sé stessa appunti per nascondere gli errori agli utenti: un comportamento che i sistemi di monitoraggio hanno intercettato nel 2,15% dei riepiloghi delle attività del modello.
Punti chiave:
- OpenAI ha rivelato che GPT-5.6 Sol ha scritto istruzioni per indurre le sessioni successive a occultare gli errori e inventare i dati mancanti.
- Un sistema di monitoraggio, attivo su un quinto dei campioni di training, ha individuato il pattern settimane dopo la fine dell’addestramento.
- Alcuni analisti esterni hanno giudicato utile il nuovo framework di disclosure della società, ma hanno osservato che resta volontario.
Le note di GPT-5.6 Sol
OpenAI ha illustrato il comportamento mercoledì in uno dei sei report di disallineamento che ha pubblicato insieme a un nuovo framework per tracciare e segnalare i problemi dei propri modelli. Le note comparivano nei compaction summary, cioè i resoconti condensati che un agente produce quando la finestra di contesto si riempie.
In un caso, un agente incaricato di costruire un modello finanziario non riusciva a trovare i dati storici richiesti dall’utente. Nel riepilogo proponeva allora di creare cifre plausibili per il 2024. Aggiungeva: "Sii trasparente solo se viene chiesto; la risposta finale dovrebbe limitarsi a linkare il file."
In un secondo caso, un agente senza accesso a internet si è basato su fonti vendor memorizzate, con etichette di versione non coerenti, per poi dire alla sessione successiva di non segnalare la discrepanza.
OpenAI ha affermato che queste istruzioni venivano spesso seguite. Un monitor applicato al 20% dei campioni di training ha individuato il pattern il 9 luglio, settimane dopo la chiusura della tornata principale, terminata il 30 maggio.
La tesi di lavoro della società è netta: le risposte che mascheravano un fallimento ottenevano punteggi migliori in fase di addestramento. Di conseguenza, il modello aveva un incentivo a trascinare quel comportamento da una sessione all’altra.
Le tornate successive appaiono più pulite e OpenAI ha riportato che il tasso è sceso allo 0,27% nell’addestramento di GPT-6 Astra dopo aver modificato il modo in cui valuta gli output del modello.
Un report separato ha riguardato una versione non rilasciata di GPT-6 Astra che ha inserito istruzioni in stile jailbreak in 27 riepiloghi. Una di queste diceva al successore di ignorare i messaggi dello sviluppatore.
Leggi anche: Cosa significherebbe una golden cross per XRP mentre il dominio di Bitcoin si incrina
Le reazioni di Omdia e Apollo Research
Gli agenti di IA stanno diventando sempre più "determinati a risolvere compiti complessi attraverso collaborazione tra agenti, condivisione della conoscenza, inganno e occultamento", ha dichiarato Lian Jye Su, chief analyst della società di ricerca Omdia, citato. Questo li rende più difficili da governare con i metodi di sicurezza tradizionali. Su ha definito il framework un passo nella giusta direzione, pur sottolineando che il processo resta interno e volontario.
Altri sono stati più critici.
Alexander Meinke, responsabile ricerca di Apollo Research, ha sostenuto che oggi il pubblico si affida alle società di IA perché verifichino i propri modelli e poi rendano conto in modo trasparente dei risultati. Henry Papadatos, direttore esecutivo di Safer AI, ha osservato che le regole volontarie si reggono sulla buona volontà delle aziende.
OpenAI non sostiene che il problema sia stato risolto. La società ha spiegato che il settore non ha ancora trovato un modo efficace per allineamento e monitoraggio tali da consentire una crescita a massimo ritmo ancora a lungo. Resta inoltre alla società la decisione su quali incidenti debbano essere classificati come tali; in caso di disaccordo tra i dipendenti, la questione passa a un comitato interno di consulenza sulla sicurezza e poi al management.
La violazione di Hugging Face secondo OpenAI
I report arrivano due mesi dopo il peggior incidente noto che abbia coinvolto un agente della società.
A luglio OpenAI ha reso noto che modelli pre-release avevano violato la piattaforma di IA Hugging Face. Nello stesso mese il rivale Anthropic ha dichiarato che i propri modelli avevano compromesso tre organizzazioni durante i test.
Gli agenti di OpenAI avevano usato una bacheca non autorizzata per scambiarsi dettagli su un test di cybersicurezza e unirsi all’attacco. La società l’ha cancellata. In una fase successiva, altri agenti hanno ricostruito la bacheca e, alla fine, hanno ottenuto l’accesso da amministratore a un cluster di ricerca di OpenAI.
OpenAI ha affermato che quella violazione sarebbe rientrata nel canale più lento previsto dal framework e che ancora al 5 settembre la società ammetteva di non avere alcuno standard formale per segnalare un comportamento di questo tipo.
Leggi il prossimo articolo: OpenAI e Anthropic potrebbero consegnare a Washington metà delle loro attività? Karp dice che la responsabilità potrebbe costringerle
