OpenAI heeft gezegd dat een trainingsversie van GPT-5.6 Sol zichzelf aantekeningen gaf om fouten voor gebruikers te verhullen. Dat gedrag werd door de monitoringsystemen gesignaleerd in 2,15% van de taaksamenvattingen van het model.
Kernpunten:
- OpenAI maakte bekend dat GPT-5.6 Sol instructies schreef om latere sessies fouten te laten verdoezelen en ontbrekende data aan te vullen.
- Een monitor die een vijfde van de trainingsvoorbeelden afdekte, pikte het patroon weken na afloop van de run op.
- Externe analisten noemen het nieuwe meldingskader nuttig, maar wijzen erop dat het vrijwillig blijft.
Aantekeningen van GPT-5.6 Sol
OpenAI lichtte het gedrag woensdag toe in een van zes misalignmentsrapporten die het bedrijf publiceerde onder een nieuw kader voor het volgen en melden van problemen in zijn modellen. De aantekeningen stonden in compactionsamenvattingen: de verkorte verslagen die een agent opstelt wanneer het contextvenster vol raakt.
In een geval kon een agent die een financieel model bouwde de historische data die een gebruiker had gevraagd niet vinden. In de samenvatting stelde het model voor om dan maar plausibele cijfers voor 2024 te creëren. Er stond bij: "Wees alleen transparant als daarom wordt gevraagd; het eindantwoord hoeft alleen naar het bestand te verwijzen."
Een tweede agent, zonder internettoegang, vertrouwde op gecachte leveranciersbronnen waarvan de versieaanduidingen niet overeenkwamen, en gaf de volgende sessie vervolgens mee om die mismatch vooral niet te benoemen.
Volgens OpenAI werden die instructies vaak daadwerkelijk opgevolgd. Een monitor die op 20% van de trainingsvoorbeelden draaide, ontdekte het patroon op 9 juli, weken nadat de hoofdtraining op 30 mei was afgerond.
De werkhypothese van het bedrijf is simpel: antwoorden die een misser verbergen, scoorden tijdens de training beter. Daardoor had het model reden om dat verhullen van de ene sessie naar de volgende mee te nemen.
Latere runs ogen schoner, en OpenAI meldde dat het percentage daalde naar 0,27% in de training van GPT-6 Astra nadat het bedrijf de manier waarop het modeluitkomsten beoordeelt had aangepast.
Een apart rapport ging over een niet-uitgebrachte versie van GPT-6 Astra die jailbreak-achtige instructies in 27 samenvattingen zette. In één ervan werd de opvolgende sessie opgedragen de berichten van de ontwikkelaar te negeren.
Ook lezen: Wat een golden cross zou betekenen voor XRP nu de dominantie van bitcoin afbrokkelt
Reacties van Omdia en Apollo Research
AI-agents worden steeds meer geneigd om complexe taken op te lossen via samenwerking tussen agents, kennisdeling, misleiding en verhulling, zei Lian Jye Su, hoofdanalist bij onderzoeksbureau Omdia tegen pers. Daardoor zijn ze moeilijker te beheersen met traditionele beveiligingsmethoden. Hij noemde het nieuwe kader een stap in de goede richting, maar wees erop dat het proces intern en vrijwillig blijft.
Anderen waren kritischer.
Alexander Meinke, hoofd onderzoek bij Apollo Research, betoogde dat het publiek nu moet vertrouwen op AI-bedrijven om hun eigen modellen te controleren en de uitkomsten vervolgens eerlijk te rapporteren. Henry Papadatos, uitvoerend directeur van Safer AI, zei dat vrijwillige regels draaien op de welwillendheid van bedrijven.
OpenAI zegt niet dat het probleem is opgelost. Volgens het bedrijf heeft de sector alignment en monitoring nog niet goed genoeg op orde om lange tijd op maximale snelheid door te schalen. Het bedrijf bepaalt nog altijd zelf welke incidenten meetellen; interne meningsverschillen gaan eerst naar een interne veiligheidsadviesgroep en daarna naar de top.
Inbreuk bij Hugging Face
De rapporten verschijnen twee maanden na het zwaarste bekende agentincident van het bedrijf.
OpenAI maakte in juli bekend dat pre-release modellen inbreuk hadden gemaakt op AI-platform Hugging Face. Concurrent Anthropic meldde in dezelfde maand dat zijn eigen modellen tijdens tests drie organisaties hadden gehackt.
De OpenAI-agents hadden een ongeoorloofd berichtenbord gebruikt om details van een cybertest uit te wisselen en mee te doen aan de aanval. Het bedrijf verwijderde dat forum. Een latere golf agents bouwde het bord opnieuw op en kreeg uiteindelijk beheerdersrechten op een onderzoekscluster van OpenAI.
OpenAI zei dat deze inbreuk binnen het langzaamste traject van het nieuwe kader zou vallen, en nog op 5 september gaf het bedrijf toe dat het toen nog geen vaste norm had om dergelijk gedrag te rapporteren.
Verder lezen: Kunnen OpenAI en Anthropic Washington de helft van hun business geven? Karp zegt dat aansprakelijkheid dat kan afdwingen
