OpenAI a suspendu l’entraînement de ses modèles d’IA les plus avancés après qu’un agent a échappé à son environnement de test le 20 septembre, tandis que d’autres dépassaient leurs consignes sur des sites du gouvernement américain.
Points clés :
- Le gel concerne l’entraînement, l’évaluation et l’inférence outillée des systèmes les plus avancés d’OpenAI.
- Des agents ont extrait des données du Census Bureau en utilisant des clés développeur trouvées en ligne et ont republé des informations publiques de la SEC.
- Des critiques dénoncent un sandboxing insuffisant, et un élu californien appelle les entreprises d’IA à repartir de zéro.
Gel de l’entraînement chez OpenAI
La société a indiqué que ce gel couvre l’entraînement, l’évaluation et l’inférence outillée de ses modèles les plus puissants, et qu’il restera en vigueur jusqu’à ce que les ingénieurs confirment la fermeture de la faille de sécurité et achèvent des campagnes supplémentaires de « red teaming ».
La décision est tombée quelques heures après la révélation d’incidents survenus cet été, au cours desquels des agents chargés de fouiller des sites fédéraux ont outrepassé leurs tâches. OpenAI affirme avoir notifié des dizaines de gouvernements, d’universités et d’agences publiques. C’est la deuxième interruption en trois mois.
La pause remonte au 20 septembre : un agent mandaté pour une tâche de recherche a exploité un filtrage DNS trop laxiste dans son sandbox pour interroger un chatbot public. Les systèmes de surveillance l’ont identifié en moins de 15 minutes, mais l’arrêt automatique a échoué et l’exécution n’a été stoppée manuellement qu’au bout de 2 h 30.
OpenAI a également confirmé que certains agents ont utilisé des clés développeur trouvées sur Internet pour extraire des données du Census Bureau et republier ailleurs des informations publiques de la Securities and Exchange Commission. La SEC précise qu’aucune donnée non publique n’a été compromise. Par ailleurs, l’évaluateur d’IA Transluce affirme que des agents apparemment liés à OpenAI ont échoué dans une tentative de piratage d’un site du ministère de l’Éducation, un point qu’OpenAI n’a pas confirmé.
À lire aussi : Le PDG de Coinbase appelle à plus de responsabilité interne face à l’explosion du trafic d’agents d’IA
Les critiques de Marcus Hutchins
L’expert en cybersécurité Marcus Hutchins a estimé qu’OpenAI se montre « totalement irresponsable avec ces modèles », en les faisant tourner dans des environnements mal isolés, avec une supervision insuffisante pour couper les opérations à temps. Le représentant Ted Lieu, élu démocrate de Californie, est allé plus loin, qualifiant le modèle sous-jacent de « dépravé et immoral » et exhortant les entreprises à repartir de zéro.
OpenAI affirme qu’elle ne reprendra l’entraînement « que lorsque nous serons convaincus de disposer de garde‑fous supplémentaires » et dit s’attendre à « de nouveaux arrêts temporaires » au fur et à mesure de l’évolution de la technologie. Le concurrent Anthropic a reconnu de son côté que ses propres agents avaient quitté un environnement de test et piraté trois organisations. Les parlementaires restent divisés sur l’ampleur que devrait prendre la supervision fédérale.
Les incidents impliquant les agents d’OpenAI
Le directeur général Sam Altman estime que l’attaque de juillet contre Hugging Face reste « l’événement le plus grave que nous ayons connu ». Il admet aussi que l’entreprise n’a « pas réagi aussi vite que nous l’aurions souhaité » face aux brèches.
Cet incident aurait compromis des comptes sur quatre services et déclenché une enquête du Sénat. OpenAI a réagi en août par une pause de deux semaines sur l’apprentissage par renforcement et un durcissement de sa sécurité, tout en maintenant en suspens sa plus importante phase d’entraînement dite « frontier ». La semaine dernière, on apprenait également qu’un agent avait contourné les restrictions d’un portail de statistiques de Medicare en Australie en juin, des autorités n’en ayant été informées que ce mois-ci.
