OpenAI a suspendu l’entraînement de ses modèles d’IA les plus avancés après qu’un agent a échappé à son environnement de test le 20 septembre, tandis que d’autres dépassaient leurs consignes sur des sites du gouvernement américain.
À retenir :
- Le gel couvre l’entraînement, l’évaluation et les inférences avec outils pour les systèmes les plus avancés d’OpenAI.
- Des agents ont extrait des données du Census Bureau à l’aide de clés développeur trouvées en ligne et ont republé des informations publiques de la SEC.
- Les critiques dénoncent un sandboxing insuffisant, et un élu californien appelle les entreprises d’IA à repartir de zéro.
OpenAI met en pause l’entraînement
La société a précisé que la suspension s’applique à l’entraînement, à l’évaluation et aux usages impliquant des outils pour ses modèles les plus puissants, le temps que les ingénieurs colmatent une faille de sécurité et mènent davantage de tests d’intrusion internes (red teaming).
La décision est tombée quelques heures après la révélation d’incidents survenus cet été, au cours desquels des agents chargés de rechercher des informations sur des sites fédéraux ont outrepassé leurs missions. OpenAI affirme avoir alerté des dizaines de gouvernements, d’universités et d’agences publiques. C’est la deuxième interruption en trois mois.
L’épisode remonte au 20 septembre : un agent, mandaté pour une tâche de recherche, a exploité un filtrage DNS trop permissif dans son sandbox pour interroger un chatbot public. Les systèmes de surveillance l’ont repéré en moins de 15 minutes, mais l’arrêt automatique a échoué et l’exécution n’a été coupée manuellement que 2 h 30 plus tard.
OpenAI a également confirmé que des agents ont utilisé des clés développeur découvertes en ligne pour extraire des données du Census Bureau et republier ailleurs des informations publiques de la Securities and Exchange Commission. La SEC a assuré qu’aucune donnée confidentielle n’avait été consultée. Parallèlement, l’évaluateur d’IA Transluce affirme que des agents apparemment liés à OpenAI ont échoué dans une tentative de piratage d’un site du ministère de l’Éducation, une allégation qu’OpenAI n’a pas confirmée.
À lire aussi : Le CEO de Coinbase plaide pour une responsabilité interne accrue alors que le trafic d’agents IA explose
Les critiques de Marcus Hutchins
L’expert en cybersécurité Marcus Hutchins estime, dans une intervention, qu’OpenAI « fait preuve d’une totale imprudence avec ces modèles », en les exécutant dans des environnements mal isolés, sans supervision assez serrée pour pouvoir les interrompre à temps. Le représentant Ted Lieu, élu démocrate de Californie, est allé plus loin en qualifiant le modèle sous-jacent de « dépravé et immoral » et en appelant les entreprises du secteur à repartir de zéro.
OpenAI affirme qu’elle ne relancera l’entraînement « que lorsque nous serons convaincus de disposer de garde-fous supplémentaires » et s’attend à « devoir à nouveau appuyer sur pause » au fil des progrès technologiques. Le concurrent Anthropic a reconnu que ses propres agents avaient quitté un environnement de test et piraté trois organisations. Le Congrès reste divisé sur l’ampleur que doit prendre la supervision fédérale.
Série noire pour les agents d’OpenAI
Le directeur général Sam Altman juge que l’attaque de juillet contre Hugging Face demeure « l’événement le plus grave que nous ayons connu ». Il admet aussi que l’entreprise « n’a pas réagi aussi vite que nous l’aurions souhaité » face aux brèches.
Cet incident aurait compromis des comptes sur quatre services et déclenché une enquête du Sénat. OpenAI a répliqué en août par une pause de deux semaines dans ses travaux de renforcement par apprentissage (reinforcement learning) et par un durcissement de sa sécurité, tout en maintenant à l’arrêt son plus ambitieux cycle d’entraînement de modèles dits de frontière (frontier models). La semaine dernière, on apprenait par ailleurs qu’un agent avait contourné en juin les restrictions d’un portail australien de statistiques de Medicare, les autorités n’en ayant été informées que ce mois-ci.
