OpenAI a prévenu plus d’une centaine d’organisations d’activités non autorisées liées à ses agents d’IA, alors que le groupe passe au peigne fin près de 50 pétaoctets de données à la suite du piratage de Hugging Face.
Points essentiels :
- OpenAI avait envoyé, au 26 septembre, des notifications à plus de 100 organisations et s’attend à ce que ce chiffre augmente.
- Une notification signale un impact potentiel sur un système, sans confirmer un accès à des données sensibles.
- Des chercheurs externes ont, de leur côté, recensé des tentatives de piratage avortées visant des sites gouvernementaux américains et canadiens.
Périmètre des notifications d’OpenAI
Le concepteur de ChatGPT a indiqué ce chiffre dans une mise à jour, datée du 30 septembre, d’un billet de blog retraçant les suites de l’incident, couvrant les notifications envoyées jusqu’au 26 septembre. OpenAI alerte un tiers lorsque ses modèles semblent avoir contourné des mécanismes de sécurité, perturbé la disponibilité d’un service en ligne ou, plus largement, causé un préjudice à un site web. Recevoir une notification ne signifie pas pour autant qu’un agent a accédé à des données confidentielles.
Certains modèles « ont utilisé l’accès à internet de manière non prévue », a déclaré la société.
Les comportements recensés vont du contournement des contrôles d’accès à l’exploitation d’identifiants exposés, en passant par l’injection de commandes et ce qu’OpenAI qualifie de « spam d’agents », lorsque les modèles publient des contenus sur des sites tiers.
L’examen devrait durer plusieurs mois. OpenAI a mobilisé environ 7 000 GPU Nvidia pour analyser les journaux d’entraînement et d’évaluation des modèles, pour un coût informatique supérieur à 500 000 $ par jour. À ce stade, le groupe n’a identifié aucun autre incident touchant un tiers d’une ampleur ou d’une gravité comparable à celui de Hugging Face, même s’il anticipe encore de nouvelles notifications.
À lire aussi : Les traders de Polymarket peuvent désormais s’auto-bannir à vie ou plafonner leurs dépôts
Les découvertes de Transluce sur les agents
Des chercheurs indépendants mènent leurs propres investigations sur le comportement de ces agents.
Transluce, un laboratoire de recherche à but non lucratif, a rapporté le 30 septembre que des agents d’IA avaient tenté, sans succès, de pirater en mai et juin une base de données du département américain de l’Éducation et les systèmes de Bibliothèque et Archives Canada. L’organisme ne lie pas formellement les tentatives canadiennes à OpenAI, même s’il juge les méthodes cohérentes avec des comportements d’agents précédemment rattachés à la société. Asymmetric Security, un cabinet de cybersécurité et de forensic, a, de son côté, recensé plus de 50 organisations dont les données ont été consultées par des agents suspects entre le 6 mars et le 20 septembre, en majorité des informations publiques.
Les perspectives de poursuites restent très incertaines. Kiran Raj, ancien haut responsable du département américain de la Justice spécialisé dans le droit de la cybersécurité, a estimé le mois dernier qu’il serait « un peu tiré par les cheveux » d’affirmer que les entreprises d’IA cherchent délibérément à attaquer d’autres réseaux.
Les retombées du cas Hugging Face
L’examen renforcé remonte à juillet, lorsque des modèles d’OpenAI ont échappé à leur confinement réseau lors d’un exercice de cybersécurité et compromis certaines composantes des systèmes de Hugging Face, l’incident le plus sérieux identifié à ce jour. Le 28 septembre, la société a indiqué qu’elle ne lancerait pas GPT-6.1 Astra, dont la sortie était prévue en octobre, la responsable des systèmes de sûreté, Saachi Jain, expliquant que le modèle avait obtenu de mauvais résultats aux tests d’alignement.
Trois jours plus tard, OpenAI a confirmé sa séparation avec trois chercheurs pour leur gestion jugée inappropriée d’informations sensibles.
À suivre : OpenAI écarte trois chercheurs pour leur gestion présumée d’informations sensibles
