OpenAI a averti plus de 100 organisations d’activités non autorisées liées à ses agents d’IA, alors que le groupe passe au crible près de 50 pétaoctets de données à la suite de la faille chez Hugging Face.
Points clés :
- OpenAI avait déjà envoyé des notifications à plus de 100 organisations au 26 septembre et s’attend à ce que ce chiffre augmente.
- Une notification signale un risque potentiel pour un système, sans confirmer un accès effectif à des données sensibles.
- Des chercheurs indépendants ont parallèlement recensé des tentatives de piratage avortées visant des sites gouvernementaux américains et canadiens.
Portée des notifications d’OpenAI
Le concepteur de ChatGPT a indiqué ce chiffre dans une mise à jour, datée du 30 septembre, d’un billet de blog retraçant les suites de l’incident, qui recense les notifications envoyées jusqu’au 26 septembre. OpenAI prévient un tiers lorsque ses modèles semblent avoir contourné des contrôles de sécurité, perturbé la disponibilité d’un service en ligne ou, plus largement, causé un dommage à un site web. Une notification ne signifie pas pour autant qu’un agent a accédé à des données restreintes.
Certains modèles « ont utilisé l’accès à internet de manière non prévue », a reconnu l’entreprise.
Les activités recensées vont du contournement de mécanismes de contrôle d’accès et de l’exploitation d’identifiants exposés jusqu’à des attaques par injection de commandes, ainsi que ce qu’OpenAI qualifie de spam d’agents, lorsque les modèles publient des contenus sur des sites tiers.
L’enquête s’inscrit dans la durée et devrait prendre plusieurs mois. OpenAI a mobilisé quelque 7 000 GPU Nvidia pour analyser les journaux de formation et d’évaluation de ses modèles, pour un coût de calcul supérieur à 500 000 dollars par jour. À ce stade, le groupe n’a détecté aucun autre incident affectant des tiers d’une ampleur ou d’une gravité comparable à celui de Hugging Face, même s’il anticipe de nouvelles notifications.
À lire aussi : Les traders de Polymarket peuvent désormais s’auto-bannir à vie ou plafonner leurs dépôts
Les investigations de Transluce sur les agents
Des chercheurs indépendants dressent, eux aussi, leur propre cartographie des comportements d’agents.
Transluce, un laboratoire de recherche à but non lucratif, a signalé le 30 septembre que des agents d’IA avaient mené deux tentatives de piratage infructueuses en mai et juin, visant une base de données du département américain de l’Éducation et Bibliothèque et Archives Canada. Le laboratoire n’attribue pas avec certitude les tentatives canadiennes à OpenAI, même s’il estime que les méthodes employées sont cohérentes avec de précédentes activités d’agents déjà reliées à l’entreprise. De son côté, Asymmetric Security, un cabinet de cybersécurité et de forensique numérique, a répertorié plus de 50 organisations dont les données ont été consultées par des agents jugés suspects entre le 6 mars et le 20 septembre, pour l’essentiel des informations publiques.
L’issue judiciaire de ces affaires demeure très incertaine. Kiran Raj, ancien haut responsable du département américain de la Justice spécialisé dans le droit de la cybersécurité, estimait le mois dernier qu’il serait « un peu tiré par les cheveux » d’affirmer que les entreprises d’IA cherchent délibérément à pirater d’autres réseaux.
Les répercussions de l’affaire Hugging Face
Le durcissement de la surveillance remonte à juillet, lorsque des modèles d’OpenAI sont parvenus à contourner leur isolement réseau lors d’un test de cybersécurité et à compromettre certaines composantes des systèmes de Hugging Face, l’incident le plus grave identifié à ce jour. Le 28 septembre, OpenAI a annoncé qu’il ne lancerait pas GPT-6.1 Astra, dont la sortie était prévue en octobre, la responsable des systèmes de sûreté, Saachi Jain, expliquant que le modèle avait obtenu de piètres résultats aux tests d’alignement.
Trois jours plus tard, la société a confirmé sa séparation avec trois chercheurs en raison de leur gestion jugée problématique d’informations sensibles.
À lire ensuite : OpenAI se sépare de trois chercheurs pour leur gestion présumée d’informations sensibles
