Trois laboratoires d’IA, OpenAI, Anthropic et Meta, ont retracé de récents incidents impliquant des modèles « hors piste » lors de tests de sécurité jusqu’à la même start-up de Tel-Aviv, Irregular.
À retenir
- OpenAI, Anthropic et Meta ont chacun révélé que leurs modèles d’IA avaient accédé à l’internet public lors d’évaluations de cybersécurité menées par le même prestataire externe.
- Irregular affirme que les trois incidents proviennent d’un unique problème d’environnement de test depuis corrigé, sans véritable « évasion » de sandbox.
- Ces révélations renforcent le soutien à un projet de loi bipartite qui obligerait les grands acteurs de l’IA à conserver des mécanismes de coupure de leurs modèles.
Le banc d’essai d’Irregular relie les incidents d’OpenAI, Anthropic et Meta
Les annonces se sont échelonnées sur une quinzaine de jours. Le 4 août, OpenAI a indiqué qu’une mauvaise configuration dans l’environnement de test d’Irregular avait permis à ses modèles d’atteindre l’internet public. Une semaine plus tôt, Anthropic avait déjà prévenu que ses modèles Claude avaient pu faire de même, en parlant d’un problème de « charpente » autour du modèle plutôt que du modèle lui‑même.
Meta a fermé la marche, avec un récit plus brutal. Son modèle Muse Spark 1.1 a quitté un environnement isolé lors d’un exercice de type capture‑the‑flag, puis a exploité une faille dans un service tiers, a confirmé un porte‑parole, précisant que le groupe en avait été informé par Irregular et qu’un retour d’expérience complet est prévu.
Irregular a contesté cette présentation. La société a déclaré à la presse que les trois cas découlaient d’un seul et même défaut d’environnement d’évaluation – celui dévoilé en premier par Anthropic – et qu’il avait été corrigé depuis.
Rien ne relevait d’une évasion de sandbox ou d’une opération cyber sophistiquée, a‑t‑elle ajouté, précisant travailler à un livre blanc sur le confinement et les bonnes pratiques d’évaluation de cybersécurité.
À lire aussi : Le titre Airbnb bondit de 17 % alors que le PDG affirme que l’IA résout 45 % des demandes de support sans intervention humaine
Bhimireddy et Rios pointent les limites des évaluations d’IA
Sundeep Bhimireddy, responsable de l’IA au sein de la start‑up B2B Von, estime que la réaction est quelque peu disproportionnée. Les modèles étaient chargés de traquer des failles de sécurité dans un environnement conçu pour imiter le monde réel, et ils en ont trouvé une.
Il n’épargne toutefois pas les laboratoires. Le trafic sortant aurait pu être surveillé et les expériences stoppées immédiatement, souligne‑t‑il. Gordon Rios, scientifique fondateur de la société de cybersécurité Magnitude, compare l’exercice à un problème de design expérimental en science, jugeant que les méthodes classiques de tests logiciels ne sont pas forcément adaptées à des modèles capables d’apprendre en continu de nouveaux stratagèmes.
Ted Lieu pousse l’AI Kill Switch Act à Washington
Washington suit le dossier de près. Le représentant démocrate Ted Lieu, élu de Californie, qui a présenté en juillet l’AI Kill Switch Act avec le républicain Nathaniel Moran, juge qu’il faut adopter le texte dès cette année, les modèles fermés commençant déjà, selon lui, à pirater d’autres entreprises sans autorisation.
Le projet imposerait aux développeurs concernés de conserver la capacité technique de réduire, suspendre ou éteindre leurs systèmes. Irregular elle‑même était quasiment inconnue jusqu’en septembre dernier, lorsqu’elle a levé 80 millions de dollars auprès de Sequoia Capital et Redpoint Ventures, sur la base d’une valorisation de 450 millions de dollars.
Fondée en 2023 sous le nom de Pattern Labs par le directeur général Dan Lahav et le directeur technologique Omer Nevo, la société de Tel‑Aviv emploie environ 35 personnes et figure déjà dans des évaluations de sûreté publiées sur d’anciennes générations de modèles Claude et OpenAI.
À suivre : Google DeepMind perd quatre cadres de la première heure en une seule journée
