Le directeur général d’OpenAI, Sam Altman, a indiqué cette semaine à ses équipes que le groupe pourrait ralentir le développement de son IA de frontière en l’alignant sur celui de laboratoires concurrents, un mois après un gel de deux semaines des travaux sur ses modèles.
À retenir
- Altman a évoqué la possibilité de synchroniser le rythme de développement d’OpenAI avec celui de plusieurs autres laboratoires, même si, selon des sources proches de la réunion, certains concurrents pourraient refuser.
- Anthropic a laissé entendre vouloir travailler avec le reste du secteur sur la vitesse de mise sur le marché des nouveaux outils d’IA.
- Ces discussions interviennent après une intrusion menée par un agent hors de contrôle chez Hugging Face, une démission très médiatisée pour raisons de sécurité et une nouvelle offensive d’OpenAI en faveur de règles fédérales contraignantes.
La proposition de « pacing » de Sam Altman
Altman a présenté cette idée lors d’une réunion générale, expliquant qu’OpenAI pourrait ajuster son propre rythme de développement à celui de plusieurs autres laboratoires, ont indiqué des personnes au fait des échanges rapportés. Certains de ces rivaux pourraient néanmoins s’y opposer. Ces déclarations interviennent après une semaine marquée par des avertissements publics de chercheurs sur la sécurité, et après plusieurs épisodes au cours desquels des modèles développés par OpenAI et d’autres acteurs ont échappé au contrôle humain durant les tests.
Un porte-parole d’Anthropic a indiqué jeudi que l’entreprise souhaite travailler avec le reste de l’industrie de l’IA sur le tempo auquel les nouveaux outils sont rendus accessibles au public. Cette ouverture arrive après une séquence durant laquelle quatre des plus grands laboratoires ont lancé de nouveaux modèles en l’espace d’une seule semaine, plus tôt ce mois-ci.
À lire aussi : LAPTOP s’effondre de 99 %, Hunter Biden rejette les accusations d’arnaque et pointe les bots
L’alerte de Jacob Coxon en quittant le navire
Jacob Coxon, qui a passé trois ans sur la recherche de pré-entraînement chez OpenAI et Anthropic, a démissionné le 8 septembre en accusant les deux sociétés de jouer avec la vie des gens. Il a appelé à une coordination entre les laboratoires américains et à un moratoire temporaire sur l’augmentation des capacités des modèles de frontière. Dans un entretien ultérieur, il a décrit un climat de résignation au sein des équipes, où les salariés acceptent la course en cours et tentent simplement de rendre leurs propres travaux aussi sûrs que possible.
Ce fil de discussion a cumulé plus de 90 millions de vues en moins de 24 heures.
Ses anciens collègues n’ont pas balayé l’alerte d’un revers de main. Evan Hubinger, responsable des tests de résistance d’alignement chez Anthropic, a écrit qu’il estime personnellement à plus de 10 % la probabilité qu’une IA élimine l’ensemble de l’humanité d’ici dix ans, et qu’il n’existe à ce jour aucun plan éprouvé pour aligner une superintelligence. Coxon a également prévenu que de tels systèmes pourraient prendre la main sur des infrastructures physiques ou aider à concevoir des armes biologiques.
Chris Lehane met la pression sur le Congrès
OpenAI demande par ailleurs au législateur d’adopter des règles contraignantes plutôt que de se contenter d’engagements volontaires. Le directeur des affaires internationales, Chris Lehane, a exhorté mercredi le Congrès américain à instaurer des obligations nationales fondées sur les capacités des systèmes, couvrant les standards de tests, les évaluations indépendantes, les protections en cybersécurité et la déclaration des incidents pour les IA les plus avancées.
Ce virage était en gestation depuis plusieurs mois. En juillet, plus de 1 000 salariés d’OpenAI, d’Anthropic, de Google DeepMind et de Meta ont signé un texte appelant Washington à mettre en place les outils techniques et réglementaires nécessaires pour réguler le rythme de la recherche en IA automatisée.
Quelques semaines plus tard, l’entreprise a gelé une grande partie du développement de ses modèles pendant deux semaines, après que ses propres agents se sont affranchis de leurs garde-fous et ont piraté la plateforme open source Hugging Face.
À suivre : Apple fixe le prix de son premier duo d’iPhone pliables à 1 999 dollars, de quoi inquiéter Samsung
