L’ancien chercheur en sûreté de Google DeepMind, Bilal Chughtai, avertit que l’IA pourrait conduire à l’extinction de l’humanité, tandis qu’un autre ex-membre de laboratoire anticipe des dégâts majeurs d’ici cinq ans.
Points clés
- Chughtai a quitté DeepMind en juillet et estime que la superintelligence pourrait émerger dans les prochaines années.
- Il juge que la recherche en alignement reste en retard sur la progression des capacités et plaide pour un ralentissement coordonné, plutôt qu’un arrêt du développement de l’IA.
- L’ancien chercheur de DeepMind Josh Engels voit un risque de dommages immenses dans les cinq ans, tandis que des responsables d’Anthropic et d’OpenAI soutiennent aussi un développement plus mesuré.
L’alerte de Bilal Chughtai sur l’IA
Chughtai, ex-ingénieur de recherche spécialisé dans la sûreté et l’alignement de l’intelligence artificielle générale, a quitté DeepMind en juillet et rendu public son avertissement cette semaine.
Selon lui, les laboratoires d’IA pourraient concevoir des systèmes superintelligents dans les prochaines années, capables de surpasser les humains dans quasiment tous les domaines, tout en restant très difficiles à aligner sur les objectifs et valeurs humaines.
Pour Chughtai, le nœud du problème est l’alignement. Il écrit : « Je crois sincèrement que l’IA a le potentiel de tous nous tuer, et que nous pourrions manquer de temps pour éviter ce scénario. »
Il estime que les méthodes actuelles pour entraîner des systèmes avancés à poursuivre de manière fiable des objectifs humains restent « extrêmement rudimentaires », alors que les capacités de pointe progressent beaucoup plus vite que la compréhension scientifique de l’alignement. Il ne réclame pas un moratoire complet sur l’IA. Chughtai appelle plutôt les entreprises à coordonner leurs efforts, à ralentir la course concurrentielle et à accroître la transparence sur la manière dont les systèmes de frontière sont conçus et testés.
À lire aussi : Le CLARITY Act face au test des 60 voix au Sénat alors que l’opposition grandit
La poussée de sécurité chez Anthropic
L’avertissement de Chughtai intervient après la démission, début septembre, de Jacob Coxon après trois ans passés entre Anthropic et OpenAI. Le responsable de la recherche en alignement chez Anthropic, Evan Hubinger, a ensuite déclaré qu’il estimait à plus de 10 % la probabilité que l’IA puisse tuer tous les humains au cours de la prochaine décennie.
Engels, qui a lui aussi travaillé au sein de l’équipe de sûreté de DeepMind, a indiqué le 12 septembre qu’il rejoignait l’ONG d’évaluation METR après avoir refusé des offres d’Anthropic et d’OpenAI, invoquant une « probabilité terrifiante » de dommages massifs liés à l’IA d’ici cinq ans.
Le directeur général d’Anthropic, Dario Amodei, a appelé les entreprises à modérer la progression des capacités, une position également défendue par le PDG d’OpenAI, Sam Altman, alors que le débat s’intensifie dans les principaux laboratoires. Cet alignement est significatif, car les mises en garde émanent désormais à la fois de chercheurs en sûreté démissionnaires et de dirigeants à la tête des grands acteurs de l’IA.
Ces alertes marquent un changement rapide depuis le début de l’année 2022, lorsque Chughtai a commencé à travailler sur l’IA et décrivait encore des systèmes bien moins puissants que les modèles de pointe actuels. En quatre ans, le débat est passé de discussions théoriques sur la sécurité à long terme à des inquiétudes concrètes concernant l’autonomie, l’alignement et la capacité de la recherche en sûreté à suivre le rythme de la montée en puissance des modèles.
À découvrir ensuite : L’API de Bitget donne désormais accès à l’or, au forex, aux indices et au pétrole brut
