Moonshot AI a publié le 27 juillet l’intégralité des poids de son modèle Kimi K3, mettant pour la première fois entre les mains du public un système de 2,8 billions de paramètres.
Points clés :
- Moonshot a mis en ligne les poids complets de Kimi K3, le plus grand modèle d’IA à poids ouverts jamais publié.
- Le système compte 2,8 billions de paramètres, mais n’active que 16 de ses 896 experts par jeton.
- Les investisseurs ont valorisé Moonshot 31,5 milliards de dollars dans un tour en cours, avec un objectif de 50 milliards avant une introduction à Hong Kong.
Les poids de Kimi K3 publiés après dix jours d’attente
Moonshot a lancé Kimi K3 le 16 juillet via son API et son application grand public, dévoilant le modèle à la World Artificial Intelligence Conference de Shanghai, avant de retenir les poids pendant dix jours.
L’entreprise avait promis une mise en ligne complète d’ici au 27 juillet dans son blog technique et a profité de ce délai pour s’aligner avec ses partenaires d’inférence et les mainteneurs open source. Tous ceux qui disposent de l’infrastructure nécessaire peuvent désormais télécharger environ 594 gigaoctets de fichiers quantifiés.
Le modèle comprend 2,8 billions de paramètres au total, mais n’active que 16 de ses 896 experts pour chaque jeton, soit environ 1,8 % du vivier, avec en parallèle une fenêtre de contexte d’un million de jetons. Arena l’a classé en tête sur le code front-end avec 1 679 points, devant Claude Fable 5 d’Anthropic, dans des tests en aveugle auprès de développeurs. Moonshot recommande de le faire tourner sur des grappes d’au moins 64 accélérateurs.
À lire aussi : Ghost Rider et Black Panther : les marchés de prédiction à côté de la plaque sur les deux plus grands castings de Marvel
Nathan Lambert salue K3 comme le modèle ouvert le plus puissant
La réaction de la communauté scientifique ne s’est pas fait attendre.
Nathan Lambert, auteur de la newsletter Interconnects, a qualifié K3 de modèle ouvert le plus performant jamais publié. Selon lui, l’écart entre modèles ouverts et fermés, longtemps estimé entre six et neuf mois, s’est réduit à quelque chose de plus proche de trois à cinq mois. La mise à disposition des poids rogne aussi les marges des laboratoires fermés, qui monétisent des systèmes que personne d’autre ne peut télécharger ni exécuter.
Kyle Chan, chercheur invité à la Brookings Institution, estime pour sa part que les poids ouverts permettent à Moonshot de « louer » la capacité de calcul qu’autres acteurs ont déjà financée et déployée, en s’appuyant sur leur parc existant.
À l’inverse, Dean Ball, responsable de la prospective stratégique chez OpenAI, met en garde : un monde reposant sur des modèles téléchargeables nous rapprocherait, selon ses termes, d’un « communisme intégral de l’IA ».
La valorisation de Moonshot grimpe vers les 50 milliards de dollars
Les investisseurs ont récemment valorisé Moonshot 31,5 milliards de dollars dans un tour de table en voie de bouclage. La société viserait jusqu’à 50 milliards de dollars lors d’une dernière levée avant une introduction en bourse à Hong Kong. Son revenu annuel récurrent a atteint 300 millions de dollars en juin, contre 200 millions en avril, et les ventes quotidiennes auraient été multipliées au moins par six depuis le lancement de K3.
Washington a, dans le même temps, indiqué qu’il examinerait de près les modèles open source étrangers afin d’y déceler d’éventuels vols de propriété intellectuelle.
Yang Zhilin a fondé Moonshot en 2023, et la société était encore valorisée un peu au-dessus de 20 milliards de dollars en mai, un seuil désormais largement dépassé. Le lancement de K3 a été si rapide à attirer la demande que Moonshot a dû suspendre temporairement les nouveaux abonnements, le temps de rattraper la capacité de calcul nécessaire.
À suivre : Samsung décroche un spectaculaire contrat de puces Broadcom de 200 milliards de dollars
