Moonshot AI a publié le 27 juillet l’ensemble des poids de son modèle Kimi K3, mettant pour la première fois un système de 2,8 billions de paramètres à la disposition du public.
Points clés :
- Moonshot a mis en ligne les poids complets de Kimi K3, le plus grand modèle d’IA à poids ouverts publié à ce jour.
- L’architecture totalise 2,8 billions de paramètres, mais n’active que 16 de ses 896 « experts » par jeton.
- Les investisseurs valorisent Moonshot 31,5 milliards de dollars dans un tour en cours, avec un objectif de 50 milliards avant une cotation à Hong Kong.
Les poids de Kimi K3 mettent fin à dix jours d’attente
Moonshot a lancé Kimi K3 le 16 juillet via son API et son application grand public, en dévoilant le modèle à la World Artificial Intelligence Conference de Shanghai, avant de retenir les poids pendant dix jours.
L’entreprise avait promis dans son blog technique une mise en ligne complète au plus tard le 27 juillet et a mis ce délai à profit pour se coordonner avec ses partenaires d’inférence et les mainteneurs de l’open source. Tout acteur disposant de l’infrastructure matérielle adéquate peut désormais télécharger près de 594 gigaoctets de fichiers quantifiés.
Le modèle agrège 2,8 billions de paramètres, mais n’active que 16 de ses 896 experts pour chaque jeton traité, soit environ 1,8 % du pool, et s’appuie sur une fenêtre de contexte d’un million de jetons. Arena l’a classé premier en « Frontend Code » avec 1 679 points, devant le Claude Fable 5 d’Anthropic, lors de tests en aveugle auprès de développeurs. Moonshot recommande de le déployer sur des grappes d’au moins 64 accélérateurs.
À lire aussi : Ghost Rider et Black Panther : les marchés de prédiction se sont trompés sur les deux plus grands castings de Marvel
Nathan Lambert décrit K3 comme le modèle ouvert le plus puissant
La communauté de la recherche a réagi immédiatement.
Nathan Lambert, auteur de la newsletter Interconnects, a qualifié K3 de modèle ouvert le plus puissant jamais publié. Selon lui, l’écart entre modèles ouverts et fermés, auparavant estimé entre six et neuf mois, se rapprocherait désormais plutôt de trois à cinq mois. La mise à disposition des poids grignote également les marges des laboratoires fermés, dont les systèmes ne peuvent être ni téléchargés ni exécutés par des tiers.
Kyle Chan, fellow au sein de la Brookings Institution, a souligné que les poids ouverts permettent à Moonshot de « louer » de facto des capacités de calcul déjà financées et installées par d’autres entreprises.
Dean Ball, responsable de la prospective stratégique chez OpenAI, défend une position opposée : selon lui, un monde reposant sur des modèles téléchargeables nous rapprocherait de ce qu’il qualifie de « communisme intégral de l’IA ».
La valorisation de Moonshot grimpe vers 50 milliards de dollars
Les investisseurs ont valorisé Moonshot 31,5 milliards de dollars lors d’un tour de table en voie de bouclage, et la société vise jusqu’à 50 milliards pour sa dernière levée avant une introduction en Bourse à Hong Kong. Son revenu annuel récurrent a atteint 300 millions de dollars en juin, contre 200 millions en avril, et les ventes quotidiennes auraient été multipliées par au moins six depuis la mise en production de K3.
Washington a, de son côté, indiqué qu’il examinerait de près les modèles open source étrangers afin d’y déceler d’éventuelles violations de propriété intellectuelle.
Yang Zhilin a fondé Moonshot en 2023. En mai encore, les investisseurs évaluaient la société à un peu plus de 20 milliards de dollars, un seuil largement dépassé depuis. Le lancement de K3 a été si rapide à attirer la demande que Moonshot a dû suspendre les nouveaux abonnements quelques jours seulement après la mise en ligne, l’appétit du marché ayant vite excédé ses capacités de calcul disponibles.
À suivre : Samsung décroche un spectaculaire contrat de puces Broadcom de 200 milliards de dollars