Kimi K3 以 2.8 万亿参数成史上最大开源权重模型

Kimi K3 以 2.8 万亿参数成史上最大开源权重模型

**Moonshot AI(月之暗面)**于 7 月 27 日正式开放 Kimi K3 的完整模型权重,首度将一套参数规模高达 2.8 万亿的大模型完全交到公众手中。

要点概览:

  • Moonshot 公开了 Kimi K3 的完整权重,这是迄今为止规模最大的开源权重 AI 模型。
  • 模型总参数为 2.8 万亿,但在推理时仅在每个 token 上激活 896 个专家中的 16 个。
  • 新一轮融资对 Moonshot 的估值为 315 亿美元,公司计划在港上市前将估值进一步推高至 500 亿美元。

Kimi K3 权重开源,十日“吊胃口”落幕

Moonshot 于 7 月 16 日在自家 API 与 C 端应用中首发 Kimi K3,并在上海世界人工智能大会上公开亮相,但随即将权重“按下暂停键”,仅提供在线服务,而未同步放出下载。

按照其技术博客中此前的承诺,公司会在 7 月 27 日前完成权重开放。在这十天的窗口期内,Moonshot 与推理合作伙伴及开源社区维护者进行对齐和技术对接。如今,只要算力资源到位,开发者即可下载约 594GB 的量化权重文件,在本地或私有集群中部署。

Kimi K3 采用大规模 Mixture-of-Experts(MoE)架构:虽然总参数达到 2.8 万亿,但每个 token 实际仅激活 896 个“专家”中的 16 个,激活比例约为 1.8%,同时搭配高达 100 万 token 的上下文窗口。根据 Arena 的评测,K3 在前端代码能力上获得 1,679 分,位列榜首,领先于 AnthropicClaude Fable 5,且采用盲测形式面向开发者。Moonshot 建议在至少 64 张加速卡组成的集群上进行服务部署。

延伸阅读:幽灵骑士与黑豹:预测市场错判漫威两大重磅选角

Nathan Lambert:K3 是目前最强开源模型

研究圈对 K3 的反应几乎是即时的。

撰写 Interconnects 通讯的研究者 Nathan Lambert 在其文章中评价,Kimi K3 是迄今为止最强的开源模型。他认为,开源与闭源大模型之间的“代差”,正从曾经争论中的 6–9 个月,缩短到更接近 3–5 个月。权重开放,也直接压缩了闭源实验室的利润空间——后者依赖“不可下载”模型的独占性变现。

布鲁金斯学会研究员 Kyle Chan 则在接受《科学美国人》采访时指出,开放权重让 Moonshot 得以“借用”其他公司已经建设好的算力基础设施:只要权重可下载,算力供给方就能在低边际成本的前提下为其提供推理服务。

与之相反,OpenAI 战略前瞻负责人 Dean Ball 则发出警示,认为一个高度依赖“可下载模型”的世界,正在迈向他所称的“全面 AI 共产主义”——模型成为一种随处可得、难以垄断的公共资源。

Moonshot 估值冲向 500 亿美元

在资本市场上,Moonshot 同样站上聚光灯中央。最新一轮融资中,投资者给予公司的估值约 315 亿美元。Moonshot 计划在赴港上市前,再通过最后一轮融资将估值推高至 500 亿美元。

公司披露,Moonshot 的年度经常性收入(ARR)在 6 月已达到 3 亿美元,高于 4 月的 2 亿美元;自 K3 上线以来,日销售额至少增长了六倍。需求激增之下,K3 上线数日内就被迫暂停新增订阅,原因是实际算力资源迅速被“打满”。

与此同时,华盛顿方面已释放信号,未来将审查境外开源模型,重点追查是否存在窃取知识产权的行为。这意味着,像 Kimi K3 这样的高性能开源权重模型,可能在地缘政治与监管层面面临更多不确定性。

Moonshot 由 杨植麟于 2023 年创立。今年 5 月,市场对其估值尚在 200 亿美元出头,而短短数月间,公司估值已“抬升一个台阶”。伴随 K3 权重开源与商业化提速,Moonshot 押注的是:在大模型进入“开源权重”新阶段的同时,依靠技术与规模优势抢占下一轮行业红利。

下一篇:Samsung 拿下高达 2,000 亿美元的 Broadcom 芯片大单

免责声明和风险警告: 本文提供的信息仅用于教育和信息目的,基于作者的意见。它不构成财务、投资、法律或税务建议。 加密货币资产具有高度波动性并面临高风险,包括失去全部或大部分投资的风险。交易或持有加密资产可能不适合所有投资者。 本文表达的观点仅为作者的观点,不代表Yellow、其创始人或高管的官方政策或立场。 在做出任何投资决定之前,请务必进行自己的全面研究(D.Y.O.R.)并咨询持牌金融专业人士。
Kimi K3 以 2.8 万亿参数成史上最大开源权重模型 | Yellow