Kimi K3 參數達 2.8 兆 躍升史上最大開源權重模型

Kimi K3 參數達 2.8 兆 躍升史上最大開源權重模型

Moonshot AI 已於 7 月 27 日公開 Kimi K3 全量權重,首度將一個擁有 2.8 兆參數的大模型完全交到公眾與開發者手上。

重點摘要:

  • Moonshot 公開 Kimi K3 全量權重,成為目前最大規模的開源權重 AI 模型。
  • 模型總參數達 2.8 兆,但每個 token 只會啟用 896 個「專家」中的 16 個。
  • 最新一輪融資估值約 315 億美元,目標在來港上市前推高至 500 億美元。

Kimi K3 權重正式開放 結束十日「吊癮期」

Moonshot 於 7 月 16 日先透過 API 及面向消費者的應用程式推出 Kimi K3,並在上海世界人工智能大會上亮相,但其後刻意將權重封存十天。

按公司在技術博客中的承諾,會在 7 月 27 日前全面開源。期間 Moonshot 對齊推理合作伙伴及開源社群維護者的需求,如今只要硬件資源到位,任何人都可拉取約 594GB 的量化權重檔。

Kimi K3 採用 Mixture-of-Experts(MoE)架構,總參數為 2.8 兆,但每個 token 實際只會喚醒 896 個專家中的 16 個,啟用比例約 1.8%,同時支援長達 100 萬 token 的上下文視窗。根據 Arena 的排名,在前端編碼測試中,K3 以 1,679 分位居首位,力壓 AnthropicClaude Fable 5,測試均以盲測方式進行。Moonshot 建議以最少 64 顆加速器組成叢集來部署該模型。

延伸閱讀: Ghost Rider 和 Black Panther:預測市場錯判 Marvel 兩大重磅選角

Nathan Lambert:K3 是目前最強開源模型

學界與產業界研究人員反應迅速。

撰寫 Interconnects 通訊的 Nathan Lambert 在其文章中直指,K3 是迄今最強的開源模型。他認為,開源模型與封閉模型之間的領先差距,已由過去常被指為 6 至 9 個月,縮窄至約 3 至 5 個月。開源權重亦削弱封閉實驗室在「只有他們能運行」系統上的溢價空間。

Kyle Chan 作為布魯金斯學會(Brookings Institution)研究員,則在一篇分析中指出,開源權重令 Moonshot 能「借用」其他公司已投資建成的算力基建,讓現有閒置 GPU 得以再被利用。

相反,OpenAI 戰略前瞻負責人 Dean Ball 持完全不同看法,警告一個由可自由下載模型驅動的世界,將指向他口中的「AI 完全共產主義」,意指核心模型能力或會演變成一種公共財。

Moonshot 估值衝刺 500 億美元 瞄準香港上市

最新一輪融資中,投資者已將 Moonshot 估值定在約 315 億美元;公司希望在最終一輪 Pre-IPO 集資中,將估值推高至 500 億美元,為赴港上市鋪路。

截至 6 月,公司年化經常性收入(ARR)已達 3 億美元,較 4 月的 2 億美元大幅增加。自 K3 推出以來,每日營收至少跳升六倍,反映市場對重型開源權重模型的實際付費需求。

與此同時,華盛頓方面已放風,將更嚴格審視外國開源模型,調查是否涉及竊用知識產權等風險。

楊植麟於 2023 年創立 Moonshot,今年 5 月時公司估值仍在 200 億美元以上,但之後迅速再被抬高。K3 推出數日內即因需求遠超可用算力,被迫暫停新訂閱,用盡公司手頭 GPU 資源。

下一篇: Samsung 拿下 Broadcom 2,000 億美元驚人晶片大單

免責聲明及風險提示: 本文資訊僅供教育與參考之用,並基於作者意見,並不構成金融、投資、法律或稅務建議。 加密貨幣資產具高度波動性並伴隨高風險,可能導致投資大幅虧損或全部損失,並非適合所有投資者。 文章內容僅代表作者觀點,不代表 Yellow、創辦人或管理層立場。 投資前請務必自行徹底研究(D.Y.O.R.),並諮詢持牌金融專業人士。
Kimi K3 參數達 2.8 兆 躍升史上最大開源權重模型 | Yellow