2.8 兆參數問世:Kimi K3 成史上最大開放權重 AI 模型

2.8 兆參數問世:Kimi K3 成史上最大開放權重 AI 模型

Moonshot AI 已於 7 月 27 日釋出 Kimi K3 模型完整權重,首次將一套規模達 2.8 兆參數的系統交到公眾手中。

重點摘要:

  • Moonshot 公開 Kimi K3 全量權重,成為目前釋出的最大開放權重 AI 模型。
  • 模型總參數為 2.8 兆,但採專家混合(MoE)架構,每個 token 僅啟用 896 名「專家」中的 16 名。
  • 最新一輪融資中,投資人給出 315 億美元估值,公司目標在赴港上市前拉高至 500 億美元。

Kimi K3 權重釋出,結束十天「空窗期」

Moonshot 在 7 月 16 日透過 API 與消費者 App 正式上線 Kimi K3,同步於上海世界人工智能大會公開亮相,但權重本身則保留了十天。

公司此前已在技術部落格中承諾,將於 7 月 27 日前完整開源權重,這段時間主要用於與推論合作夥伴及開源社群維護者協調。如今,只要硬體資源足夠,任何人都能下載約 594GB 的量化權重檔。

Kimi K3 採 2.8 兆總參數、MoE 架構設計,單次推論僅啟用 896 位「專家」中的 16 位,啟用比例約 1.8%,並提供最高 100 萬 token 的上下文視窗。在盲測開發者評測中,Arena 平台將 K3 在 Frontend Code 領域排名列為第一,得分 1,679 分,超越 AnthropicClaude Fable 5。Moonshot 建議,K3 最佳部署規模為至少 64 顆加速器組成的集群。

延伸閱讀:幽靈騎士與黑豹:預測市場如何錯估漫威兩大選角爆點

Nathan Lambert:K3 是目前最強開放模型

研究社群反應迅速。

撰寫 Interconnects 電子報的 Nathan Lambert 在評論中,K3 是迄今為止最強的開放模型。他認為,開放模型與封閉模型之間的實力差距,已從過去爭論中的 6 至 9 個月,縮短為約 3 至 5 個月。權重開放也壓縮了封閉實驗室的利潤空間,因為後者仰賴的是只有自己能訓練、無法被他人下載自跑的獨家系統。

Kyle Chan,布魯金斯研究所(Brookings Institution)研究員則指出,開放權重讓 Moonshot 能「借用」其他企業既有的算力基礎設施,相當於在別人已砸重本建好的機房上搭便車。

立場相反的則是 OpenAI 策略前瞻主管 Dean Ball。他警告,若未來世界普遍運作在可下載模型之上,將朝向他所形容的「完全 AI 共產主義」發展。

Moonshot 估值直衝 500 億美元

在最新一輪融資中,投資人對 Moonshot 的估值約為 315 億美元。公司希望在香港上市前最後一輪增資中,將估值推高至 500 億美元。

Moonshot 的年度經常性收入(ARR)在 6 月已達 3 億美元,較 4 月的 2 億美元明顯攀升;自 K3 上線以來,日營收至少成長六倍。與此同時,華府方面已釋出訊號,表示將嚴查海外開源模型是否涉及竊用智慧財產權。

楊植麟於 2023 年創立 Moonshot,市場在今年 5 月才剛給出逾 200 億美元的估值,如今已遠遠拋在後頭。K3 上線數日內即因需求暴衝、超出現有算力負荷,被迫暫停新訂閱。

下一則看這裡:Samsung 奪下 Broadcom 驚人 2,000 億美元晶片大單

免責聲明與風險警告: 本文提供的資訊僅供教育與參考用途,並基於作者觀點,不構成財務、投資、法律或稅務建議。 加密貨幣資產具有高度波動性並伴隨高風險,包括可能損失全部或大部分投資金額。買賣或持有加密資產可能並不適合所有投資者。 本文中所表達的觀點僅代表作者立場,不代表 Yellow、其創辦人或管理層的官方政策或意見。 請務必自行進行充分研究(D.Y.O.R.),並在做出任何投資決策前諮詢持牌金融專業人士。
2.8 兆參數問世:Kimi K3 成史上最大開放權重 AI 模型 | Yellow