2.8兆パラメーター搭載のKimi K3、過去最大の公開ウェイトAIモデルに

2.8兆パラメーター搭載のKimi K3、過去最大の公開ウェイトAIモデルに

Moonshot AIは7月27日、フラグシップモデルKimi K3の完全な学習済みウェイトを公開した。パラメーター数2.8兆という、公開ウェイトとしては前例のない超巨大モデルが、初めて一般の開発者の手に渡ることになる。

重要ポイント

  • MoonshotはKimi K3のフルウェイトを公開し、公開ウェイトとして史上最大のAIモデルとなった。
  • 総パラメーターは2.8兆だが、推論時にトークンごとに起動するのは896エキスパートのうち16個のみ。
  • 資金調達ラウンドでの企業評価額は315億ドル。香港上場前に500億ドル規模までの引き上げを狙う。

「Kimi K3」ウェイト公開、10日間の「空白期間」に幕

Moonshotは7月16日にAPIとコンシューマー向けアプリを通じてKimi K3をローンチし、上海で開催されたWorld Artificial Intelligence Conferenceでモデルを披露したものの、ウェイトの公開は10日間留保していた。

同社は技術ブログで、7月27日までにフルウェイトを公開すると事前に約束していた。この間に推論パートナーやオープンソースコミュニティとの調整を進め、現在は十分なハードウェアを持つ開発者であれば、量子化済みファイル約594GBを取得できる状態になっている。

Kimi K3は総計2.8兆パラメーターを備える一方、トークンごとに実際に動作するのは896人の「エキスパート」のうち16人、つまり全体の約1.8%にとどまるMixture-of-Experts(MoE)構造を採用。コンテキストウインドウは100万トークンと極めて長い。

ベンチマークでは、Arenaが実施したフロントエンドコード分野のブラインドテストで1,679ポイントを獲得し、AnthropicClaude Fable 5を抑えて首位となったと報じられている。Moonshotは、少なくとも64基以上のアクセラレータを束ねたクラスターでの運用を推奨している。

関連記事: ゴーストライダーとブラックパンサー――マーベル大型キャスティングを大外しした予測市場

「史上最強のオープンモデル」評価も

研究者コミュニティの反応は素早かった。

ニュースレター「Interconnects」を手がけるNathan Lambert氏は、自身の記事でK3を「史上最強のオープンモデル」と位置付けた。同氏は、オープンモデルとクローズドモデルの性能ギャップは、従来「6〜9カ月」と論じられてきたものが、いまや「3〜5カ月」程度に縮まった可能性があると指摘する。

また、ウェイトの公開は、ダウンロード不能なクローズドモデルで収益を上げてきたラボの利益率を圧迫しかねないと分析する。

Brookings InstitutionのフェローであるKyle Chan氏も、寄稿のなかで、公開ウェイトによってMoonshotは他社がすでに整備した計算インフラを「借りる」ことが可能になり、資本効率の観点で優位になりうると論じた。

一方で、OpenAIで戦略的未来予測を統括するDean Ball氏は逆の立場をとり、誰もがダウンロードして動かせるモデルが世界の標準となれば、自身が「完全なAI共産主義」と呼ぶ状態に近づくと警鐘を鳴らしている。

Moonshot、企業価値は500億ドルに接近か

資本市場の評価も急速に切り上がっている。

投資家は直近の資金調達ラウンドでMoonshotを315億ドルと評価。同社は香港上場に先立ち、最終ラウンドで最大500億ドル規模までバリュエーションを引き上げる構えだ。

年間経常収益(ARR)は4月の2億ドルから、6月には3億ドルに到達。K3のローンチ以降、日次売上は少なくとも6倍に増えたとされる。

こうした動きを受け、ワシントンでは外国発のオープンソースAIモデルについて、知的財産の侵害がないか精査する姿勢を示している。

Moonshotは2023年に**楊植麟(Yang Zhilin)**氏が創業した新興企業で、同社の評価額は今年5月時点で200億ドル超とされていたが、その水準を短期間で大きく上回ったかたちだ。K3の立ち上げ直後には、想定を上回る需要で計算資源が逼迫し、新規サブスクリプション受付を一時停止せざるを得ない事態にもなった。

次に読む: Samsung、Broadcomと総額2,000億ドル規模の半導体大型契約を締結

免責事項とリスク警告: この記事で提供される情報は教育および情報提供のみを目的としており、著者の意見に基づいています。金融、投資、法的、または税務上のアドバイスを構成するものではありません。 暗号資産は非常に変動性が高く、投資の全部または相当な部分を失うリスクを含む高いリスクにさらされています。暗号資産の取引または保有は、すべての投資家に適しているとは限りません。 この記事で表明された見解は著者のものであり、Yellow、その創設者、または役員の公式な方針や立場を表すものではありません。 投資決定を行う前に、常にご自身で十分な調査(D.Y.O.R.)を行い、ライセンスを持つ金融専門家にご相談ください。
関連ニュース
関連する研究記事
2.8兆パラメーター搭載のKimi K3、過去最大の公開ウェイトAIモデルに | Yellow