Alloy Computeは、言語モデルの推論処理をAMD製GPUとプログラマブルアクセラレータ（FPGA）に役割分担させることで、応答時間の短縮を図るシステムを構築したと明らかにした。
Alloy Compute、推論ワークロードを分割
同社が7月31日に説明したところによると、この設計は「ディスアグリゲーテッド・アーキテクチャ（分離型アーキテクチャ）」を採用し、モデル実行の各フェーズを、それぞれ最適なプロセッサに振り分ける構造になっている。多くの推論システムが全処理を単一種のチップでこなしているのに対し、Alloy Computeはプロンプトのプリフィルやアテンション処理をAMDのGPUに、トークンデコードやMixture-of-Experts（MoE）層の処理をFPGAアクセラレータに任せる。
Alloy Computeは、現時点で公式なベンチマーク結果を公開しておらず、2種類のチップ間でのレイテンシー、スループット、消費電力、トラフィック量などを計測しながら、システムの統合を進めている段階だという。顧客向け評価プログラムも、まだ開始されていない。
関連記事: ビットコインETF、2.331億ドルを吸収 流入の大半を1本のETFが占める
Nour De Vos氏、レイテンシー保証を掲げる
創業者でCEOのNour de Vos氏は、プリフィル、アテンション、トークン生成ではそれぞれハードウェアへの要求特性が異なるため、単一アーキテクチャ上でモデル全体を動かすとリソースを持て余すと指摘する。同社は、対象となるモデル規模や入力長、同時実行数などを定めた運用条件を満たす導入案件に限り、「初回トークン応答200ミリ秒未満」を保証する用意があるとしている。現段階の取り組みは、量子化済みQwenモデルを中心に進めているという。
De Vos氏は、マシンの稼働率と電力コストが収益性を左右する大規模暗号資産マイニング事業の出身だ。同氏は、チップ、メモリ、ネットワーク、ソフトウェアを一体のシステムとして最適化するという、そのときに培った発想が、今回の設計コンセプトの土台になっていると語っている。