Alloy Compute hat nach eigenen Angaben ein KI-Inferenzsystem entwickelt, das die Arbeit großer Sprachmodelle zwischen AMD-Grafikchips und programmierbaren Beschleunigern aufteilt, um Antwortzeiten deutlich zu verkürzen.
Alloy Compute teilt Inferenz-Workloads auf
Das Unternehmen stellte das Design am 31. Juli als „disaggregierte Architektur“ vor – ein Ansatz, bei dem jede Phase der Modellausführung an den jeweils am besten geeigneten Prozessor geschickt wird. Üblicherweise laufen alle Inferenzschritte auf einem einzigen Chip-Typ. Bei Alloy Compute übernehmen AMD-GPUs Prompt-Prefill und Attention-Berechnungen, während FPGA-Beschleuniger für Token-Decoding und Mixture-of-Experts-Schichten zuständig sind.
Alloy Compute hat bislang keine Benchmark-Ergebnisse vorgelegt und erklärt, das System befinde sich noch in der Integration. Aktuell misst das Team Latenz, Durchsatz, Energieverbrauch sowie den Datenverkehr zwischen den beiden Chip-Klassen. Pilotprogramme mit Kunden laufen noch nicht.
Auch interessant: Bitcoin-ETFs absorbieren 233,1 Mio. US-Dollar, ein einzelner Fonds liefert den Großteil
Nour De Vos steht für Latenz-Garantie ein
Gründer und CEO Nour de Vos begründet den Ansatz damit, dass Prefill, Attention und Token-Generierung sehr unterschiedliche Anforderungen an die Hardware stellen. Ein komplettes Modell auf nur einer Architektur laufen zu lassen, führe daher zu ungenutzter Kapazität. Das Unternehmen ist nach eigenen Angaben bereit, eine Antwortzeit für das erste Token von unter 200 Millisekunden zu garantieren – allerdings nur für Deployments, die vordefinierte Grenzen bei Modellgröße, Eingabelänge und Parallelität einhalten. Erste Implementierungen konzentrieren sich auf quantisierte Qwen-Modelle.
De Vos kommt aus der Welt großskaliger Kryptowährungs-Mining-Infrastruktur, wo Profitabilität davon abhing, Maschinen maximal auszulasten und Stromkosten zu senken. Das dort erprobte systemische Denken – Chips, Speicher, Netzwerk und Software als integrierte Einheit zu betrachten – habe nach seiner Darstellung die Architektur von Alloy Compute maßgeblich geprägt.
Als Nächstes lesen: Polymarket-Händler geben Spider-Man 91 % Chance auf ein historisches Debüt