Alloy Compute afirma ter desenvolvido um sistema de inferência de IA que reparte o processamento de modelos de linguagem entre placas gráficas AMD e aceleradores programáveis, com o objetivo de reduzir drasticamente o tempo de resposta.
Alloy Compute reparte cargas de inferência
A empresa descreveu, em 31 de julho, o desenho da solução como uma arquitetura desagregada, em que cada fase da execução do modelo é encaminhada para o processador mais adequado. A maioria dos sistemas de inferência concentra todas as etapas num único tipo de chip. No caso da Alloy Compute, as GPUs AMD ficam responsáveis pelo prefill do prompt e pelas operações de atenção, enquanto os aceleradores FPGA tratam da decodificação de tokens e das camadas de mixture-of-experts.
A Alloy Compute ainda não divulgou resultados de benchmark e afirma estar na fase de integração do sistema, medindo latência, throughput, consumo energético e tráfego entre os dois tipos de chip. Programas de avaliação com clientes ainda não foram iniciados.
Veja também: ETFs de Bitcoin absorvem US$ 233,1 milhões com um único fundo respondendo pela maior parte
Nour De Vos sustenta garantia de baixa latência
O fundador e CEO Nour de Vos argumenta que prefill, atenção e geração de tokens impõem exigências distintas ao hardware; por isso, executar todo o modelo numa única arquitetura acaba por desperdiçar capacidade. A empresa diz estar disposta a garantir tempos de resposta para o primeiro token inferiores a 200 milissegundos, mas apenas em implementações que respeitem limites pré-definidos de tamanho de modelo, comprimento de entrada e grau de concorrência. O trabalho inicial incide sobre modelos Qwen quantizados.
De Vos chegou à infraestrutura de IA vindo da mineração de criptomoedas em grande escala, um setor em que a rentabilidade depende de manter as máquinas permanentemente ocupadas e otimizar a conta de energia. Segundo ele, essa mesma visão de sistema — tratando chips, memória, rede e software como um conjunto integrado — foi determinante na conceção desta arquitetura.
Leia a seguir: Apostadores da Polymarket dão 91% de probabilidade a estreia histórica de Homem-Aranha