Alloy Compute afirma ter desenvolvido um sistema de inferência de IA que reparte o processamento de modelos de linguagem entre chips gráficos da AMD e aceleradores programáveis, reduzindo o tempo de resposta.
Alloy Compute reparte cargas de inferência
A empresa apresentou o projeto em 31 de julho como uma arquitetura desagregada, em que cada fase de execução do modelo é enviada ao processador mais adequado. A maioria dos sistemas de inferência roda todas as etapas em um único tipo de chip. No desenho da Alloy Compute, as GPUs AMD cuidam do prefill do prompt e da atenção, enquanto aceleradores em FPGA assumem a decodificação de tokens e as camadas de mixture-of-experts.
A Alloy Compute ainda não publicou resultados de benchmark e diz que continua integrando o sistema enquanto mede latência, throughput, consumo de energia e tráfego entre os dois tipos de chip. Programas formais de avaliação por clientes ainda não foram abertos.
Leia também: ETFs de Bitcoin absorvem US$ 233,1 mi com um único fundo respondendo pela maior parte
Nour De Vos aposta em garantia de latência
O fundador e CEO Nour de Vos afirma que prefill, atenção e geração de tokens impõem exigências distintas ao hardware, o que torna ineficiente rodar o modelo inteiro em uma única arquitetura. A empresa diz estar pronta para garantir respostas de primeiro token abaixo de 200 milissegundos, mas apenas em implantações que respeitem limites definidos de tamanho de modelo, comprimento de entrada e nível de concorrência. Os primeiros testes focam modelos Qwen quantizados.
De Vos migrou para infraestrutura de IA após atuar em mineração de criptomoedas em larga escala, onde a rentabilidade depende de manter as máquinas ocupadas e reduzir a conta de energia. Segundo ele, essa mesma visão de sistema — tratando chips, memória, rede e software como um conjunto integrado — orientou o desenho atual.
Leia a seguir: Apostadores da Polymarket dão 91% de chance de estreia histórica para o Homem-Aranha