Alloy Compute가 언어 모델 추론을 AMD 그래픽 칩과 프로그래머블 가속기(FPGA)로 나눠 처리해 응답 지연을 줄이는 새 AI 인프라를 구축했다고 밝혔다.
GPU·FPGA로 나눈 Alloy Compute의 추론 워크로드
회사 측은 7월 31일(현지시간) 이 설계를 ‘디스어그리게이티드(disaggregated) 아키텍처’로 소개했다. 모델 실행을 단일 칩에 몰아넣지 않고, 각 단계별 특성에 맞는 프로세서로 분산 배치하는 구조다. 현재 대부분의 AI 추론 시스템은 프리필부터 토큰 생성까지 전 과정을 한 종류의 칩에서 처리한다.
Alloy Compute의 설계에서 AMD GPU는 프롬프트 프리필과 어텐션 계산 등 초기·중간 단계 연산을 맡고, FPGA 기반 가속기는 토큰 디코딩과 Mixture-of-Experts(MoE) 레이어 등 후단 처리에 특화돼 배치된다.
다만 Alloy Compute는 아직 공식 벤치마크 결과를 공개하지 않았다. 회사는 두 종류 칩 간 레이턴시, 처리량, 전력 효율, 트래픽을 통합적으로 측정하며 시스템 완성도를 높이는 통합 작업이 진행 중이라고 밝혔다. 잠재 고객을 대상으로 한 평가 프로그램도 아직 본격적으로 개시되지 않았다.
참고 기사: 비트코인 ETF, 2억3310만달러 유입…단일 펀드가 대부분 공급
“200ms 이내 첫 토큰 보장” 자신감 내비친 Nour De Vos
창업자이자 CEO인 Nour de Vos는 프리필, 어텐션, 토큰 생성이 각각 다른 하드웨어 특성을 요구하는데도, 전체 모델을 단일 아키텍처에서 돌리면 활용도가 떨어질 수밖에 없다고 지적한다. 이 때문에 단계별로 다른 칩을 조합해 전체 시스템 효율을 끌어올리는 것이 이번 설계의 핵심이라는 설명이다.
회사는 특정 조건 아래에서 ‘첫 토큰 응답 200밀리초 이하’를 서비스 수준으로 보장할 준비가 되어 있다고 강조했다. 다만 적용 대상은 모델 크기, 입력 길이, 동시 처리량 등에서 미리 정해둔 한계 범위 안에 있는 배포 환경으로 제한된다. 초기 적용 대상 모델은 양자화된 Qwen 계열로 알려졌다.
De Vos는 원래 대규모 암호화폐 채굴 인프라 분야에서 경력을 쌓았다. 채굴 비즈니스는 장비 가동률을 최대한 높이는 동시에 전력비를 얼마나 낮추느냐가 수익성의 관건이다. 그는 이러한 경험을 바탕으로, 칩·메모리·네트워킹·소프트웨어를 하나의 통합 시스템으로 보는 ‘시스템 레벨’ 접근을 AI 인프라 설계에 그대로 옮겨왔다고 설명해 왔다.