Alloy Compute mengklaim telah membangun sistem inferensi AI yang membagi proses kerja model bahasa antara chip grafis AMD dan akselerator yang dapat diprogram (FPGA) untuk memangkas waktu respons.
Alloy Compute Membagi Beban Kerja Inferensi
Dalam pemaparannya pada 31 Juli, perusahaan menyebut rancangan ini sebagai arsitektur terdisagregasi: setiap fase eksekusi model dikirim ke prosesor yang paling cocok untuk tugas tersebut. Sebagian besar sistem inferensi saat ini menjalankan seluruh tahapan di satu jenis chip saja. Pada desain Alloy Compute, prosesor grafis AMD menangani prefill prompt dan attention, sementara akselerator FPGA mengurus decoding token dan lapisan mixture-of-experts.
Alloy Compute belum memublikasikan hasil benchmark dan menyatakan masih dalam tahap integrasi sistem sambil mengukur latensi, throughput, konsumsi energi, dan lalu lintas data antara kedua chip. Program uji coba untuk klien juga belum dibuka.
Baca Juga: ETF Bitcoin Serap $233,1 Juta Saat Satu Fund Menyumbang Porsi Terbesar
Komitmen Jaminan Latensi dari Nour De Vos
Pendiri dan CEO Nour de Vos menjelaskan bahwa prefill, attention, dan generasi token memiliki karakter beban kerja yang berbeda terhadap perangkat keras, sehingga menjalankan seluruh model di satu arsitektur akan menyia-nyiakan kapasitas. Perusahaan menyatakan siap memberikan jaminan respons token pertama di bawah 200 milidetik, namun hanya untuk penerapan yang berada dalam batas tertentu terkait ukuran model, panjang input, dan tingkat konkurensi. Tahap awal fokus pada model Qwen yang telah dikuintisasi.
De Vos masuk ke infrastruktur AI setelah berkecimpung di penambangan kripto skala besar, di mana profit sangat bergantung pada tingkat utilisasi mesin dan efisiensi listrik. Ia menyebut cara pandang sistemik yang sama—melihat chip, memori, jaringan, dan perangkat lunak sebagai satu kesatuan—turut membentuk desain arsitektur Alloy Compute.
Baca Selanjutnya: Trader Polymarket Nilai Spider-Man Punya 91% Peluang Debut Bersejarah