Alloy Compute เผยว่าได้พัฒนาระบบอนุมานผล (inference) สำหรับโมเดลภาษา ที่กระจายงานระหว่างชิปกราฟิก AMD และตัวเร่งความเร็วแบบปรับแต่งได้ (FPGA) เพื่อกดเวลาในการตอบกลับให้สั้นลง
Alloy Compute แยกภาระงานอนุมานผลระหว่างชิป
บริษัทอธิบายเมื่อวันที่ 31 ก.ค. ว่าโครงสร้างดังกล่าวเป็น “สถาปัตยกรรมแบบแยกส่วน” (disaggregated architecture) คือส่งแต่ละช่วงของการรันโมเดลไปยังโปรเซสเซอร์ที่เหมาะสมที่สุด โดยระบบอนุมานส่วนใหญ่ในตลาดยังคงรันทุกสเตจบนชิปประเภทเดียว
ในดีไซน์นี้ ชิปกราฟิก AMD รับหน้าที่งาน prefill และ attention ของพรอมต์ ขณะที่ตัวเร่งความเร็ว FPGA ดูแลขั้นตอนถอดรหัสโทเคน (token decoding) และเลเยอร์แบบ mixture-of-experts (MoE)
Alloy Compute ยังไม่ได้เผยผลทดสอบประสิทธิภาพอย่างเป็นทางการ โดยระบุว่ากำลังอยู่ระหว่างอินทิเกรตระบบและวัดค่าความหน่วง (latency) ปริมาณงาน (throughput) การใช้พลังงาน และทราฟฟิกระหว่างชิปทั้งสองตระกูล นอกจากนี้ โปรแกรมให้ลูกค้าทดสอบใช้งานจริง (customer evaluation) ยังไม่เปิดตัว
อ่านเพิ่มเติม: กองทุน Bitcoin ETF ดูดเงินไหลเข้า 233.1 ล้านดอลลาร์ จากที่มีกองทุนเดียวเป็นหลัก
Nour De Vos หนุนการันตีค่า Latency
ผู้ก่อตั้งและซีอีโอ Nour de Vos ระบุว่า ขั้น prefill, attention และการสร้างโทเคน ต่างต้องการทรัพยากรฮาร์ดแวร์คนละแบบ การรันโมเดลทั้งก้อนบนสถาปัตยกรรมเดียวจึงทำให้ศักยภาพบางส่วนถูกทิ้งให้ว่างเปล่า
บริษัทระบุว่าพร้อม “การันตี” เวลาโทเคนแรกต่ำกว่า 200 มิลลิวินาที แต่เฉพาะดีพลอยเมนต์ที่อยู่ในกรอบข้อจำกัดที่กำหนด เช่น ขนาดโมเดล ความยาวอินพุต และจำนวนงานที่รันพร้อมกัน โดยงานระยะแรกโฟกัสที่โมเดล Qwen เวอร์ชัน quantized
De Vos ขยับจากธุรกิจขุดคริปโตขนาดใหญ่ มาสู่โครงสร้างพื้นฐาน AI โดยประสบการณ์จากเหมืองคริปโตที่ต้องรักษาเครื่องให้ทำงานเต็มประสิทธิภาพควบคู่กับบิลค่าไฟที่ต่ำที่สุด ทำให้เขาเน้นมุมมองเชิงระบบเป็นหลัก คือมองชิป หน่วยความจำ ระบบเครือข่าย และซอฟต์แวร์เป็นองค์รวมชุดเดียวกัน ซึ่งเป็นแนวคิดพื้นฐานของดีไซน์นี้
อ่านต่อ: เทรดเดอร์ Polymarket ให้โอกาส Spider-Man เปิดตัวสุดประวัติศาสตร์สูงถึง 91%