Các ý chính
Nvidia cho biết bộ tăng tốc suy luận Groq 3 LPX đã bước vào sản xuất hàng loạt.
Sản phẩm nhắm tới các tác vụ từ AI đa tác vụ có khả năng hoàn thành chuỗi nhiệm vụ nhiều bước.
Nvidia đang mở rộng danh mục phần cứng suy luận, vượt ra ngoài các hệ thống chuyên cho huấn luyện mô hình.
Giới hạn công suất điện trung tâm dữ liệu tiếp tục là bài toán then chốt với nhà vận hành hạ tầng AI.
Nvidia ngày 24/8 cho biết bộ tăng tốc suy luận AI Groq 3 LPX đã chính thức bước vào giai đoạn sản xuất hàng loạt.
Hãng định vị sản phẩm này cho các khối lượng công việc AI mang tính “tác vụ” (agentic AI) – những hệ thống có khả năng thực hiện chuỗi nhiệm vụ nhiều bước một cách tự động.
Theo thông cáo báo chí được đăng tải trong một thông cáo, Groq 3 LPX đã sẵn sàng cho triển khai ở quy mô sản xuất. Nvidia không tiết lộ quy mô lô hàng hay các cam kết đặt mua từ khách hàng.
Tập trung vào mảng suy luận
Phần cứng suy luận được thiết kế để vận hành các mô hình AI sau khi quá trình phát triển và huấn luyện đã hoàn tất.
Phân khúc này ngày càng được chú ý khi doanh nghiệp đưa mô hình vào các ứng dụng thực tế như chăm sóc khách hàng, lập trình, nghiên cứu và phần mềm doanh nghiệp.
Nvidia đóng khung Groq 3 LPX cho AI tác vụ, nơi hệ thống phải tiếp nhận yêu cầu, gọi và sử dụng các công cụ, rồi trả lại kết quả đã hoàn tất. Những khối lượng công việc này thường đòi hỏi gọi mô hình lặp đi lặp lại trong một tương tác duy nhất.
Công ty không công bố số liệu benchmark trong thông cáo. Nvidia cũng chưa cho biết bộ tăng tốc này sẽ được cung cấp thông qua các nhà cung cấp đám mây, tích hợp trong hệ thống doanh nghiệp, hay vận hành trên hạ tầng do chính Nvidia quản lý.
Nvidia xây dựng mảng AI của mình xoay quanh các hệ thống tính toán tăng tốc cho cả huấn luyện lẫn suy luận. Việc tuyên bố sản xuất hàng loạt đặt Groq 3 LPX vào nhóm sản phẩm dành cho khối lượng công việc thực tế, thay vì chỉ dùng trong môi trường thử nghiệm phòng lab.
Thông cáo sử dụng thương hiệu Groq cho dòng sản phẩm gắn với suy luận độ trễ thấp. Nvidia không đề cập chi tiết về giá, khu vực phân phối hay lịch trình triển khai trong lần công bố này.
Đọc thêm: Đột phá của vàng đưa mục tiêu 4.900 USD trở lại bàn tính toán
Bối cảnh hạ tầng gần đây
Ngày 24/8, Nvidia cho biết trong một bài blog kỹ thuật (https://developer.nvidia.com/blog/maximizing-ai-factory-performance-per-watt-with-nvidia-dsx-maxlps/) rằng các “nhà máy AI” đang đối mặt với bài toán giới hạn công suất điện. Công ty nhấn mạnh nhà vận hành cần đo lường sản lượng AI hữu ích trên từng đơn vị năng lượng khả dụng.
Trọng tâm mới này đặt hiệu quả năng lượng song hành cùng tốc độ trong cuộc đua triển khai hạ tầng suy luận. Các nhà vận hành AI đang bổ sung dịch vụ tạo ra nhu cầu sử dụng kéo dài sau khi mô hình rời môi trường huấn luyện.
Thông báo sản xuất của Nvidia diễn ra trong bối cảnh các nhà cung cấp hạ tầng AI liên tục nhấn mạnh hệ thống được thiết kế cho việc sử dụng mô hình liên tục. Nhu cầu suy luận khác với huấn luyện ở chỗ nó đòi hỏi năng lực tính toán luôn sẵn có cho người dùng cuối, chứ không phải chỉ theo từng đợt huấn luyện.
Đọc thêm: Mô hình cờ hiệu tăng giá của Bitcoin đưa mục tiêu 90.000 USD trở lại tâm điểm
Chi tiết triển khai vẫn còn bỏ ngỏ
Những thông tin công bố tiếp theo của Nvidia sẽ cho thấy Groq 3 LPX được đưa đến tay khách hàng như thế nào và được áp dụng đầu tiên cho những khối lượng công việc nào. Giá bán và khả năng cung cấp qua đám mây cũng sẽ là yếu tố quyết định mức độ phủ sóng thương mại.
Công ty chưa nói rõ sản phẩm sẽ vận hành như một bộ tăng tốc độc lập hay là một thành phần trong các hệ thống Nvidia quy mô lớn hơn. Sự khác biệt này có thể ảnh hưởng cách doanh nghiệp tích hợp phần cứng vào hạ tầng hiện hữu.
Thông báo mới bổ sung thêm một sản phẩm đã vào giai đoạn sản xuất trong chiến lược đẩy mạnh AI tác vụ của Nvidia. Khách hàng sẽ chờ đợi các dữ liệu hiệu năng và những thỏa thuận hợp tác triển khai trong thời gian tới.
Đọc tiếp: Strategy huy động 2 tỷ USD từ MSTR trong lúc tạm dừng mua Bitcoin
