OpenAI cho biết chip Jalapeño đã vượt Nvidia GB300 trong hai bài kiểm thử suy luận ở mức tiêu thụ 700 watt, với kế hoạch triển khai cuối năm 2026 nhằm cắt giảm chi phí và tăng tốc độ phản hồi.
Các điểm chính:
- OpenAI nói Jalapeño dẫn trước GB300 của Nvidia về thông lượng trên mỗi đơn vị điện năng và tốc độ phản hồi trong quá trình thử nghiệm.
- Con chip suy luận 700 watt được thiết kế để giảm chi phí vận hành trung tâm dữ liệu, đồng thời phục vụ mô hình AI với tốc độ cao hơn.
- Jalapeño không dùng để huấn luyện mô hình và cũng chưa được so sánh với thế hệ Vera Rubin mới hơn của Nvidia.
Kết quả benchmark của OpenAI
OpenAI cho biết bộ xử lý tùy biến Jalapeño của hãng đã vượt Nvidia GB300 trong các bài test đo khối lượng công việc AI trên mỗi đơn vị điện năng và tốc độ trả kết quả.
Richard Ho, Giám đốc mảng chip của OpenAI, nói Jalapeño kết hợp được thông lượng cao với độ trễ thấp, qua đó có thể cho phép khách hàng lựa chọn giữa mô hình tối ưu chi phí hoặc ưu tiên tốc độ phản hồi.
Được phát triển cùng Broadcom, Jalapeño đạt các kết quả trên trong điều kiện vận hành ở mức 700 watt, theo ông Ho. Chi phí điện năng hiện là một thành phần lớn trong tổng chi phí trung tâm dữ liệu.
Bài viết liên quan: Thị trường RWA tăng vọt 48,7%, nhưng gần như chỉ một token dẫn dắt
Bối cảnh phía Nvidia
So sánh giữa hai bên có nhiều giới hạn rõ ràng.
Jalapeño không được đem thử nghiệm với thế hệ Vera Rubin mới hơn của Nvidia – dòng chip đã bắt đầu giao hàng – và bản thân chip của OpenAI được thiết kế riêng cho suy luận (inference), không phải huấn luyện mô hình. Nvidia vẫn là nhà cung cấp chủ chốt cho OpenAI.
Song song đó, OpenAI vẫn sử dụng công nghệ của Cerebras Systems cho một phần khối lượng suy luận, đặc biệt với các mô hình nhỏ hơn, trong khi ông Ho cho biết Jalapeño đủ sức gánh các mô hình lớn hơn. “Nhu cầu tính toán của chúng tôi là khổng lồ,” ông nói.
Các bài test công khai sử dụng một mô hình mã nguồn mở cỡ nhỏ của OpenAI cùng với mô hình của DeepSeek và Moonshot AI; lợi thế của Jalapeño thể hiện rõ hơn trên Kimi – mô hình lớn hơn của Moonshot. Phiên bản thứ hai của chip đã ở giai đoạn rất tiến triển, với tape-out dự kiến trong vài tháng tới, trong khi OpenAI đã bắt đầu phác thảo thế hệ thứ ba.
Con chip này ra đời sau thông báo ngày 24/6 của OpenAI và Broadcom, khi hai bên cho biết Jalapeño đã đi từ thiết kế đến tape-out sản xuất trong 9 tháng nhờ hỗ trợ từ các mô hình của OpenAI. Đó được xem là thế hệ đầu tiên.
Bài tiếp theo: Nvidia cung cấp sức mạnh cho kế hoạch AI quỹ đạo 2027 của SpaceX giữa lúc cả hai cổ phiếu giảm giá
