OpenAI menyatakan chip Jalapeño mengungguli Nvidia GB300 dalam dua tolok ukur inferensi pada daya 700 watt, dengan implementasi dijadwalkan mulai akhir 2026 untuk menekan biaya dan mempercepat respons.
Poin Utama:
- OpenAI menyebut Jalapeño mengalahkan Nvidia GB300 dalam metrik throughput per unit daya dan kecepatan respons saat pengujian.
- Chip inferensi 700 watt ini dirancang untuk menurunkan biaya pusat data sekaligus melayani model AI dengan respon lebih cepat.
- Jalapeño tidak dibuat untuk pelatihan model dan tidak diuji melawan generasi terbaru Nvidia, Vera Rubin.
Benchmark OpenAI
OpenAI menyampaikan bahwa prosesor kustom Jalapeño mengungguli Nvidia GB300 dalam pengujian yang mengukur beban kerja AI per unit daya dan kecepatan sistem dalam mengembalikan jawaban.
Richard Ho, kepala divisi chip OpenAI, mengatakan Jalapeño memadukan throughput tinggi dengan latensi rendah, berpotensi memberi keleluasaan bagi pelanggan untuk memilih model yang menekankan biaya lebih murah atau jawaban lebih cepat.
Dikembangkan bersama Broadcom, Jalapeño mencapai hasil uji tersebut pada konsumsi daya 700 watt, menurut Ho. Konsumsi listrik merupakan salah satu komponen biaya terbesar di pusat data.
Juga Baca: Pasar RWA Melonjak 48,7%, Tapi Satu Token Jadi Penentu Utama
Posisi Nvidia
Perbandingan ini punya batas yang jelas.
Jalapeño tidak diuji terhadap generasi terbaru Nvidia, Vera Rubin, yang sudah mulai dikirimkan, dan chip OpenAI ini memang dirancang khusus untuk inferensi, bukan pelatihan model. Nvidia tetap menjadi pemasok utama bagi OpenAI.
OpenAI juga memanfaatkan teknologi Cerebras Systems untuk sebagian beban kerja inferensi, terutama untuk model yang lebih kecil, sementara Ho mengatakan Jalapeño ditujukan untuk menangani model yang lebih besar. “Kebutuhan komputasi kami begitu besar,” ujarnya.
Pengujian publik menggunakan satu model open-source kecil milik OpenAI bersama model dari DeepSeek dan Moonshot AI, dengan keunggulan Jalapeño paling menonjol pada Kimi, model besar milik Moonshot. Versi kedua chip ini sudah berada pada tahap lanjut, dengan proses tape-out diperkirakan terjadi dalam beberapa bulan ke depan, sementara OpenAI sudah memulai kajian konseptual untuk generasi ketiga.
Chip ini mengikuti pengumuman OpenAI pada 24 Juni bersama Broadcom, ketika kedua perusahaan menyatakan Jalapeño bergerak dari tahap desain ke tape-out manufaktur hanya dalam sembilan bulan dengan bantuan model OpenAI. Itulah generasi pertama.
Selanjutnya: Nvidia Tenagai Rencana AI Orbit 2027 SpaceX Saat Kedua Saham Terkoreksi
