OpenAI Ungkap Hasil Uji Chip Jalapeno, Klaim Lebih Efisien dari Nvidia
PerbesarOpenAI mulai membuka detail mengenai chip kecerdasan buatan (AI) buatannya sendiri, Jalapeno, setelah mempresentasikan hasil pengujian awal pada konferensi Hot Chips 2026. Chip tersebut dirancang khusus untuk menjalankan inferensi AI, yakni tahap ketika model yang sudah dilatih digunakan untuk menghasilkan respons atas permintaan pengguna.
Dalam pengujian menggunakan benchmark InferenceX dari SemiAnalysis, OpenAI mengklaim Jalapeoo mampu menghasilkan throughput lebih tinggi dengan konsumsi daya lebih rendah dibandingkan sejumlah sistem AI Nvidia yang menjadi pembanding.
Hasil tersebut menjadi indikasi awal bahwa OpenAI berusaha mengoptimalkan sendiri salah satu bagian penting dari infrastruktur AI-nya. Namun, perlu dicatat bahwa Jalapeno belum tersedia secara komersial dan hasil benchmark yang dipublikasikan masih berasal dari pengujian OpenAI.
Klaim Performa Lebih Tinggi dan Konsumsi Daya Lebih Rendah
Dalam pengujian InferenceX, Jalapeno dibandingkan dengan sistem berbasis Nvidia GB200 dan GB300. OpenAI menyebut chipnya mampu menghasilkan 1,5 hingga 1,9 kali lebih banyak throughput per kilowatt, sekaligus mencatat latensi end-to-end sekitar 1,7 hingga 3,6 kali lebih rendah pada sejumlah model yang diuji.
Pengujian mencakup beberapa model, termasuk GPT-OSS 120B milik OpenAI, DeepSeek R1, dan Kimi K2.5. Artinya, pengujian tersebut tidak hanya dilakukan pada model yang dikembangkan OpenAI, meskipun cakupan model dan kondisi pengujiannya tetap menjadi faktor penting dalam membaca hasil benchmark tersebut.
Richard Ho, yang memimpin program perangkat keras OpenAI, mengatakan Jalapeno dirancang untuk menggabungkan throughput tinggi dengan latensi rendah. Menurutnya, pendekatan tersebut penting untuk layanan AI interaktif yang harus menangani banyak permintaan sekaligus tanpa membuat pengguna menunggu terlalu lama.
Meski demikian, keunggulan dalam benchmark tidak otomatis berarti Jalapeno akan mengungguli seluruh perangkat keras AI di pasar. Ketika chip tersebut mulai digunakan dalam skala besar, teknologi pesaing juga kemungkinan sudah berkembang ke generasi berikutnya.
Dirancang Khusus untuk Inferensi LLM
Berbeda dengan GPU serbaguna yang dapat digunakan untuk berbagai jenis komputasi, Jalapeno dikembangkan sejak awal untuk kebutuhan inferensi large language model (LLM).
OpenAI mengatakan desainnya dibuat berdasarkan karakteristik beban kerja yang digunakan dalam ChatGPT, Codex, API, serta produk berbasis agen AI yang sedang dikembangkan perusahaan.
Salah satu fokus desainnya adalah mengurangi perpindahan data antara komputasi, memori, dan jaringan. Dalam sistem inferensi LLM, perpindahan data dapat menjadi sumber keterlambatan karena model harus mengakses dan mempertahankan sejumlah besar informasi selama proses menghasilkan respons.
OpenAI secara khusus menyoroti pengelolaan KV cache, yaitu data yang menyimpan informasi dari token-token sebelumnya selama model menghasilkan keluaran. Jalapeno dirancang agar informasi tersebut dapat ditempatkan dan dipertahankan secara lokal sehingga sistem dapat memilih kombinasi komputasi, memori, dan jaringan yang sesuai untuk setiap tahap inferensi.
Pendekatan tersebut ditujukan untuk mengurangi bottleneck pada tahap prefill maupun komunikasi data. Dampaknya, menurut OpenAI, dapat terlihat pada peningkatan throughput sekaligus penurunan waktu tunggu ketika model memberikan respons.
Dibuat Bersama Broadcom
Jalapeno bukan chip yang dikembangkan OpenAI seorang diri. Proyek tersebut merupakan hasil kerja sama dengan Broadcom, perusahaan semikonduktor yang membantu implementasi silikon, jaringan, serta pengembangan sistem.
OpenAI pertama kali memperkenalkan Jalapeno pada Juni 2026. Saat itu perusahaan mengatakan chip tersebut dikembangkan dari desain awal hingga tape-out dalam waktu sekitar sembilan bulan. OpenAI juga menggunakan model AI miliknya untuk membantu sejumlah proses desain dan optimasi chip.
Selain Broadcom, OpenAI bekerja sama dengan Celestica untuk sejumlah kebutuhan seperti integrasi board, rack, dan sistem produksi yang dapat diskalakan. Rancangannya juga menggunakan teknologi jaringan Broadcom, termasuk silikon jaringan Tomahawk.
Satu Chip untuk Infrastruktur Inferensi OpenAI
Jalapeno merupakan bagian dari strategi OpenAI untuk membangun infrastruktur AI yang lebih terintegrasi. Jalapeno difokuskan pada inferensi, bukan pelatihan model AI dari awal. Dengan demikian, OpenAI masih membutuhkan perangkat keras lain untuk kebutuhan komputasi yang berbeda, termasuk proses pelatihan model berukuran besar.
Fokus pada inferensi memiliki alasan ekonomi. Setiap kali pengguna mengirim permintaan ke layanan AI, pusat data harus menjalankan model untuk menghasilkan respons. Ketika jumlah pengguna dan kompleksitas model meningkat, kebutuhan komputasi untuk inferensi ikut melonjak.
Karena itu, peningkatan efisiensi pada tahap ini dapat berdampak langsung terhadap biaya operasional pusat data.
Konsumsi Daya Menjadi Faktor Penting
Selain performa, konsumsi energi menjadi salah satu persoalan utama dalam pembangunan infrastruktur AI. Sistem AI generatif membutuhkan pusat data dengan kapasitas komputasi besar, dan setiap peningkatan jumlah permintaan berarti semakin besar pula kebutuhan listrik serta sistem pendinginan.
Dalam presentasi Hot Chips, Jalapeno disebut memiliki rating daya sekitar 700 watt. Namun, pada beban kerja yang diuji, konsumsi daya berkelanjutan dilaporkan berada di kisaran 550 watt atau lebih rendah. Satu rack dirancang menampung 128 chip, sementara satu pod dapat berisi hingga 2.048 ASIC.
OpenAI menyebut konfigurasi 128 chip dapat mencapai sekitar 1,7 exaflops untuk komputasi 4-bit dan menggunakan sekitar 27,5 TB HBM4. Spesifikasi tersebut menunjukkan bahwa Jalapeno dirancang bukan sebagai chip desktop atau perangkat konsumen, melainkan sebagai bagian dari infrastruktur pusat data berskala besar.
Mulai Dipakai dalam Skala Terbatas Akhir 2026
Meski sudah melewati tahap pengujian awal, Jalapeno belum akan langsung menggantikan seluruh infrastruktur komputasi OpenAI.
Richard Ho memperkirakan chip tersebut mulai diterapkan dalam volume kecil pada akhir 2026. Penggunaan dalam skala yang lebih besar ditargetkan berlangsung pada 2027.
OpenAI sebelumnya menyatakan Jalapeno merupakan generasi pertama dari platform chip yang akan dikembangkan secara berkelanjutan. Perusahaan menargetkan penerapannya pada pusat data berskala gigawatt bersama sejumlah mitra.