AMD MI355X Tembus 1 Juta Token per Detik! Dominasi Baru di MLPerf Inference 6.0
AMD baru saja memamerkan “taring” sesungguhnya dalam pengujian MLPerf Inference 6.0. Melalui GPU Instinct MI355X berbasis arsitektur CDNA 4, AMD membuktikan bahwa ekosistem perangkat keras dan software ROCm mereka sudah siap untuk skala produksi massal yang masif.
Baca juga: Duet Maut Samsung & AMD: Siapkan HBM4 Super Kencang Buat Tantang NVIDIA!
Tembus Ambang Batas 1 Juta Token/Detik
Untuk pertama kalinya dalam sejarah, AMD berhasil menembus angka 1 juta token per detik pada benchmark Llama 2 70B dan GPT-OSS-120B dalam skala multinode. Ini adalah tonggak sejarah penting karena industri kini tidak lagi melihat performa per kartu, melainkan performa per cluster.
Pada pengujian Llama 2 70B yang merupakan standar emas LLM saat ini, AMD MI355X menunjukkan taji yang sangat kompetitif melawan NVIDIA B200 dan B300:
- Lawan B200: MI355X berhasil seri di skenario Offline, mencapai 97% performa pada skenario Server, dan bahkan unggul 119% di skenario Interactive.
- Lawan B300: MI355X masih mampu mencapai 92-93% performa rival terkuat NVIDIA tersebut, dan unggul tipis 104% pada pengujian Interactive.
Loncatan Generasi Baru
Jika dibandingkan dengan generasi sebelumnya (MI325X), MI355X memberikan peningkatan throughput hingga 3,1x lipat. Peningkatan ini didorong oleh:
- Fabrikasi 3nm dengan 185 miliar transistor.
- Dukungan tipe data baru FP4 dan FP6.
- Kapasitas memori 288 GB HBM3E yang memungkinkan satu GPU menjalankan model hingga 520 miliar parameter.
Tidak hanya jago di teks (LLM), AMD mulai merambah ke text-to-video. Dalam pengujian model Wan-2.2-t2v, MI355X mencapai 93% dari performa B200 pada percobaan pertama. Menariknya, setelah optimasi pasca-tenggat waktu, performanya melonjak hingga 108% dari B200, membuktikan bahwa software ROCm AMD kini bisa dioptimasi dengan sangat cepat.
Salah satu momen paling keren adalah demonstrasi sistem heterogen pertama yang menggabungkan tiga tipe GPU (MI300X, MI325X, dan MI355X). Uniknya, sistem ini terpisah secara geografis (AS dan Korea) namun tetap bisa terorkestrasi dengan mulus berkat software stack ROCm.
AMD tidak lagi sekadar “ikut berpartisipasi”. Dengan arsitektur CDNA 4 dan dukungan memori jumbo, mereka memberikan opsi nyata bagi perusahaan besar yang ingin lepas dari ketergantungan NVIDIA. Fokus mereka pada skala multinode dan efisiensi biaya per token bakal jadi kunci utama saat mereka meluncurkan seri MI400 dan solusi rak Helios di akhir tahun 2026 nanti.
VIDEO TERBARU MURDOCKCRUZ :
