AMD Respon NVIDIA Tentang Kinerja MI300X yang Diperbarui
Setelah peluncuran akselerator AMD Instinct MI300X dan MI300A baru-baru ini bersama dengan tumpukan software ROCm 6, NVIDIA merilis tolok ukur yang membandingkan kinerja akselerator H100 dengan AMD MI300X. AMD telah merespons benchmark Nvidia dengan data kinerja terbaru, menyoroti optimasi terbaru mereka.
Baca juga : APU Desktop AMD Ryzen 8000G Series Terungkap
Table of Contents
Poin-Poin Penting dari Tanggapan AMD
Perubahan Tolok Ukur
Tolok ukur NVIDIA menggunakan TensorRT-LLM pada H100, bukan vLLM yang digunakan pada tolok ukur AMD. Performa tipe data FP16 pada GPU AMD Instinct MI300X dibandingkan dengan tipe data FP8 pada H100.
AMD membalikkan angka latensi relatif yang awalnya diterbitkan menjadi throughput absolut untuk perbandingan.
Pengoptimalan Terbaru
AMD secara konsisten mengidentifikasi jalur baru untuk membuka kinerja dengan perangkat lunak ROCm dan akselerator Instinct MI300. Data yang dipaparkan dalam acara peluncuran AMD tercatat pada bulan November, dan sejak itu, kemajuan signifikan telah dicapai.
Keunggulan Kinerja
Keunggulan performa MI300X vs. H100 menggunakan tipe data dan pengaturan pustaka yang setara meningkat dari 1,4x menjadi 2,1x dengan pengoptimalan terbaru. Bahkan saat menggunakan TensorRT-LLM untuk H100 dan vLLM untuk MI300X, AMD menunjukkan peningkatan latensi sebesar 1,3x.
MI300X terus menunjukkan keunggulan performa saat mengukur latensi absolut, bahkan saat menggunakan presisi yang lebih rendah (FP8) dan TensorRT-LLM untuk H100.
Data Kinerja Masa Depan
AMD berencana untuk membagikan lebih banyak data performa, termasuk tipe data baru, tambahan tolok ukur khusus throughput, dan penyesuaian performa lebih lanjut.
Tanggapan ini bertujuan untuk memperjelas dan memberikan informasi terkini mengenai kinerja akselerator AMD Instinct MI300X, menekankan keunggulannya bahkan dalam skenario benchmark yang berbeda.
VIDEO TERBARU MURDOCKCRUZ :
