Sorotan Performa AMD Ryzen™ AI HX 375 Dalam Kinerja LLM

Kemajuan dalam model bahasa – language models (LLM) membuat AI lebih mudah diakses dari sebelumnya, dan alat seperti LM Studio mendorong tren ini dengan aplikasi yang ramah konsumen yang tidak memerlukan pengetahuan pengkodean. Dengan dukungan dari AMD, LM Studio dirancang untuk menghadirkan LLM canggih bagi pengguna sehari-hari, memberdayakan mereka untuk mengeksplorasi kemampuan AI tingkat lanjut dengan mudah.

Baca juga: Rekomendasi Laptop AI Terbaik Tahun 2024

LM Studio didasarkan pada kerangka kerja llama.cpp, yang terkenal karena kesederhanaan dan efisiensinya dalam menerapkan LLM pada CPU x86, dengan akselerasi GPU opsional. Fleksibilitas ini, terutama dengan penambahan instruksi AVX2, memungkinkan LLM modern berjalan lancar bahkan pada CPU saja, menjadikannya pilihan serbaguna bagi pengguna.

Table of Contents

Tolok Ukur Performa: AMD Ryzen™ AI Memimpin

Prosesor AMD Ryzen™ AI 9 HX 375 menawarkan throughput yang luar biasa dan latensi rendah, unggul dalam tugas-tugas yang sangat penting bagi performa. Dalam perbandingan tolok ukur prosesor konsumen, Ryzen AI 9 HX 375 menghasilkan output hingga 27% lebih cepat dalam token per detik (tk/s) daripada pesaing sejenisnya, mencapai kecepatan 50,7 tk/s dalam Meta Llama 3.2 1b Instruct (kuantisasi 4-bit). Bahkan dalam latensi, arsitektur “Zen 5” AMD menunjukkan peningkatan hingga 3,5x dalam waktu untuk token pertama dalam model yang lebih besar, yang menunjukkan keunggulan prosesor dalam kecepatan dan responsivitas.

Komitmen AMD untuk mendorong AI maju juga terbukti dalam penggunaan teknologi Variable Graphics Memory (VGM), yang meningkatkan throughput model dengan mengalokasikan secara dinamis hingga 75% dari RAM sistem yang tersedia untuk pemrosesan iGPU. Dalam pengujian, VGM (16GB) menghasilkan peningkatan kinerja tambahan sebesar 22%, mencapai peningkatan total rata-rata sebesar 60% untuk Meta Llama 3.2 1b Instruct dengan dukungan iGPU.

LM Studio dengan GPU Offload

LM Studio, yang memanfaatkan kerangka llama.cpp, mendukung akselerasi GPU melalui Vulkan API yang tidak bergantung pada vendor. Pengujian menunjukkan bahwa penggunaan GPU offload di LM Studio menghasilkan peningkatan kecepatan pemrosesan sebesar 31% untuk model seperti Meta Llama 3.2, dengan model yang lebih besar seperti Mistral Nemo 2407 juga diuntungkan. Prosesor Ryzen™ AI memberikan performa yang konsisten dan berkecepatan tinggi di seluruh tugas ini, sehingga AMD tetap menjadi yang terdepan.

Dalam perbandingan berdampingan, Ryzen™ AI 9 HX 375 secara konsisten mengungguli prosesor pesaing dalam aplikasi LLM yang ramah konsumen. Performanya 8,7% lebih cepat di Phi 3.1 Mini Instruct dan 13% lebih cepat di Mistral 7b Instruct v0.3 saat menggunakan pengaturan yang sebanding. Keunggulan ini menggarisbawahi fokus AMD pada kinerja AI tingkat atas yang mudah diakses bagi pengguna sehari-hari.

Perluass Akses AI dengan AMD & LM Studio

Pendekatan AMD dengan seri AI Ryzen menyoroti visinya untuk masa depan AI: menjadikan AI berkinerja tinggi dapat diakses oleh semua orang. Dengan fitur-fitur seperti LM Studio dan VGM, AMD memungkinkan pengguna untuk terlibat dengan LLM dan merasakan AI mutakhir pada laptop x86. Prosesor AMD Ryzen AI Seri 300, bersama dengan alat-alat yang ramah konsumen seperti LM Studio, membuka pintu baru untuk penerapan AI lokal, memberikan pengguna sekilas gambaran tentang masa depan integrasi AI berkinerja tinggi yang mulus.

Comments