Sekarang, NVIDIA secara resmi mengumumkan H200 NVL, yang merupakan konfigurasi GPU AI, yang terdiri dari empat GPU H200 AI yang terhubung ke Modul PCI Express (PCIE).   

Karena menyatu dengan modul tipe PCIe, NVIDIA mengklaim bahwa H200 NVL dapat dengan mudah digunakan di berbagai server atau pusat data yang dimiliki oleh perusahaan.

Secara teknis, chip HBM3E AI AI GPU memiliki memori HBM3E dengan kapasitas 141GB.

Bandwidth dari empat GPU AI H200 melalui tautan komunikasi NVLink standar adalah 4,8 tb/s, dan hasil 34 tflop yang dihitung dalam AI FP64 atau 67 TFLOP untuk FP32, dengan konsumsi energi 600 watt.

Baca Juga: AMD Mengumumkan Chip AI Insting MI325X, lebih tahan daripada NVIDIA H200

Dibandingkan dengan generasi sebelumnya, yaitu, H100 NVL, H200 NVL dikatakan memiliki peningkatan memori 1,5x, bandwidth hingga 1,2x dan kinerja AI di segmen inferensi memiliki kinerja 1,7x .

Untuk Ilmu Komputer investasi tinggi (HPC), NVIDIA H200 NVL berkinerja 1,3 kali lebih cepat dari H100 NVL, dan Ampere AI GPU 2,5 kali lebih tinggi.

Untuk melakukan operasi optimal tanpa lebih dari pemanasan (amplop) dan mempertahankan efisiensi daya, GPU H200 NVL juga dapat dikonfigurasi oleh sistem pendingin berbasis udara (air). NVIDIA GB200 NVL4

Selain H200 NVL, NVIDIA juga telah mengumumkan “Superchip” GB200 NVL4.

Seperti H200 NVL, GB200 NVL4 adalah solusi yang menggabungkan empat GPU AI, tetapi arsitektur GB200 Grace Blackwell (GB) diperkenalkan pada bulan Maret tahun lalu.

Perbedaannya adalah bahwa empat GPU AIS dengan arsitektur Blackwell bergabung di papan (papan) dengan dua “CPU” dan “Grace” Nvidia, yang memiliki memori LPDDR5X dan kapasitas total 960 GB.

Baca Juga: Koordinat Broadcom, Menurut OpenSai, membuat chip AI Anda sendiri

Nah, berbagai komponen ini dihubungkan oleh teknologi NVLink dan, berkat teknologi ini, NVIDIA menyatakan bahwa GB200 NVL4 dapat memberikan kapasitas memori HBM3, hingga 768GB dan bandwidth hingga 32 TB/s.   

Dibandingkan dengan generasi GH200 NVL4 sebelumnya, NVIDIA mengklaim bahwa GB200 NVL4 2,2 kali lebih cepat dan mampu menghasilkan proses pelatihan (pelatihan) atau mendukung inferensi AI 1,8 kali lebih efisien.

Ketika Kpastekno de Nvidia (20 November 2024) dirangkum, GPU AI H200 NVL dimulai minggu ini, sedangkan ketersediaan GB200 NVL4 akan berada di ponsel tengah. Pilih saluran utama Anda untuk mengunjungi Kompas.com WhatsApp Channel: https: //www.whhatsapp.com/chaannel/0029vafbbbbbbbbbpzrk13ho3d. Pastikan -Anda telah menginstal aplikasi WhatsApp.

Artikel Nvidia Rilis GPU H200 NVL, Gabungan Empat Chip AI H200 dalam Satu Modul pertama kali tampil pada SP NEWS GLOBAL INDONESIA.

Chip yang merupakan penerus AMD Instinct MI300X yang diperkenalkan pada akhir Desember tahun lalu ini diklaim lebih bertenaga dibandingkan chip AI rivalnya Nvidia H200. 

Di atas kertas, GPU AI Instinct MI325X memiliki 153 miliar transistor dan memori HBM3E 256 GB, lebih besar dibandingkan Nvidia H200 yang memiliki 80 miliar transistor dan memori 141 GB.

GPU AI terbaru AMD yang dikembangkan dengan arsitektur AMD CDNA 3 memiliki bandwidth 6 TB/s, sekitar 1,3 kali lebih cepat dibandingkan produk Nvidia dengan 4,8 TB/s.

Dari segi performa, Instinct MI325X juga dikatakan memiliki AI 1,3 kali lebih cepat untuk menghitung model half-floating (FP16) dan 8-bit floating-point (FP8).

Baca Juga: India akan memproduksi chip AI sendiri, yang akan diluncurkan pada tahun 2026

Dalam berbagai pengujian AMD, performa komputasi AI FP16 dan FP8 terbaru AMD mencapai 1.307 TFLOPS dan 2.614 TFLOPS. Ini lebih tinggi dari Nvidia H200 yang memiliki clock 989 TFLOPS dan 1.978 TFLOPS. 

Kemudian untuk menjalankan beberapa model AI, dibandingkan Nvidia H200, AMD Instinct MI325X juga disebut-sebut memiliki performa inferensi 1,3 kali lebih cepat untuk Mistral 7B (FP16), 1,2 kali lebih cepat untuk Llama 3.1 70B (FP8), dan 1,4 kali lebih cepat dibandingkan Llama 3.1 70B (FP8). Campuran 8x7B (FP16). 

Untuk akuisisi, GPU AI Instinct MI325X rencananya akan diproduksi massal pada akhir tahun 2024.

Pada awal tahun 2025, chip AI ini akan ditemukan di beberapa sistem besutan Dell, Eviden, Gigabyte, HP, Lenovo, dan Supermicro, demikian rangkuman KompasTekno dari TheRegister, Jumat (10/11/2024).

AMD belum mengungkapkan perusahaan mana yang akan menggunakan chip AI terbarunya. Namun yang jelas kehadiran chip AI terbaru dari AMD akan membuat “raja” produk chip AI yaitu Nvidia sedikit khawatir karena mungkin akan menghadapi persaingan yang ketat. 

Baca Juga: Gandeng Broadcom, OpenAI Bikin Chip AI Sendiri

Pesaing Instinct MI325X yaitu Nvidia H200 merupakan produk Nvidia dengan arsitektur Hopper yang diluncurkan pada akhir tahun 2023, namun baru akan diproduksi dan tersedia pada pertengahan tahun 2024.

Pada tahun 2025, Nvidia akan mengembangkan chip AI baru dengan arsitektur baru bernama Blackwell, dengan produk bernama Nvidia B100 dan B200.

Kedua chip AI yang mungkin mulai diproduksi pada akhir tahun ini ini memiliki memori yang lebih kecil dibandingkan Instinct MI325X, yakni hingga 192 GB, namun dengan bandwidth yang lebih cepat, hingga 8 TB/s. Dengarkan berita dan pilihan terbaru kami langsung di ponsel Anda. Pilih saluran baru favorit Anda untuk bergabung dengan saluran WhatsApp Kompas.com: https://www.whatsapp.com/channel/0029VaFPbedBPzjZrk13HO3D. Pastikan Anda telah menginstal aplikasi WhatsApp.

Artikel AMD Umumkan Chip AI Instinct MI325X, Lebih Tangguh dari Nvidia H200 pertama kali tampil pada SP NEWS GLOBAL INDONESIA.