sp-globalindo.co.id – Meta telah merilis Llama 3.2 1B dan 3B (LLM) versi ringan atau “terkuantisasi”.
Llama 3.2 1B dan 3B diumumkan pada acara Meta Connect yang diadakan pada bulan September 2024. Model kecerdasan buatan (AI) ini merupakan LLM terkecil di antara LLM Meta lainnya, karena dirancang untuk berjalan pada perangkat berdaya rendah seperti perangkat seluler seperti ponsel pintar.
Llama 3.2 1B dan 3B yang dirilis kali ini merupakan versi ringan dari LLM. Sekadar informasi, ini adalah teknik yang dapat digunakan untuk memperkecil ukuran model AI dengan mengubah nilai parameter model (prediksi model objek).
Menurut Meta, Llama 3.2 dihitung 1B dan 3B, dengan memori lebih rendah saat menjalankan program dan penjumlahan lebih cepat. Meski lebih rendah, namun akurasinya masih sama dengan Llama 3.2 1B dan 3B karena Meta menggunakan dua metode evaluasi yaitu QLoRA dan SpinQuant.
Baca Juga: Meta Rilis Fitur Keamanan untuk Lindungi Remaja dari Sexting
Hasil pengujian internal Meta menunjukkan bahwa ukuran Llama 3.2 1B dan 3B yang diringankan sekitar 56 persen lebih ringan dibandingkan model aslinya. Pemrosesan inferensi juga 2-4 kali lebih cepat.
Induk Facebook juga menguji model AI ini pada ponsel Android OnePlus 12 dan menemukan bahwa penggunaan sumber daya memori berkurang sebesar 41 persen. Meski performanya hampir sama dengan model AI versi aslinya.
Untuk membuatnya lebih baik untuk perangkat seluler, Meta mengembangkan model AI versi ringan ini bersama dengan perusahaan semikonduktor Qualcomm dan MediaTek. Meta juga menggunakan inti Kleidi AI untuk menjalankan model AI versi ringan pada prosesor seluler.
Dengan menjalankan model Llama pada prosesor seluler, pengembang dapat menciptakan pengalaman AI yang lebih unik dengan integritas yang lebih baik. Dan yang terpenting semua proses berlangsung di dalam perangkat, dihimpun KompasTekno dari SiliconAngle, Sabtu (26/10/2024).
Llama 3.2 1B dan 3B Bersertifikat dapat diunduh dari situs web Llama dan Hugging Face, atau diakses dari tautan berikut. Jadi merupakan pesaing GPT-4o Mini
Model AI Llama 3.2 dirilis Meta pada acara Meta Connect, Rabu (25/09/2024). Model AI ini hadir sebagai pesaing GPT-4o Mini OpenAI yang dirilis Juli lalu.
Menurut CEO Meta Mark Zuckerberg, model AI ini telah mencapai pertumbuhan sepuluh kali lipat sejak tahun 2023, dan kini dikatakan bahkan menyamai GPT-4o Mini dalam pengenalan gambar dan tugas visioner lainnya.
Baca Juga: Meta Luncurkan Movie Gen, AI untuk Membuat Video dan Audio dari Teks
Sementara itu, Llama 3.2 dikatakan mengungguli model AI sumber terbuka Google (Gemma) dan Microsoft (Phi 3.5-mini) di berbagai bidang seperti pemantauan, inferensi, penggunaan alat, dan pengetikan.
“Lama terus berkembang pesat, memungkinkan lebih banyak fleksibilitas,” kata Zuckerberg.
“Llama 3.2 adalah model multimodal open-source pertama. Model ini memungkinkan banyak aplikasi yang memerlukan pemahaman visual,” kata CEO Meta Mark Zuckerberg dalam sambutan pembukaannya di acara Meta Connect, Rabu.
Seperti Llama 3.1, Llama 3.2 diatur menjadi model bahasa sumber terbuka. Oleh karena itu, pengembang dapat menggunakan model AI ini secara bebas dan gratis.
