IBM dengan bangga mengumumkan penambahan model terbuka generasi terbaru Meta, Llama 4, ke watsonx.ai. Llama 4 Scout dan Llama 4 Maverick, model campuran pakar (MoE) pertama yang dirilis oleh Meta, memberikan kinerja multimodal terdepan, kecepatan tinggi, biaya rendah, dan panjang konteks yang terbesar di industri.
Peluncuran Llama 4 mengawali era baru untuk seri Llama, yang memperkenalkan evolusi menarik dari arsitektur Llama dan pendekatan inovatif untuk mengintegrasikan berbagai jenis modalitas data—termasuk teks, gambar, video—jauh lebih awal dalam prosesnya daripada model yang dilatih secara konvensional. Kedua model baru mendukung berbagai contoh penggunaan text-in, text-out dan image-in, text-out
Dengan pengenalan penawaran terbaru dari Meta ini, IBM kini mendukung total 13 model Meta dalam pustaka model dasar yang luas yang tersedia di watsonx.ai. Sesuai dengan strategi multi-model IBM yang terbuka untuk AI generatif, kami terus menyediakan model-model terbuka dengan kinerja tertinggi di pasar saat ini kepada para pelanggan platform kami.
Arsitektur campuran pakar (MoE) bertujuan untuk menyeimbangkan kapasitas pengetahuan model yang lebih besar dengan efisiensi inferensi model yang lebih kecil dengan membagi lapisan jaringan neural model menjadi beberapa pakar. Daripada mengaktifkan setiap parameter model untuk setiap token, model MoE menggunakan fungsi gating yang hanya mengaktifkan pakar yang paling cocok untuk memproses token tersebut.
Llama 4 Scout, model yang lebih kecil dari dua model baru dengan jumlah parameter total 109B, dibagi menjadi 16 pakar. Pada saat inferensi, jumlah parameter aktif hanya 17B, memungkinkannya untuk melayani lebih banyak pengguna secara paralel. Dilatih dengan 40 triliun token data, Llama 4 Scout menawarkan kinerja yang menyaingi atau melebihi model dengan jumlah parameter aktif yang jauh lebih besar dengan menjaga biaya dan latensi tetap rendah. Terlepas dari persyaratan komputasi yang ramping tersebut, Llama 4 Scout mengalahkan model yang sebanding dalam hal pengodean, penalaran, konteks yang panjang, dan tolok ukur pemahaman gambar.
Llama 4 Maverick terbagi menjadi 128 pakar, yang memanfaatkan pengetahuan dari 400B total parameter sambil mempertahankan jumlah parameter aktif 17B yang sama dengan Llama 4 Scout. Berdasarkan pengumuman resmi Meta AI, Llama 4 Maverick mengalahkan GPT-4o dari OpenAI dan Gemini 2.0 Flash dari Google "secara keseluruhan" dalam berbagai tolok ukur multimodal dan menyaingi kinerja penalaran dan pengodean dari DeepSeek-V3 yang jauh lebih besar dalam hal penalaran dan pengodean.
Selain itu, Llama 4 Scout menawarkan jendela konteks terbaik di industri dengan 10 juta token sambil mempertahankan akurasi yang sangat baik pada tolok ukur konteks panjang seperti Needle-in-a-haystack (NiH). Kemajuan signifikan yang belum pernah terjadi sebelumnya ini membuka peluang menarik untuk peringkasan multi-dokumen, penalaran atas basis kode yang luas, dan personalisasi melalui memori yang luas dari aktivitas pengguna.
Seperti yang dijelaskan dalam pengumuman Meta, perluasan besar-besaran dalam panjang konteks ini terutama berasal dari dua inovasi: penggunaan lapisan perhatian yang disisipkan tanpa penyematan informasi posisi dan penskalaan suhu waktu inferensi dari mekanisme perhatian model. Arsitektur baru ini, yang disebut Meta sebagai "iRope", merupakan langkah penting menuju tujuan jangka panjang Meta untuk mendukung panjang konteks yang "tak terbatas".
Sementara model bahasa besar (LLM) secara konvensional dilatih sebelumnya secara eksklusif menggunakan data teks, kemudian diadaptasi ke modalitas data lain (seperti data gambar) setelahnya selama pasca-pelatihan, model Llama 4 dirancang dengan "multimodalitas native." Hal ini memungkinkan Meta untuk bersama-sama melatih model dengan sejumlah besar data teks, gambar, dan video yang tidak berlabel secara sekaligus, sehingga secara efisien memperkaya model dengan pengetahuan yang terintegrasi dari berbagai sumber.
Pelatihan model Llama 4 menggabungkan "perpaduan" berbagai jenis data di awal pipeline pemrosesan, yang mengintegrasikan token teks dan visi secara mulus untuk memungkinkan model tersebut dilatih sebagai satu sistem terpadu. Hasilnya, Llama 4 Maverick dan Llama 4 Scout menawarkan kinerja yang sangat baik dalam berbagai tugas pemahaman gambar, yang mampu menangani prompt teks yang berkaitan dengan beberapa gambar sekaligus atau menetapkan respons model ke wilayah tertentu dengan satu gambar.
Para pengembang dan bisnis dapat memilih model Llama 4 yang mereka sukai dari katalog model dasar yang luas di IBM watsonx.ai, lalu melakukan fine tuning, menyaring, dan menerapkannya di lingkungan cloud, on-premises, atau edge sesuai dengan pilihan mereka. IBM meningkatkan lebih lanjut fleksibilitas ini dengan infrastruktur AI yang canggih, integrasi yang lancar dengan kerangka kerja agen, dan kompatibilitas dengan basis data vektor.
IBM watsonx menyederhanakan pengembangan dengan serangkaian alat kode, kode rendah, dan no-code di studio kelas perusahaan yang mendukung seluruh siklus hidup AI sekaligus mendorong kolaborasi antar tim. IBM watsonx juga menawarkan tata kelola AI menyeluruh yang kuat, yang memastikan alur kerja yang bertanggung jawab dan lebih cepat. Dengan memanfaatkan keahliannya yang mendalam dalam transformasi teknologi, kemitraan IBM dengan Meta memberikan Strategi yang disesuaikan untuk memenuhi kebutuhan perusahaan secara efisien dan efektif.
Lihat cara membangun AI Personal Trainer dengan Meta Llama 4 di watsonx.ai.
Mulai gunakan model Llama 4 di watsonx.ai hari ini.