Mempercepat Inferensi PyTorch pada IBM Z dan IBM LinuxONE

18 November 2024

Penyusun

Tina Tarquinio

VP, Product Management, IBM Z and LinuxONE

Elpida Tzortzatos

IBM Fellow and CTO of z/OS and AI on IBM Z and LinuxONE

Munculnya PyTorch: Mengubah pengembangan AI

Selama dekade terakhir, kita telah melihat transformasi dramatis dalam perusahaan yang dipimpin oleh AI. Munculnya big data dan perangkat keras khusus telah membuat model AI yang kuat yang dulunya terbatas untuk tim peneliti elit di universitas tingkat atas dapat diakses oleh massa. Jaringan neural networks telah mendukung demokratisasi ini, dan kerangka kerja pembelajaran mendalam seperti PyTorch dan TensorFlow telah membantu pengembangan model-model ini. PyTorch telah menjadi pemain kunci dalam lingkungan AI, menawarkan keunggulan unik yang telah menyebabkan penggunaan dan pengadopsiannya secara luas.

Desain 3D bola yang menggelinding di lintasan

Berita + Insight AI terbaru 


Temukan insight dan berita yang dikurasi oleh para pakar tentang AI, cloud, dan lainnya di Buletin Think mingguan. 

Akselerasi PyTorch dengan akselerator on-chip IBM Z Telum untuk AI

Kemajuan terbaru dalam akselerator AI perangkat keras telah memberikan kekuatan yang dibutuhkan untuk secara efektif menggunakan kerangka kerja pembelajaran mendalam seperti PyTorch. Peningkatan perangkat keras ini mempercepat komputasi model yang lebih kompleks pada kumpulan data besar, secara signifikan mempercepat eksperimen dan penerapan. Dengan pembaruan pengiriman berkelanjutan terbaru AI toolkit untuk IBM® Z dan LinuxONE®, kami menambahkan dukungan untuk PyTorch melalui kontainer baru: IBM Z Accelerated for PyTorch. Ini berisi lingkungan pengembangan dan inferensi untuk PyTorch. Ini akan menggunakan kemampuan akselerasi inferensi baru yang secara transparan menargetkan IBM Integrated AI Accelerator dan memberikan akselerasi signifikan untuk machine learning tradisional dan pembelajaran mendalam, serta model LLM Encoder. Kemampuan ini membantu mempercepat eksperimen dengan POC cepat dan membangun solusi AI di IBM Z dan LinuxONE.

Mixture of Experts | Podcast

Decoding AI: Rangkuman Berita Mingguan

Bergabunglah dengan panel insinyur, peneliti, pemimpin produk, dan sosok kelas dunia lainnya selagi mereka mengupas tuntas tentang AI untuk menghadirkan berita dan insight terbaru seputar AI.

Apa itu PyTorch?

PyTorch adalah kerangka kerja machine learning sumber terbuka yang menyediakan platform fleksibel untuk membangun model pembelajaran mendalam. Dirilis oleh laboratorium Penelitian AI Facebook pada tahun 2016, PyTorch memungkinkan pengembang untuk membuat dan memodifikasi model dengan mudah melalui struktur dinamisnya, yang menawarkan masukan langsung. Kemampuan beradaptasi ini membuatnya sangat menarik bagi peneliti dan pengembang yang ingin bereksperimen dengan ide-ide baru.

Pentingnya PyTorch dalam kerangka kerja AI saat ini

PyTorch telah mendapatkan popularitas yang luas di ekosistem AI. Antarmukanya yang ramah pengguna dan fitur-fiturnya yang kuat telah menjadikannya kerangka kerja pilihan untuk penelitian akademisi dan aplikasi bisnis. PyTorch telah memainkan peran penting dalam memajukan pembelajaran mendalam dengan menyediakan alat yang menyederhanakan proses membangun dan melatih model yang kompleks. Fleksibilitasnya memungkinkan pengembang untuk bereksperimen dengan arsitektur dan teknik yang berbeda, yang mengarah pada solusi yang lebih inovatif. Fitur-fitur seperti diferensiasi otomatis dan manipulasi tensor yang intuitif telah mempermudah penerapan algoritme tingkat lanjut, sehingga menghasilkan kemajuan yang lebih cepat dalam penelitian dan aplikasi.

Salah satu area yang paling signifikan di mana PyTorch telah memberikan dampak adalah dalam pengembangan model bahasa besar (LLM). Model-model ini, yang dapat memahami dan menghasilkan teks seperti manusia, telah merevolusi pemrosesan bahasa alami. Kerangka kerja seperti PyTorch telah memfasilitasi pembuatan dan penyempurnaan model-model ini, memungkinkan peneliti untuk Jelajahi arsitektur baru dan metode pelatihan dengan lebih efisien.

Khususnya, banyak model bahasa mutakhir terbaru, termasuk yang dikembangkan oleh perusahaan teknologi besar, telah diimplementasikan menggunakan PyTorch. Kemampuan kerangka kerja untuk menangani data dalam jumlah besar dan dukungannya untuk pelatihan terdistribusi telah memungkinkan peningkatan model yang dapat memahami konteks dan nuansa bahasa.

Dengan IBM Z Accelerated for PyTorch yang dihadirkan melalui Toolkit AI untuk IBM Z dan LinuxONE, klien kami dapat menggunakan penerapan model PyTorch dengan keandalan, ketersediaan, dan skalabilitas IBM Z, bersama dengan kemampuan akselerasi inferensi dari akselerator on-chip Telum®. Akselerasi inferensi ini transparan bagi klien karena kontainer dirancang untuk memanfaatkan instruksi Neural Networks Processing Assist (NNPA) dari Telum secara transparan dan otomatis.

Klien sekarang dapat menggunakan kemampuan ini untuk contoh penggunaan bernilai tinggi seperti deteksi penipuan, pemrosesan klaim, pemrosesan bahasa alami, deteksi gambar, dan banyak lagi. Model-model ini dapat menerapkan dalam format PyTorch asli atau diekspor ke format seperti ONNX, yang sangat dioptimalkan untuk inferensi.

Apakah model PyTorch diterapkan pada z/OS atau di lingkungan Linux di IBM Z, lokasi bersama model ini dengan data dan aplikasi sangat penting klien kami membantu mereka mendapatkan insight bisnis dalam skala besar sambil Lanjutkan memenuhi bahkan perjanjian tingkat layanan yang paling ketat sekalipun.

AI Toolkit for IBM Z and LinuxONE

AI Toolkit for IBM Z and IBM® LinuxONE dirancang untuk memungkinkan klien kami menerapkan dan mempercepat adopsi kerangka kerja AI sumber terbuka yang populer pada platform z/OS® dan IBM® LinuxONE mereka. AI Toolkit mengikuti proses IBM Secure Engineering yang ketat yang memeriksa dan memindai kerangka kerja sumber terbuka yang melayani AI dan kontainer bersertifikat IBM untuk mengetahui kerentanan keamanan dan memvalidasi kepatuhan terhadap peraturan industri. Klien juga dapat membeli IBM Elite Support for AI Toolkit for IBM Z and LinuxONE.

Pelajari lebih lanjut tentang AI Toolkit for IBM Z and IBM LinuxONE

Pelajari apa yang dapat Anda harapkan dari IBM Elite Support

Solusi terkait
IBM watsonx.ai

Latih, validasi, lakukan tuning, dan terapkan AI generatif, model dasar, dan kemampuan machine learning dengan IBM watsonx.ai, studio perusahaan generasi berikutnya untuk pembangun AI. Bangun aplikasi AI dalam waktu singkat, dengan sedikit data.

Temukan watsonx.ai
Solusi kecerdasan buatan (AI)

Gunakan AI di bisnis Anda dalam perpaduan antara keahlian AI terdepan di industri dari IBM dan portofolio solusi Anda.

Jelajahi solusi AI
Konsultasi dan layanan AI

Temukan kembali alur kerja dan operasi yang penting dengan menambahkan AI untuk memaksimalkan pengalaman, pengambilan keputusan secara real-time, dan nilai bisnis.

Jelajahi layanan AI
Ambil langkah selanjutnya

Dapatkan akses satu atap ke kemampuan yang mencakup siklus hidup pengembangan AI. Hasilkan solusi AI yang kuat dengan antarmuka ramah pengguna, alur kerja yang efisien, serta akses ke API dan SDK berstandar industri.

Jelajahi watsonx.ai Pesan demo langsung