Model dasar di edge

Model dasar (FM) menandai awal era baru dalam machine learning (ML) dan kecerdasan buatan (AI), yang mengarah pada pengembangan AI yang lebih cepat yang dapat disesuaikan dengan berbagai tugas hilir dan disesuaikan untuk berbagai aplikasi. 

Dengan makin pentingnya memproses data di mana pekerjaan sedang dilakukan, melayani model AI di edge perusahaan memungkinkan prediksi nyaris seketika, sambil mematuhi kedaulatan data dan persyaratan privasi. Dengan menggabungkan kemampuan IBM watsonx untuk FM dengan edge computing, perusahaan dapat menjalankan beban kerja AI untuk fine-tuning FM dan inferensi di operational edge. Hal ini memungkinkan perusahaan untuk meningkatkan skala AI di edge, mengurangi waktu dan biaya untuk menerapkan dengan waktu respons yang lebih cepat.

Pastikan Anda membaca semua artikel dalam seri postingan blog tentang komputasi edge ini:

• Bagian 1: “Cloud di edge”
• Bagian 2: “Merancang di edge”
• Bagian 3: “DevOps di edge”
• Bagian 4: “Keamanan di edge”
• Bagian 5: “5G di edge”
• Bagian 6: "Klaster di edge"
• Bagian 7: "Otomatisasi di edge"
• Bagian 8: "Mengiris jaringan di edge"
• Bagian 9: “Data di edge”
• Bagian 10: "Keputusan arsitektur di edge"
• Bagian 11: "GitOps di edge"
• Bagian 12: "Layanan penyimpanan di edge"
• Bagian 13: “Layanan cloud di edge”
• Bagian 14: "Kedaulatan data di edge"
• Bagian 15: "Produk yang terhubung di edge"
• Bagian 16: "Model dasar di edge"

Model dasar (FM), yang dilatih pada serangkaian data tanpa label dalam skala besar, mendorong aplikasi kecerdasan buatan (AI) canggih. Mereka dapat disesuaikan dengan berbagai tugas hilir dan disesuaikan untuk berbagai aplikasi. Model AI modern, yang menjalankan tugas-tugas tertentu dalam satu domain, memberi jalan kepada FM karena mereka belajar secara lebih umum dan bekerja di seluruh domain dan masalah. Seperti namanya, FM dapat menjadi dasar bagi banyak aplikasi model AI.

FM mengatasi dua tantangan utama yang telah mencegah perusahaan meningkatkan adopsi AI. Pertama, perusahaan menghasilkan sejumlah besar data tanpa label, hanya sebagian kecil yang diberi label untuk pelatihan model AI. Kedua, tugas pelabelan dan anotasi ini sangat padat manusia, sering kali membutuhkan beberapa ratus jam waktu pakar materi (SME). Hal ini membuatnya mahal untuk menskalakan di seluruh contoh penggunaan karena akan membutuhkan sepasukan SME dan pakar data. Dengan menyerap sejumlah besar data tanpa label dan menggunakan teknik yang diawasi sendiri untuk pelatihan model, FM telah menghilangkan hambatan ini dan membuka jalan untuk adopsi AI skala luas di seluruh perusahaan. Jumlah besar data yang ada di setiap bisnis ini sedang menunggu untuk dilepaskan untuk mendorong insight.

Model bahasa besar (LLM) adalah kelas model dasar (FM) yang terdiri dari lapisan neural networks yang telah dilatih pada sejumlah besar data yang tidak berlabel. Mereka menggunakan algoritma pembelajaran yang diawasi sendiri untuk melakukan berbagai tugas pemrosesan bahasa alami (NLP ) dengan cara yang mirip dengan cara manusia menggunakan bahasa (lihat Gambar 1).

Ada beberapa langkah untuk membangun dan menerapkan model dasar (FM). Ini termasuk penyerapan data, pemilihan data, pra-pemrosesan data, pra-pelatihan FM, penyetelan model ke satu atau lebih tugas hilir, penyajian inferensi, dan tata kelola dan manajemen siklus hidup model data dan AI—yang semuanya dapat digambarkan sebagai FMOP.

Untuk membantu semua ini, IBM menawarkan kepada perusahaan alat dan kemampuan yang diperlukan untuk memanfaatkan kekuatan FM ini melalui portofolio produk AI IBM watsonx yang dirancang untuk melipatgandakan dampak AI di seluruh perusahaan. IBM watsonx terdiri dari yang berikut:

1. IBM watsonx.ai menyatukan kemampuan AI generatif baru—yang didukung oleh FM dan machine learning (ML) tradisional—ke dalam sebuah studio yang mumpuni yang mencakup seluruh siklus hidup AI.
2. IBM watsonx.data adalah penyimpanan data yang sesuai tujuan yang dibangun di atas arsitektur data lakehouse terbuka untuk menskalakan beban kerja AI, untuk semua data Anda, di mana pun berada.
3. IBM watsonx.governance adalah toolkit tata kelola siklus hidup AI otomatis ujung ke ujung yang dibangun untuk memungkinkan alur kerja AI yang bertanggung jawab, transparan, dan dapat dijelaskan.

Vektor kunci lainnya adalah meningkatnya pentingnya komputasi di edge perusahaan, seperti lokasi industri, lantai manufaktur, toko ritel, situs tepi telco, dll. Lebih khusus lagi, AI di edge perusahaan memungkinkan pemrosesan data di mana pekerjaan sedang dilakukan untuk analisis nyaris seketika. Edge perusahaan adalah tempat sejumlah besar data perusahaan dihasilkan dan di mana AI dapat memberikan insight bisnis yang berharga, tepat waktu, dan dapat ditindaklanjuti.

Menyajikan model AI di edge memungkinkan prediksi nyaris seketika sambil mematuhi kedaulatan data dan persyaratan privasi. Ini secara signifikan mengurangi latensi yang sering dikaitkan dengan akuisisi, transmisi, transformasi, dan pemrosesan data inspeksi. Bekerja di edge memungkinkan kami untuk melindungi data perusahaan yang sensitif dan mengurangi biaya transfer data dengan waktu respons yang lebih cepat.

Menskalakan penerapan AI di edge, bagaimanapun, bukanlah tugas yang mudah di tengah tantangan terkait data (heterogenitas, volume, dan peraturan) dan sumber daya terbatas (komputasi, konektivitas jaringan, penyimpanan, dan bahkan keterampilan TI). Ini secara luas dapat dijelaskan dalam dua kategori:

• Waktu/biaya untuk menerapkan: Setiap penerapan terdiri dari beberapa lapisan perangkat keras dan perangkat lunak yang perlu diinstal, dikonfigurasi, dan diuji sebelum penerapan. Saat ini, seorang profesional layanan dapat memakan waktu hingga satu atau dua minggu untuk pemasangan di setiap lokasi, sangat membatasi seberapa cepat dan hemat biaya perusahaan dapat meningkatkan penerapan di seluruh organisasi mereka.
• Manajemen Hari ke-2: Jumlah besar penerapan yang diterapkan dan lokasi geografis setiap penerapan sering kali membuat dukungan TI lokal di setiap lokasi sangat mahal untuk memantau, memelihara, dan memperbarui penerapan ini.

IBM mengembangkan arsitektur edge yang mengatasi tantangan ini dengan membawa model perangkat keras/perangkat lunak (HW/SW) terintegrasi ke penerapan AI edge. Ini terdiri dari beberapa paradigma kunci yang membantu skalabilitas penerapan AI:

• Penyediaan tanpa sentuhan berbasis kebijakan dari tumpukan perangkat lunak lengkap.
• Pemantauan berkelanjutan terhadap kesehatan sistem edge
• Kemampuan untuk mengelola dan mendorong pembaruan perangkat lunak/keamanan/konfigurasi ke berbagai lokasi edge—semuanya dari lokasi berbasis cloud pusat untuk manajemen hari ke-2.

Arsitektur hub dan spoke terdistribusi dapat digunakan untuk meningkatkan skala penerapan AI perusahaan di edge, di mana cloud pusat atau pusat data perusahaan bertindak sebagai hub dan alat edge-in-a-box bertindak sebagai bilah di lokasi edge. Model hub dan bilah ini, yang meluas di hybrid cloud dan lingkungan edge, paling menggambarkan keseimbangan yang diperlukan untuk memanfaatkan sumber daya yang dibutuhkan untuk operasi FM secara optimal (lihat Gambar 2).

Pra-pelatihan model bahasa besar (LLMs) dasar dan jenis model dasar lainnya menggunakan teknik pengawasan mandiri pada kumpulan data yang besar dan tidak terlabel sering kali memerlukan sumber daya komputasi (GPU) yang signifikan dan paling baik dilakukan di pusat komputasi. Sumber daya komputasi yang hampir tidak terbatas dan tumpukan data besar yang sering disimpan di cloud memungkinkan pra-pelatihan model parameter besar dan peningkatan berkelanjutan dalam keakuratan model dasar ini.

Di sisi lain, penyetelan FM dasar ini untuk tugas hilir—yang hanya memerlukan beberapa puluh atau ratusan sampel data berlabel dan penyajian inferensi—dapat dilakukan hanya dengan beberapa GPU di edge perusahaan. Hal ini memungkinkan data berlabel sensitif (atau data mahkota perusahaan) untuk tetap aman dalam lingkungan operasional perusahaan sambil juga mengurangi biaya transfer data.

Menggunakan pendekatan full-stack untuk menerapkan aplikasi ke edge, ilmuwan data dapat melakukan penyempurnaan, pengujian, dan penerapan model. Ini dapat dicapai dalam satu lingkungan sambil mengecilkan siklus hidup pengembangan untuk melayani model AI baru kepada pengguna akhir. Platform seperti Red Hat OpenShift Data Science (RHODS) dan Red Hat OpenShift AI yang baru-baru ini diumumkan menyediakan alat untuk mengembangkan dan menerapkan model-model AI yang siap produksi dengan cepat di lingkungan cloud terdistribusi dan edge.

Akhirnya, melayani model AI yang disetel dengan baik di edge perusahaan secara signifikan mengurangi latensi yang sering dikaitkan dengan akuisisi, transmisi, transformasi, dan pemrosesan data. Memisahkan pra-pelatihan di cloud dari penyempurnaan dan inferensi di edge menurunkan biaya operasional secara keseluruhan dengan mengurangi waktu yang diperlukan dan biaya pergerakan data yang terkait dengan tugas inferensi apa pun (lihat Gambar 3).

Untuk mendemonstrasikan proposisi nilai ini secara menyeluruh, model dasar berbasis vision-transformer yang patut dicontoh untuk infrastruktur sipil (yang telah dilatih sebelumnya dengan menggunakan set data publik dan khusus industri tertentu) telah disesuaikan dan digunakan untuk inferensi pada klaster edge tiga simpul (spoke). Tumpukan perangkat lunak termasuk Red Hat OpenShift Container Platform dan Red Hat OpenShift Data Science. Klaster edge ini juga terhubung ke instance hub Red Hat Advanced Cluster Management for Kubernetes (RHACM) yang berjalan di cloud.

Penyediaan tanpa sentuhan berbasis kebijakan dilakukan dengan Red Hat Advanced Cluster Manajemen for Kubernetes (RHACM) melalui kebijakan dan tag penempatan, yang mengikat klaster edge tertentu ke serangkaian komponen perangkat lunak dan konfigurasi. Komponen perangkat lunak ini—meluas di seluruh tumpukan penuh dan mencakup komputasi, penyimpanan, jaringan, dan beban kerja AI—diinstal menggunakan berbagai operator OpenShift, penyediaan layanan aplikasi yang diperlukan, dan S3 Bucket (penyimpanan).

Model dasar pra-terlatih (FM) untuk infrastruktur sipil disetel melalui Jupyter Notebook dalam Red Hat OpenShift Data Science (RHODS) menggunakan data berlabel untuk mengklasifikasikan enam jenis cacat yang ditemukan pada jembatan beton. Penyajian inferensi FM yang disetel dengan baik ini juga ditunjukkan menggunakan server Triton. Selanjutnya, pemantauan kesehatan sistem edge ini dimungkinkan dengan menggabungkan metrik pengamatan dari komponen perangkat keras dan perangkat lunak melalui Prometheus ke dasbor RHACM pusat di cloud. Perusahaan infrastruktur sipil dapat menerapkan FM ini di lokasi edge mereka dan menggunakan citra drone untuk deteksi cacat nyaris seketika — mempercepat waktu untuk insight dan mengurangi biaya pemindahan volume besar data definisi tinggi ke dan dari Cloud.

Menggabungkan kemampuan IBM watsonx untuk model dasar (FM) dengan alat edge-in-a-box memungkinkan perusahaan menjalankan beban kerja AI untuk penyempurnaan dan inferensi FM di tepi operasional. Alat ini dapat menangani contoh penggunaan yang kompleks di luar kotak, dan membangun kerangka kerja hub-and-spoke untuk manajemen terpusat, otomatisasi, dan layanan mandiri. Penerapan Edge FM dapat dikurangi dari minggu ke jam dengan keberhasilan berulang, ketahanan, dan keamanan yang lebih tinggi.

Pastikan Anda membaca semua artikel dalam seri postingan blog tentang komputasi edge ini:

• Bagian 1: "Cloud di edge"
• Bagian 2: “Merancang di edge”
• Bagian 3: "DevOps di edge"
• Bagian 4: "Keamanan di edge"
• Bagian 5: “5G di edge”
• Bagian 6: “Klaster di edge”
• Bagian 7: “Otomatisasi di edge”
• Bagian 8: “Mengiris jaringan di edge”
• Bagian 9: "Data di edge"
• Bagian 10: “Keputusan arsitektur di edge”
• Bagian 11: "GitOps di edge"
• Bagian 12: “Layanan penyimpanan di edge”
• Bagian 13: “Layanan cloud di edge”
• Bagian 14: “Kedaulatan data di edge”
• Bagian 15: “Produk yang terhubung di edge”
• Bagian 16: “Model dasar di edge”