Apa itu penerapan model?

Menerapkan model machine learning adalah fase penting dalam siklus proses AI. Ilmuwan data, pengembang AI, dan peneliti AI biasanya bekerja pada beberapa tahap pertama dari proyek ilmu data dan ML, termasuk pengumpulan dan persiapan data, pengembangan model, pelatihan model, dan evaluasi model. Penerapan model adalah langkah selanjutnya yang membawa penelitian ke dunia nyata. Setelah diterapkan, model AI benar-benar teruji, tidak hanya dalam hal menyimpulkan atau kinerja real-time pada data baru, tetapi juga pada seberapa baik model AI ini memecahkan masalah yang dirancang.

Menurut survei yang dilakukan oleh Gartner, AI generatif merupakan solusi AI yang paling sering diterapkan dalam organisasi, tetapi hanya setengah (sekitar 48%) dari proyek AI yang berhasil mencapai tahap produksi.¹ Nilai sebenarnya baru muncul ketika model machine learning diterapkan. Pengguna dapat berinteraksi dengan model dan mendapatkan manfaat dari insightnya, sementara bisnis dapat menggunakan analisis dan prediksi model untuk pengambilan keputusan dan mendorong efisiensi melalui otomatisasi.

Perusahaan dapat memilih antara pendekatan penerapan yang berbeda tergantung pada aplikasi dan contoh penggunaan yang mereka bayangkan untuk model baru mereka. Berikut adalah beberapa metode penerapan model yang umum:

• Real-time
• Batch
• Streaming
• Edge

Penerapan real-time memerlukan pengintegrasian model yang telah dilatih sebelumnya ke dalam lingkungan produksi yang mampu menangani input dan output data segera. Metode ini memungkinkan model ML online diperbarui terus-menerus dan menghasilkan prediksi dengan cepat saat data baru masuk.

Prediksi instan dapat mengarah pada pengalaman pengguna yang lebih baik dan peningkatan keterlibatan pengguna. Namun, penerapan real-time juga membutuhkan infrastruktur komputasi berkinerja tinggi dengan waktu respons yang cepat dan caching untuk mengelola permintaan latensi rendah yang sinkron.

Penerapan real-time dapat diimplementasikan untuk aplikasi AI seperti mesin rekomendasi yang menyajikan saran dengan cepat atau chatbot yang memberikan dukungan langsung bagi pelanggan.

Penerapan batch melibatkan pemrosesan input data secara offline. Kumpulan data dikelompokkan ke dalam beberapa kelompok, kemudian secara berkala diterapkan pada algoritma machine learning. Dengan demikian, penerapan batch tidak memerlukan infrastruktur yang kuat seperti penerapan real-time.

Metode ini cocok untuk data dalam jumlah besar yang dapat diproses secara asinkron, seperti transaksi keuangan, catatan perawatan kesehatan, atau dokumen hukum. Contoh penggunaan penerapan batch meliputi analisis dokumen, forecasting, pembuatan deskripsi produk, klasifikasi gambar, dan analisis sentimen.

Penerapan streaming memberikan aliran data reguler ke sistem machine learning untuk perhitungan berkelanjutan dan prediksi nyaris seketika. Ini umumnya membutuhkan infrastruktur yang sama dengan penerapan waktu nyata.

Metode ini dapat digunakan untuk deteksi penipuan dan aplikasi Internet of Things (IoT) seperti pemantauan pembangkit listrik dan manajemen lalu lintas yang mengandalkan aliran data sensor.

Penyebaran edge mengacu pada penerapan model AI pada perangkat Edge seperti ponsel pintar dan wearable. Metode ini dapat digunakan untuk aplikasi AI edge, termasuk pemantauan kesehatan, pengalaman mobile yang dipersonalisasi, pemeliharaan prediktif, dan perutean prediktif pada kendaraan otonom.

Operasi machine learning (MLOps) adalah seperangkat praktik yang dirancang untuk membuat jalur perakitan untuk menerapkan, memantau, mengelola, dan meningkatkan model machine learning dalam lingkungan produksi. MLOps dibangun di atas prinsip-prinsip DevOps— yang berfokus pada perampingan pengembangan, pengujian, dan penerapan aplikasi perangkat lunak tradisional — dan menerapkannya pada machine learning.

Penerapan model hanyalah salah satu komponen dari saluran MLOps. Namun, beberapa langkah dalam proses penerapan model tumpang tindih dengan yang ada di MLOPS.

Penerapan model dapat bervariasi sesuai dengan sistem TI organisasi dan prosedur DevOps atau MLOps yang sudah ada. Tetapi prosesnya biasanya mencakup serangkaian langkah-langkah ini:

1. Perencanaan
2. Penyiapan
3. Pengemasan dan penerapan
4. Pengujian
5. Pemantauan
6. Integrasi berkelanjutan dan penerapan berkelanjutan (CI/CD)

Bahkan sebelum penerapan dimulai, perusahaan harus mempersiapkan prosesnya. Berikut adalah bagaimana perusahaan dapat mencapai kesiapan teknis selama tahap perencanaan:

• Pastikan model ML dalam status siap produksi.
• Buat registri model untuk menyimpan, melacak, dan mengelola versi model.
• Pilih metode penerapan.
• Pilih jenis lingkungan penerapan, baik on premises, melalui layanan komputasi cloud, atau di perangkat edge.
• Menilai ketersediaan dan kecukupan sumber daya komputasi seperti CPU, GPU, memori, dan penyimpanan.

Ini juga saatnya untuk mengembangkan jadwal untuk penerapan, menentukan peran dan tanggung jawab mereka yang terlibat, dan membuat pedoman yang jelas, dan alur kerja standar untuk proses penerapan model.

Seperti perencanaan, penyiapan merupakan fase dengan banyak langkah. Inilah yang biasanya terjadi selama tahap ini:

• Setiap dependensi yang diperlukan seperti kerangka kerja dan pustaka diinstal.
• Pengaturan lingkungan produksi dikonfigurasi untuk mengoptimalkan kinerja model.
• Langkah-langkah keamanan, seperti kontrol akses, autentikasi, dan enkripsi, ditetapkan untuk melindungi data dan model.
• Strategi cadangan dan pemulihan bencana saat ini dimodifikasi untuk menggabungkan model ML dan data serta infrastruktur yang menyertainya.

Mendokumentasikan semua prosedur penyiapan dan pengaturan konfigurasi sangat penting untuk mengatasi masalah dan menyelesaikan masalah di masa mendatang.

Model dan dependensinya dikemas ke dalam kontainer (teknik yang disebut kontainerisasi) untuk menjaga konsistensi terlepas dari metode penerapan dan lingkungan yang dipilih. Model yang dikemas kemudian dimuat ke lingkungan produksi.

Pengujian menyeluruh sangat penting untuk memvalidasi bahwa model yang diterapkan berfungsi sebagaimana dimaksud dan mampu menangani kasus tepi dan instans yang salah. Pengujian mencakup verifikasi prediksi model terhadap hasil yang diharapkan menggunakan kumpulan data sampel dan memastikan kinerja model selaras dengan metrik evaluasi utama dan tolok ukur.

Tes integrasi adalah komponen lain yang diperlukan dari rangkaian pengujian. Pengujian ini memeriksa bahwa model ini menyatu secara mulus dengan lingkungan produksi dan berinteraksi dengan lancar dengan sistem lainnya. Selain itu, uji stres dilakukan untuk mengamati bagaimana model menangani beban kerja yang tinggi.

Seperti fase penyiapan, penting untuk mendokumentasikan tes apa yang dilakukan dan hasilnya. Ini membantu menentukan penyempurnaan apa pun yang dapat dilakukan sebelum mengirimkan atau merilis model kepada pengguna.

Melacak kinerja model, terutama penyimpangan model, adalah tugas penting pemantauan model. Insight yang diperoleh dari pemantauan berkelanjutan dimasukkan ke dalam pelatihan ulang model berulang, di mana model diperbarui dengan algoritma yang ditingkatkan atau data pelatihan baru yang berisi sampel yang lebih baru dan relevan untuk menyempurnakan kinerjanya.

Metrik penting seperti tingkat kesalahan, latensi, pemanfaatan sumber daya, dan throughput juga harus dicatat menggunakan alat pemantauan. Pemantauan model dilakukan segera setelah penerapan, tetapi biasanya berada di bawah lingkup MLOps dalam jangka panjang.

Praktik gabungan dari integrasi berkelanjutan dan penerapan berkelanjutan (dikenal sebagai CI/CD) dapat mengotomatiskan dan merampingkan penerapan dan pengujian model ML. Menerapkan saluran CI/CD membantu memastikan pembaruan dan penyempurnaan model dapat diterapkan dengan mudah dan cepat, menghasilkan penerapan yang lebih efisien dan siklus pengiriman yang dipercepat.

Banyak platform dan alat tersedia untuk membantu bisnis mempercepat alur kerja penerapan model. Sebelum mengadopsi teknologi ini, organisasi harus mengevaluasi kompatibilitas dengan tumpukan teknologi dan ekosistem TI yang ada.

Sistem kontrol versi dan registri model merekam versi model dan sumber data dan metadata terkait. Pilihan termasuk Data Version Control (DVC), Git, GitLab, dan Weights & Biases.

Docker adalah platform sumber terbuka yang banyak digunakan untuk kontainerisasi. Ini kompatibel dengan penyedia layanan cloud seperti Amazon Web Services (AWS), Google Cloud, IBM Cloud®, dan Microsoft Azure. Alternatif termasuk antarmuka baris perintah Buildah (CLI), Podman dan Rancher Desktop.

Kubernetes adalah platform orkestrasi kontainer sumber terbuka yang terkenal untuk menjadwalkan dan mengotomatiskan penerapan aplikasi dalam kontainer. Kubernetes dan Docker biasanya digunakan bersama-sama. Alat orkestrasi serupa termasuk Red Hat OpenShift, Amazon Elastic Service kontainer (ECS), dan solusi Kubernetes terkelola seperti Azure Kubernetes Service (AKS) dan IBM Cloud Kubernetes Service.

Ada beberapa platform untuk menerapkan model. Sebagai contoh, BentoML adalah platform berbasis Python untuk menyajikan model ML sebagai titik akhir antarmuka pemrograman aplikasi (API) dan bahkan model bahasa besar (LLM ) sebagai titik akhir API. Kubeflow memfasilitasi penerapan model di Kubernetes, sedangkan TensorFlow Serving adalah sistem penyajian sumber terbuka untuk model TensorFlow.

Sementara itu, platform lain tidak hanya membantu penerapan model tetapi juga mengelola alur kerja machine learning. Ini termasuk Amazon SageMaker, Azure Machine Learning, Google Vertex AI Platform, IBM Watson Studio dan MLFlow.

Alat CI/CD mengotomatiskan penerapan dan pengujian model. Alat umum termasuk Continuous Machine Learning (CML), GitHub Actions, GitLab CI/CD, dan Jenkins.

Menerapkan model pembelajaran mendalam memerlukan banyak bagian yang bergerak, yang dapat membuatnya menjadi upaya yang rumit. Berikut adalah beberapa tantangan yang terkait dengan penerapan model:

• Biaya
• Kompleksitas
• Integrasi
• Skalabilitas

Penerapan model bisa mahal, dengan biaya infrastruktur dan pemeliharaan menghabiskan sebagian besar anggaran. Perusahaan harus siap untuk berinvestasi dalam infrastruktur yang kuat dan Sumber daya untuk penerapan yang efisien.

Mengotomatiskan penerapan model dapat membantu mengurangi kompleksitas, tetapi tim harus tetap memahami dasar-dasar machine learning dan terbiasa dengan teknologi baru untuk penerapan. Menjembatani kesenjangan ini membutuhkan pelatihan dan peningkatan keterampilan. 

Mengintegrasikan model AI ke dalam sistem TI saat ini dapat menjadi tantangan. Melakukan penilaian terperinci dapat membantu perusahaan menentukan apakah ada API, middleware, atau peningkatan yang diperlukan untuk koneksi dan komunikasi yang lancar antara model dan sistem lain.

Model penskalaan sesuai permintaan tanpa menurunkan kinerja bisa jadi rumit. Menerapkan mekanisme Auto-Scaling dan penyeimbangan beban dapat membantu mendukung banyak permintaan dan beban kerja yang bervariasi.