Apa yang dimaksud dengan Amazon SageMaker?

Dibuat oleh Amazon Web Services (AWS), SageMaker mengotomatiskan banyak tugas padat karya pada setiap tahap penerapan ML, sehingga mengurangi kompleksitas alur kerja dan mempercepat siklus proses machine learning secara keseluruhan. Hal ini dapat menghasilkan iterasi yang lebih cepat, akurasi yang lebih baik, dan pada akhirnya, nilai bisnis yang lebih besar dari inisiatif machine learning.

SageMaker menawarkan rangkaian alat ML. Misalnya, Autopilot memungkinkan model kecerdasan buatan (AI) dilatih menggunakan kumpulan data tertentu serta memberi peringkat setiap algoritme berdasarkan akurasi, sementara Data Wrangler mempercepat persiapan data, sehingga menjadikan tahap awal pengembangan model ML lebih efisien.

SageMaker juga mencakup beberapa antarmuka pemrograman aplikasi (API). API tersebut memungkinkan ilmuwan data dan pengembang membuat solusi ML yang siap produksi tanpa manajemen infrastruktur yang rumit.

Untuk memahami dampak Amazon SageMaker, penting untuk memahami cara kerja machine learning. Proses machine learning dapat dibagi menjadi tiga bagian: proses keputusan, error function, dan pengoptimalan model.

• Proses keputusan: Algoritme machine learning terutama bertujuan membuat prediksi atau klasifikasi. Menggunakan data input, baik berlabel maupun tidak berlabel, algoritme machine learning dapat menghasilkan perkiraan dan mengidentifikasi pola dalam data.

• Error function: Fungsi ini mengevaluasi akurasi prediksi model. Melalui perbandingan hasil model dengan contoh yang diketahui, error function membantu menilai kinerja model dan mengidentifikasi area yang perlu ditingkatkan.

• Proses pengoptimalan model: Untuk meningkatkan akurasi model, algoritme machine learning berulang kali menyesuaikan weight-nya berdasarkan perbedaan antara contoh yang diketahui dan perkiraan model. Siklus “evaluasi dan pengoptimalan” ini berlanjut hingga model mencapai threshold akurasi yang memuaskan. 

Amazon SageMaker dapat membantu menyederhanakan proses tersebut, sehingga ilmuwan data dapat menerapkan model machine learning secara efisien.

AWS SageMaker menyederhanakan siklus proses ML melalui pendekatan terstruktur yang mencakup tiga fase penting: pembuatan (build), pelatihan, dan penerapan. Dalam setiap fase, pengembang dapat menggunakan instance, yaitu lingkungan yang terisolasi atau server yang mengelola database dan sumber daya komputasi, menetapkan parameter konfigurasi, serta menyediakan infrastruktur TI yang diperlukan.

Pengembang dapat memulai dengan tahap pembuatan, yang penting untuk melatih model ML. Proses ini mencakup pengambilan, pembersihan, dan prapemrosesan kumpulan data nyata. Terkadang, pengembang dapat menggunakan Amazon SageMaker Ground Truth untuk menghasilkan data gambar sintetis berlabel yang melengkapi atau menggantikan data nyata tersebut. Setelah siap, data dapat diunggah ke Amazon Simple Storage Service (S3) agar dapat diakses oleh berbagai layanan AWS.

Notebook instance Amazon SageMaker menyediakan lingkungan yang tangguh bagi pengembang untuk menyiapkan dan memproses data bagi pelatihan. Melalui akses data yang disimpan di S3, SageMaker dapat mempercepat proses pengembangan model dengan menggunakan instance ML yang terkelola sepenuhnya untuk melatih model, menjalankan inferensi, dan memproses kumpulan data berskala besar pada Amazon Elastic Compute Cloud (EC2).

SageMaker mendukung pengodean kolaboratif melalui aplikasi Jupyter Notebook sumber terbuka. Ilmuwan data dapat mengimpor alatnya sendiri atau menggunakan notebook instance bawaan yang dilengkapi driver penting dan library kode yang telah ditulis sebelumnya bagi framework deep learning yang populer. Library ini dapat terdiri atas operasi matematika, lapisan neural network, dan algoritme optimization.

SageMaker juga menghadirkan fleksibilitas bagi pengembang melalui dukungan terhadap algoritme khusus yang dikemas sebagai Docker container image. Hal ini memungkinkan integrasi dengan Amazon S3, sehingga tim dapat meluncurkan proyek machine learning-nya dengan mudah. Pengembang dapat menyediakan algoritme pelatihan sendiri atau memilih dari serangkaian algoritme bawaan melalui konsol SageMaker. Tutorial dan referensi tersedia untuk memandu pengguna melalui proses tersebut.

Pada fase pelatihan, pengembang menggunakan algoritme atau foundation model terlatih untuk menyempurnakan model ML dengan kumpulan data tertentu. Pengembang dapat menentukan lokasi data pada bucket Amazon S3 dan memilih jenis instance yang sesuai untuk mengoptimalkan proses pelatihan.

Alat orkestrasi seperti SageMaker Pipelines menyederhanakan alur kerja melalui otomatisasi proses pembuatan, pelatihan, dan penerapan model machine learning secara keseluruhan. Hal ini dapat membantu menghemat waktu dan memastikan akurasi pada seluruh alur kerja. Selain itu, Amazon SageMaker JumpStart memungkinkan pengembang menggunakan model bawaan melalui antarmuka no-code, sehingga kolaborasi dapat dilakukan tanpa memerlukan keahlian teknis yang mendalam.

Selama pelatihan model, pengembang dapat menggunakan hyperparameter tuning SageMaker untuk mengoptimalkan model bahasa besar (LLM) guna meningkatkan kinerja pada berbagai aplikasi. Debugger memantau metrik dari neural networks dan menghadirkan insight real-time bagi pengembang mengenai kinerja model dan penggunaan sumber daya. Kemampuan ini dapat membantu menyederhanakan proses debugging dengan memungkinkan ilmuwan data mengidentifikasi masalah, menganalisis tren, dan mengatur peringatan otomatis secara cepat bagi manajemen proaktif. SageMaker juga menyediakan kemampuan Edge Manager yang memperluas pemantauan dan manajemen ML ke perangkat edge.

Setelah pelatihan selesai, SageMaker secara mandiri mengelola dan menskalakan infrastruktur cloud yang mendasarinya untuk membantu memastikan penerapan berjalan lancar. Proses ini mengandalkan berbagai jenis instance (misalnya, unit pemrosesan grafis atau GPU, yang dioptimalkan bagi beban kerja ML). Penerapan juga dilakukan pada beberapa Availability Zone, yaitu klaster pusat data yang terisolasi tetapi cukup dekat sehingga memiliki latensi rendah, untuk meningkatkan keandalan. Health check dan endpoint HTTPS yang aman semakin meningkatkan konektivitas aplikasi.

Setelah diterapkan, pengembang dapat menggunakan metrik Amazon CloudWatch untuk memantau kinerja produksi, memperoleh insight secara real-time, dan mengatur peringatan bagi setiap penyimpangan. Dengan kemampuan pemantauan yang komprehensif, SageMaker dapat mendukung tata kelola yang efektif sepanjang siklus proses ML. Akibatnya, organisasi dapat mempertahankan kontrol dan kepatuhan sekaligus memanfaatkan kekuatan machine learning.

Amazon SageMaker menawarkan berbagai manfaat yang meningkatkan pengalaman machine learning, termasuk:

• Lingkungan pengembangan terintegrasi

• Pelatihan dan pengoptimalan model

• Persiapan dan pelabelan data

• Inferensi real-time dan batch

• Solusi serverless dan hemat biaya

• Pemantauan dan debugging

• Model harga yang fleksibel

Amazon SageMaker Studio berperan sebagai IDE multifungsi bagi ilmuwan data, yang menyediakan antarmuka intuitif untuk mengelola alur kerja, mengembangkan model, dan memvisualisasikan metrik. Layanan ini mendukung Jupyter Notebook, sehingga pengguna dapat menulis dan menjalankan kode Python secara efisien.

Pengguna dapat melatih model ML dengan algoritme bawaan atau algoritme khusus berdasarkan framework pelatihan ML yang populer seperti TensorFlow, PyTorch, dan MXNet. Layanan ini menawarkan hyperparameter tuning untuk mengoptimalkan konfigurasi model demi kinerja terbaik. SageMaker juga memungkinkan penyempurnaan model terlatih, sehingga ilmuwan data dapat menyesuaikan model tersebut dengan kumpulan data dan tugas tertentu.

Kumpulan data berkualitas sangat penting bagi pembuatan model machine learning yang efektif. SageMaker Ground Truth menyediakan layanan pelabelan data yang memfasilitasi pembuatan kumpulan data pelatihan berkualitas tinggi melalui pelabelan otomatis dan proses tinjauan manusia. Selain itu, Amazon SageMaker menyertakan feature store bawaan yang memungkinkan tim mengelola, membagikan, dan menemukan fitur — yaitu input yang digunakan bagi pelatihan dan inferensi — pada berbagai model machine learning. Kemampuan ini dapat membantu menyederhanakan proses persiapan data dan meningkatkan kolaborasi.

Setelah menerapkan model machine learning, SageMaker dapat digunakan bagi inferensi real-time dan batch. Pengguna dapat membuat endpoint, yaitu URL khusus yang berfungsi sebagai titik akses bagi aplikasi, guna membuat prediksi real-time dan mengelola beban kerja secara efisien. Kemampuan ini sangat berguna bagi aplikasi yang memerlukan respons instan, seperti pada skenario AI generatif.

Dengan fitur seperti auto-scaling dan integrasi dengan AWS Lambda, SageMaker menyediakan kemampuan serverless yang membantu mengelola sumber daya komputasi secara dinamis berdasarkan permintaan. Hasilnya adalah biaya dan skalabilitas yang teroptimasi.

SageMaker menawarkan alat seperti Amazon CloudWatch untuk memantau kinerja model ML secara real-time, serta menggunakan layanan AWS lainnya untuk menghadirkan pandangan holistik mengenai kesehatan aplikasi. Fitur debugging memungkinkan ilmuwan data melacak masalah pada pelatihan dan penerapan model, sehingga membantu memastikan siklus machine learning yang kuat.

AWS menawarkan dua model harga utama, yaitu On-Demand (tanpa komitmen, bayar sesuai penggunaan) dan Savings Plans (komitmen satu atau tiga tahun dengan tarif diskon), dengan biaya yang bervariasi berdasarkan jenis instance, penyimpanan data, dan layanan yang digunakan. Selain itu, free tier Amazon SageMaker memungkinkan pengguna baru menjelajahi platform tanpa biaya, dengan menyediakan akses terbatas ke beberapa fitur dan sumber daya.

Fleksibilitas Amazon SageMaker menjadikannya cocok bagi berbagai contoh penggunaan pada beragam industri. Contohnya mencakup:

• Layanan kesehatan: Model machine learning dapat menganalisis data pasien untuk memprediksi hasil, mempersonalisasi perawatan, dan meningkatkan efisiensi operasional.

• Keuangan: Lembaga keuangan dapat menggunakan Amazon SageMaker untuk mengembangkan model deteksi penipuan, penilaian kredit, dan penilaian risiko.

• Retail: Perusahaan menggunakan analisis prediktif untuk meningkatkan manajemen inventaris, mempersonalisasi pengalaman pelanggan, dan mengoptimalkan strategi penetapan harga.

Alat seperti Amazon SageMaker dapat membantu organisasi menerapkan model machine learning secara efektif, sehingga mendorong inovasi dan nilai bisnis sekaligus mempertahankan kontrol AI dan kepatuhan regulasi. Pengguna dapat memanfaatkan beberapa alat tata kelola, termasuk:

• Manajemen identitas dan akses (identity and access management, IAM): Fitur ini memungkinkan pengguna mengelola izin dan peran, sehingga membantu memastikan hanya pengguna berwenang yang dapat mengakses data sensitif dan endpoint model.

• Version control: Pengguna dapat melacak versi model dan konfigurasi untuk mempertahankan audit trail yang jelas, yang penting bagi kepatuhan dan tata kelola.

• Model registry: Model registry berperan sebagai repositori terpusat untuk mengelola artefak dan metadata model, sehingga membantu memastikan transparansi dan akuntabilitas selama siklus proses pengembangan.

SageMaker Python SDK meningkatkan kemampuan tata kelola Amazon SageMaker melalui integrasi seamless dengan alur kerja dan layanan yang ada. Dengan demikian, organisasi dapat mengotomatiskan pemeriksaan kepatuhan dan mempertahankan pengawasan pada seluruh proyek ML secara lebih efektif.

Amazon SageMaker juga dapat diintegrasikan ke dalam strategi data dan AI yang lebih luas. IBM dan AWS telah membentuk kemitraan strategis untuk meningkatkan kemampuan organisasi yang memanfaatkan layanan berbasis cloud. Penggunaan foundation model IBM bersama Amazon SageMaker memungkinkan tim memanfaatkan analisis canggih, meningkatkan manajemen data, dan menyederhanakan alur kerja. Melalui penerapan model pada Amazon VPC, organisasi dapat membantu memastikan akses yang aman dan terkontrol ke sumber dayanya, yang pada akhirnya mendukung upaya tata kelola.

Dengan kemampuan untuk bekerja pada berbagai platform seperti Windows, organisasi dapat menggabungkan alat IBM® dan AWS sehingga dapat dengan mudah mengimplementasikan solusi AI dan ML yang disesuaikan dengan kebutuhannya. Melalui penggunaan solusi IBM® watsonx.governance bersama fitur canggih SageMaker, bisnis dapat mempercepat inisiatif AI, terutama pada aplikasi AI generatif dan MLOps.