Apa itu tumpukan AI?

Seperti tumpukan teknologi (atau tumpukan teknologi) dalam pengembangan perangkat lunak, tumpukan AI menyusun elemen-elemen ke dalam lapisan-lapisan yang bekerja bersama secara sinergis untuk mewujudkan implementasi AI yang efisien dan dapat diskalakan. Pendekatan berlapis ini memecah proses kompleks pembuatan solusi AI menjadi komponen-komponen yang lebih mudah dikelola, sehingga tim dapat fokus pada setiap aspek tanpa kehilangan gambaran keseluruhan.

Setiap lapisan dalam tumpukan mewakili fungsi tertentu, mulai dari penanganan data hingga penerapan, sehingga lebih mudah untuk mengidentifikasi ketergantungan, mengalokasikan sumber daya, dan mengatasi tantangan secara sistematis. Tampilan modular ini meningkatkan kejelasan, terutama saat bekerja dalam tim multidisiplin, karena menciptakan pemahaman bersama tentang bagaimana berbagai komponen berinteraksi.

Aplikasi AI yang berbeda akan menyentuh beberapa lapisan dalam tumpukan AI. Sebagai contoh, Red Hat® OpenShift® adalah platform Kubernetes perusahaan yang dirancang untuk mengelola aplikasi terkontainerisasi dalam skala besar yang digunakan di hampir semua lapisan tumpukan AI.

Berbagai pelaku di bidang AI mengatur tumpukan AI secara berbeda, mengatur komponen dalam urutan yang berbeda atau menekankan komponen atau fungsi yang berbeda. Hal ini karena pendekatan terhadap AI dapat bervariasi, baik di tingkat contoh penggunaan maupun di tingkat organisasi. Selain itu, lingkungan pengembangan AI terus berkembang.

Selanjutnya, adalah versi umum dari tumpukan AI perusahaan. Anda dapat mempelajari lebih lanjut tentang pendekatan IBM terhadap kecerdasan buatan generatif (gen AI) dan model bahasa besar (LLMs) (pikirkan OpenAI’s GPT) oleh meninjau tumpukan teknologi AI generatif IBM.

Lapisan infrastruktur AI merupakan fondasi di mana sistem AI dibangun dan diterapkan. Lapisan ini menyediakan daya komputasi, penyimpanan fisik, dan alat yang diperlukan untuk mengembangkan, melatih, dan mengoperasikan model AI secara efektif. Lapisan ini mendukung seluruh siklus proses AI, mulai dari eksperimen awal hingga penerapan skala besar, dan terdiri dari beberapa komponen utama yang berbeda.

Perangkat keras fisik diperlukan untuk memproses data. Chip dapat dioptimalkan untuk beban kerja AI: unit pemrosesan berkinerja tinggi yang disebut akselerator AI—GPU, CPU, dan TPU — secara drastis mengurangi waktu pelatihan untuk model yang kompleks. Selain itu, komputasi terdistribusi memungkinkan pengembangan sistem mutakhir dan intensif sumber daya seperti model bahasa besar.

Platform layanan cloud (misalnya: AWS, Microsoft Azure, Google Cloud, dan IBM Cloud®) memberikan fleksibilitas untuk menskalakan sumber daya up atau down, sehingga dapat diakses oleh bisnis dengan berbagai skala, sementara komputasi edge memberdayakan pengambilan keputusan secara real-time di lingkungan dengan bandwidth yang rendah. Lapisan komputasi terintegrasi erat dengan alat orkestrasi, mengoptimalkan alokasi sumber daya dan membantu memastikan efisiensi biaya.

Sistem penyimpanan fisik harus menangani sejumlah besar data yang digunakan sepanjang siklus hidup AI, mulai dari kumpulan data mentah hingga bobot model dan log. Solusi penyimpanan throughput tinggi memungkinkan akses data yang cepat, yang penting untuk tugas-tugas intensif komputasi seperti melatih model pembelajaran mendalam.

Skalabilitas adalah fitur utama lainnya, dengan sistem file terdistribusi seperti HDFS atau sistem penyimpanan objek (Amazon S3) mendukung permintaan data yang terus bertumbuh. Sistem ini sering menggunakan strategi penyimpanan berjenjang, menjaga data yang sering diakses pada media berkecepatan tinggi sambil mengarsipkan data yang kurang digunakan pada solusi yang lebih lambat dan lebih hemat biaya.

Mekanisme pencadangan dan pemulihan yang kuat semakin mendorong ketahanan data, menggabungkan opsi penyimpanan lokal dan penyimpanan cloud untuk melindungi dari kegagalan.

AI sering melibatkan pemindahan banyak data dari satu tempat ke tempat lain dengan latensi minimal. Jaringan melengkapi penyimpanan dengan menghubungkan berbagai komponen infrastruktur, memungkinkan transfer data dan kolaborasi yang lancar.

Ini adalah bagian dasar lain dari tumpukan AI, yang berfokus pada pengumpulan, penyimpanan, dan penyiapan data untuk model AI. Ini termasuk basis data, danau data, dan gudang data. Ilmuwan data menggunakan berbagai alat untuk konsumsi data, pembersihan, dan prapemrosesan, yang juga merupakan bagian dari lapisan manajemen data ini.

Data berkualitas tinggi yang dipersiapkan dengan baik memungkinkan model belajar secara efektif, menghasilkan prediksi dan pengambilan keputusan yang lebih akurat. Sebaliknya, data yang buruk atau bias dapat merusak keakuratan dan keadilan model AI, sehingga mengurangi kinerja yang optimal. Dengan berinvestasi dalam pengelolaan data yang kuat, organisasi membangun dasar yang kokoh untuk implementasi AI yang sukses.

Data dapat dicerna dari berbagai sumber, seperti basis data terstruktur, file teks tidak terstruktur, gambar, perangkat IoT, antarmuka pemrograman aplikasi (API) atau interaksi pengguna. Infrastruktur penyimpanan harus mampu menangani volume besar data yang beragam dengan tetap menjaga keandalan dan aksesibilitas.

Teknologi termasuk database relasional (misalnya: MySQL dan PostgreSQL), database NoSQL (misalnya: MongoDB dan Cassandra) dan data lake (misalnya: Hadoop) untuk menangani data terstruktur dan tidak terstruktur.

Penelanan melibatkan pengimpor data dari berbagai sumber ke dalam sistem penyimpanan. Alat seperti Apache Kafka mengotomatiskan dan mengelola saluran penyerapan data, membantu memastikan bahwa data mengalir dengan lancar ke dalam sistem.

Data mentah sering membutuhkan pembersihan, normalisasi, dan transformasi sebelum dapat digunakan dalam model AI. Ini melibatkan penghapusan duplikat, mengisi missing values, menstandarisasi format, dan mengodekan variabel kategori.

Bahasa pemrograman Python memiliki beberapa pustaka gratis yang dapat digunakan untuk tujuan ini, seperti Pandas dan NumPy, serta alat-alat seperti Apache Spark yang sering digunakan dalam proses pemrosesan awal data.

Untuk pembelajaran terbimbing, data sering kali perlu diberi label agar model dapat belajar. Ini melibatkan penandaan gambar, mengategorikan teks atau menandai fitur yang relevan. Platform seperti Labelbox, Amazon SageMaker Ground Truth dan alat sumber terbuka seperti LabelIMG memfasilitasi alur kerja anotasi.

Penyimpanan data dan pemrosesan data harus mematuhi undang-undang privasi (misalnya: GDPR dan CCPA). Teknik enkripsi, kontrol akses, dan anonimisasi sering digunakan untuk melindungi data sensitif.

Di sinilah model AI dirancang, dilatih, dan disetel untuk memecahkan masalah tertentu, menentukan fungsi inti dan kecerdasan sistem AI. Ini dibangun di atas lapisan data dengan menggunakan data yang diproses dan dibersihkan untuk melatih algoritma yang mampu mempelajari pola, membuat prediksi atau menghasilkan output.

Lapisan ini membentuk loop masukan dengan lapisan data, memungkinkan model untuk dilatih ulang dan ditingkatkan seiring bertambahnya data baru. Sebagai inti dari siklus hidup AI, lapisan ini menentukan sejauh mana sistem dapat beradaptasi dan berkinerja dalam aplikasi dunia nyata.

Machine learning (ML) dan kerangka kerja pembelajaran mendalam menyederhanakan pembuatan model dan pelatihan. Alat-alat populer termasuk TensorFlow, PyTorch, Scikit-learn, Keras, dan XGBoost, masing-masing cocok untuk berbagai jenis tugas AI, seperti visi komputer, pemrosesan bahasa alami (NLP), atau analisis data tabular.

Memilih algoritma machine learning yang tepat adalah kunci untuk mencapai kinerja yang optimal. Algoritme berkisar dari regresi linier dan decision trees untuk tugas-tugas sederhana hingga arsitektur kompleks seperti neural networks dan transformer. Pemilihan tergantung pada faktor-faktor termasuk jenis data, domain masalah dan kendala komputasi.

Pelatihan melibatkan memasukkan data berlabel ke dalam model sehingga dapat mempelajari pola dan hubungan. Langkah ini membutuhkan sumber daya komputasi yang signifikan untuk model kompleks. Proses pelatihan melibatkan pengaturan hiperparameter (misalnya: laju pembelajaran dan ukuran batch) dan mengoptimalkan model secara berulang dengan menggunakan teknik seperti penurunan gradien.

Rekayasa fitur mengubah data mentah menjadi input yang berarti untuk model. Langkah ini mungkin termasuk penskalaan, pengkodean, pengurangan dimensi atau pembuatan fitur turunan baru.

Menggunakan model yang sudah terlatih, seperti BERT dan ResNet, dapat secara signifikan mengurangi waktu pengembangan dan biaya komputasi. Pembelajaran transfer mengadaptasi model-model ini untuk tugas-tugas baru dengan pelatihan tambahan yang minimal.

Setelah model dikembangkan, mereka sering perlu dioptimalkan dan penyempurnaan sebelum penerapan. Ini mungkin termasuk penyetelan hiperparameter, kompresi model, dan validasi model.

Sebelum diterapkan, model dievaluasi menggunakan data validasi dan data uji untuk mengukur metrik kinerja seperti akurasi, presisi, recall, dan skor F1. Langkah ini memastikan bahwa model dapat menggeneralisasi dengan baik dan tetap andal saat menghadapi data yang belum pernah dilihat sebelumnya.

Lapisan penerapan model adalah tempat model machine learning berubah dari pengembangan ke penggunaan praktis, memberikan prediksi atau kesimpulan di lingkungan hidup.

Penerapan model melibatkan pengemasannya ke dalam format yang siap digunakan, biasanya dengan teknologi kontainerisasi untuk memastikan konsistensi dan portabilitas di berbagai lingkungan. Kontainer ini kemudian dikelola dan diskalakan menggunakan platform orkestrasi, yang memungkinkan penyeimbangan beban, toleransi kesalahan, dan ketersediaan tinggi.

Model yang diterapkan biasanya diekspos melalui API atau layanan mikro menggunakan kerangka kerja seperti TensorFlow Serving, NVIDIA Triton, atau solusi yang dibuat khusus, yang memungkinkan integrasi tanpa batas dengan sistem bisnis, aplikasi mobile, atau platform web.

Lapisan aplikasi adalah tempat model AI diintegrasikan ke dalam sistem dunia nyata untuk memberikan insight yang dapat ditindaklanjuti dan mendorong pengambilan keputusan, menjadikannya bagian yang paling berhadapan dengan pengguna dari tumpukan AI. Lapisan ini menanamkan kemampuan AI ke dalam aplikasi perangkat lunak, produk, dan layanan.

Pada tahap ini, model AI menjadi bagian dari logika bisnis, mengotomatiskan tugas, meningkatkan alur kerja, atau memberdayakan fitur-fitur cerdas, seperti sistem rekomendasi, analisis prediktif, pemrosesan bahasa alami, atau visi komputer. Kemampuan ini biasanya diakses melalui API atau disematkan ke dalam layanan mikro, sehingga mendorong interaksi tanpa batas dengan komponen ekosistem aplikasi lainnya.

Fokus utama dari lapisan aplikasi adalah kegunaan. Fungsionalitas AI sering dibungkus dengan antarmuka pengguna intuitif (UI) yang menggunakan visualisasi dan presentasi lainnya untuk mengomunikasikan informasi dengan cara yang jelas dan dapat ditafsirkan, memungkinkan pengguna untuk memahami dan bertindak berdasarkan insight yang didorong oleh AI.

Misalnya, AI deteksi penipuan dapat menandai transaksi yang mencurigakan dalam platform keuangan dan menghasilkan notifikasi  melalui otomatisasi, sementara pengalaman pengguna chatbot berinteraksi dengan pengguna secara real-time.

Lapisan observabilitas memfasilitasi pemantauan, pelacakan, dan evaluasi alur kerja AI. Menyediakan visibilitas dan insight yang dibutuhkan untuk memahami bagaimana model AI berkinerja di lingkungan dunia nyata, sehingga memungkinkan tim untuk mengidentifikasi dan menyelesaikan masalah dengan segera, menjaga kesehatan sistem, dan meningkatkan kinerja dari waktu ke waktu.

Inti dari lapisan observabilitas adalah alat dan kerangka kerja yang melacak berbagai metrik yang terkait dengan model AI dan infrastruktur tempat mereka berjalan.

Lapisan tata kelola merupakan kerangka kerja menyeluruh yang memastikan sistem AI diimplementasikan, digunakan, dan dipelihara secara bertanggung jawab, etis, serta sesuai dengan standar organisasi dan masyarakat.

Lapisan ini berperan penting dalam mengelola risiko, meningkatkan transparansi, dan membangun kepercayaan terhadap teknologi AI. Lapisan ini mencakup kebijakan dan prosedur untuk mengawasi siklus hidup model AI agar selaras dengan peraturan hukum, prinsip etika, dan tujuan organisasi.

Fungsi utama lapisan tata kelola adalah menetapkan kebijakan pengumpulan dan penggunaan data bersama dengan kerangka kerja kepatuhan untuk mematuhi peraturan seperti Peraturan Perlindungan Data Umum (GDPR), Undang-Undang Portabilitas dan Akuntabilitas Asuransi Kesehatan (HIPAA) atau pedoman khusus AI termasuk UU AI Uni Eropa (UU AI Uni Eropa). Kerangka kerja ini menentukan bagaimana data dikumpulkan, disimpan, dan digunakan, mendorong privasi dan keamanan.

Selain itu, tata kelola mencakup mekanisme untuk auditabilitas dan keterlacakan, memungkinkan organisasi mencatat serta melacak keputusan AI, perubahan model, dan penggunaan data. Hal ini penting untuk memastikan akuntabilitas serta menyelesaikan perselisihan atau kesalahan.

Lapisan tata kelola juga membahas masalah keadilan, bias, dan penjelasan dalam sistem AI . Ini melibatkan penerapan alat dan teknik untuk deteksi dan mengurangi bias dalam data pelatihan atau output, membantu mendorong AI untuk beroperasi secara adil di seluruh populasi yang beragam.

Melihat AI sebagai suatu tumpukan mempromosikan skalabilitas, fleksibilitas, dan efisiensi. Tim dapat berupaya meningkatkan lapisan tertentu untuk mendapatkan manfaat dari kemajuan terbaru tanpa merombak seluruh sistem, memungkinkan peningkatan dan adaptasi berulang seiring dengan berkembangnya teknologi dan kebutuhan bisnis.

Misalnya, Anda dapat beralih dari satu penyedia cloud ke penyedia cloud lainnya di lapisan infrastruktur  atau mengadopsi kerangka kerja machine learning baru di lapisan pengembangan model tanpa mengganggu aplikasi.

Perspektif berlapis ini memudahkan pengukuran dan pemantauan setiap tahap siklus hidup AI, sehingga kinerja, kepatuhan, dan keandalan tetap terjaga di setiap langkah. Pendekatan tumpukan menyederhanakan kompleksitas AI, menjadikannya lebih mudah diakses dan dapat ditindaklanjuti oleh organisasi dari berbagai ukuran.