Integrasi AI generatif: Faktor pertimbangan

Saat ini, banyak bisnis telah membuat kemajuan besar dalam eksperimen dengan AI generatif. Mereka menemukan bahwa AI generatif dapat mengotomatiskan tugas berulang dan mengidentifikasi kesesuaian kecerdasan buatan dengan alur kerja mereka. Namun, untuk beralih dari proses eksplorasi ke produksi, mereka perlu mengatasi tantangan integrasi AI umum sekaligus mempertimbangkan beberapa faktor yang tidak umum.

Anda mungkin pernah menggunakan alat pembuatan kode berteknologi AI seperti GitHub Copilot sebagai startup pengembangan perangkat lunak. Atau, Anda telah mencoba chatbot seperti ChatGPT dari OpenAI untuk membuat skrip podcast dan video serta membuat postingan media sosial sebagai agen pembuat konten. Namun, Anda siap melangkah lebih jauh dengan mengintegrasikan AI generatif ke dalam bisnis Anda.

Anda telah menguraikan tujuan dan hasil yang diharapkan, membuat strategi integrasi AI, dan bahkan mempelajari layanan integrasi AI generatif. Baik secara mandiri maupun dengan bantuan tim, perhatikan faktor-faktor kecil tetapi signifikan berikut yang dapat memengaruhi perjalanan integrasi Anda. Anda mungkin akan menemukan satu atau dua teknik yang berguna bagi Anda.

Data berkualitas tinggi dapat menghasilkan model AI generatif berkinerja tinggi. Meski audit data, integrasi data, dan persiapan data adalah aspek umum dari proses integrasi AI generatif, penambahan konteks yang relevan dapat makin meningkatkan kualitas data dan menghasilkan output yang lebih sadar konteks.

Salah satu cara untuk menambahkan konteks adalah melalui penyempurnaan model terlatih pada kumpulan data lebih kecil yang spesifik untuk domain Anda atau tugas dan contoh penggunaan di dunia nyata. Ini membantu menghemat banyak waktu, tenaga, dan biaya yang dibutuhkan untuk melatih model dari awal.

Sementara itu, Retrieval-Augmented Generation (RAG) dan Model Context Protocol (MCP) menggabungkan konteks secara real time. Sistem RAG mengambil data dari basis pengetahuan eksternal, melengkapi prompt dengan konteks yang lebih baik dari data yang diambil, dan menghasilkan respons. MCP bekerja dengan cara yang sama. Namun, bukannya menambahkan konteks sebelum proses pembuatan seperti yang dilakukan RAG, MCP menggabungkan konteks selama proses pembuatan. MCP bertindak sebagai lapisan standar bagi aplikasi AI untuk terhubung ke sumber data eksternal, layanan, dan alat, dengan memanfaatkan data real-time.

Proses integrasi belum lengkap tanpa penentuan kompatibilitas solusi AI generatif dengan sistem yang sudah ada. Tim pengembangan AI Anda, misalnya, mungkin sudah merancang konektor seperti middleware untuk menghubungkan model bahasa besar (large language model, LLM) pilihan Anda dengan perangkat lunak CRM dan ERP.

Namun, terkadang satu LLM saja tidak cukup, terutama untuk langkah-langkah kompleks dalam otomatisasi proses bisnis atau otomatisasi alur kerja. Sebagai contoh, departemen SDM mungkin ingin memanfaatkan kemampuan pemrosesan bahasa alami (natural language processing, NLP) pada model bahasa untuk menganalisis masukan dari survei karyawan yang dilakukan secara berkala. Model bahasa kecil (small language model, SLM) dapat menangani tugas-tugas sederhana seperti menganonimkan disurvei untuk menghapus informasi identifikasi dan merangkum tema-tema utama. LLM yang lebih canggih dapat menangani tugas yang lebih kompleks dan bernuansa, misalnya analisis sentimen, dan menghasilkan insight yang dapat ditindaklanjuti untuk membantu pengambilan keputusan.

Dalam skenario semacam ini, orkestrasi LLM dapat menyederhanakan pengelolaan beberapa model bahasa. Kerangka kerja orkestrasi LLM mengalokasikan tugas ke model yang tepat dan mengoordinasikan interaksi di antara model, sehingga meningkatkan efisiensi dan efektivitas.

Memilih, menguji perilaku, dan mengevaluasi kinerja model adalah bagian penting dari integrasi solusi AI generatif. Namun, cara Anda menghosting atau mengakses model juga penting, dan ada beberapa opsi yang dapat Anda pilih:

• Hosting mandiri: Anda dapat menghosting model AI generatif secara lokal atau di cloud pribadi jika tersedia anggaran, biaya, dan tim untuk itu. Dengan opsi ini, selain memiliki kontrol penuh atas data, Anda juga dapat menyesuaikan model sesuai keinginan. Hosting mandiri sesuai untuk sektor-sektor dengan persyaratan privasi data dan keamanan data yang ketat, seperti keuangan dan layanan kesehatan.

• Model as a Service (MaaS): Model machine learning (ML) dihosting di cloud dan dapat diakses melalui API. Secara khusus, LLM tersedia melalui LLM API. MaaS memungkinkan integrasi cepat tanpa perlu mengelola infrastruktur AI Anda sendiri, dengan skema harga bayar sesuai penggunaan yang menawarkan fleksibilitas.

• Paket berlangganan: Anda dapat mengakses alat dan aplikasi AI generatif di platform berbasis cloud melalui paket berlangganan. Beberapa penyedia merancang paket untuk bisnis, dengan fitur-fitur canggih, dukungan pelanggan khusus, perjanjian tingkat layanan yang ditingkatkan, serta fungsionalitas keamanan dan kepatuhan tingkat perusahaan.

Penerapan model merupakan langkah alami berikutnya setelah pemilihan model dan evaluasi model. Meski demikian, beban kerja berbasis AI generatif mungkin memerlukan pendekatan yang lebih spesifik daripada yang disediakan DevOps.

Di sinilah MLOps dan LLMOps berguna, untuk menghadirkan proses integrasi AI generatif yang lebih mulus. MLops dibangun berdasarkan prinsip DevOps, yang mengintegrasikan pipeline machine learning ke dalam pipeline CI/CD yang sudah ada. Hal ini memungkinkan integrasi, penerapan, pemantauan dan pengamatan, serta peningkatan dan tata kelola model yang berkelanjutan. LLMOps termasuk dalam lingkup MLOps, tetapi lebih selaras dengan siklus proses dan kebutuhan LLM, seperti penyempurnaan dan evaluasi menggunakan tolok ukur LLM.

Pengalaman pengguna (user experience, UX) adalah komponen penting dari integrasi AI generatif. Antarmuka yang cermat, intuitif, dan mudah digunakan dapat membantu memperkuat adopsi AI generatif dalam organisasi Anda.

Pertimbangkan kiat seputar UX berikut:

• Libatkan desainer UX sejak awal proses implementasi AI, terutama saat membangun prototipe AI generatif.

• Untuk model AI multimodal, jangan hanya berfokus pada jendela obrolan atau bilah prompt. Berikan juga ruang untuk mendukung jenis input selain teks, misalnya audio dan gambar.

• Gunakan indikator yang memberikan informasi kemajuan tugas kepada pengguna, terutama untuk alur kerja multilangkah atau tugas dengan waktu pemrosesan yang lama.

• Terapkan prompt terpandu atau templat untuk mengakomodasi berbagai tingkat keahlian pengguna.

• Sediakan mekanisme untuk menyimpan preferensi pengguna dan konteks sebelumnya.

• Buat panduan atau tutorial interaktif yang memandu pengguna dalam menggunakan fitur dan fungsionalitas aplikasi AI generatif.

Menilai ekosistem TI Anda saat ini sangat penting untuk proses integrasi. Namun, penilaian harus dilakukan dengan mempertimbangkan masa kini dan masa mendatang. Perusahaan harus memastikan infrastruktur mereka dapat ditingkatkan untuk memenuhi tuntutan komputasi sistem AI generatif sekaligus perkembangan kebutuhan bisnis mereka.

Jika Anda ingin menggunakan model yang dihosting secara mandiri, sebaiknya optimalkan perangkat keras Anda untuk AI generatif dengan berinvestasi dalam akselerator AI dan sumber daya komputasi berkinerja tinggi lainnya. Sebaiknya tingkatkan pula kemampuan jaringan Anda untuk menangani transfer data dengan kecepatan tinggi dan latensi rendah. Namun, jika Anda ingin menggunakan sistem berbasis cloud atau API, pastikan platform yang Anda gunakan cukup tangguh untuk menangani beban kerja AI generatif dan mampu mengikuti kemajuan AI generatif terbaru.