Apa itu orkestrasi LLM?

LLMOps menggunakan orkestrasi dalam berbagai aplikasi seperti pembuatan bahasa alami, penerjemahan mesin, pengambilan keputusan, dan chatbot. Ketika organisasi mengadopsi kecerdasan buatan untuk membangun aplikasi AI generatif (gen AI) seperti ini, orkestrasi LLM yang efisien menjadi sangat penting.

Sekuat model dasar LLM pun, LLM terbatas dalam apa yang dapat mereka capai sendiri. Misalnya, LLM tidak memiliki kemampuan untuk menyimpan atau mempelajari informasi baru secara real-time dan kesulitan untuk menyelesaikan masalah multilangkah karena mereka terbatas pada apa yang dapat mereka simpan dari konteksnya.¹ Selain itu, mengoordinasikan banyak LLM dapat dengan cepat menjadi rumit ketika harus berurusan dengan antarmuka pemrograman aplikasi (API) dari penyedia LLM yang berbeda.

Kerangka kerja orkestrasi LLM menutupi keterbatasan ini dengan menyederhanakan proses kompleks mengintegrasikan rekayasa prompt, interaksi API, pengambilan data, dan manajemen status di seluruh percakapan dengan model bahasa.²

Kerangka kerja orkestrasi LLM baru sedang dikembangkan dan semakin populer setiap hari. Beberapa orkestrasi LLM mengkhususkan diri sebagai kerangka kerja konfigurasi atau basis data sementara yang lain menggunakan agen AI untuk berkolaborasi guna menyelesaikan tugas atau sasaran.

Untuk memahami cara kerja kerangka kerja orkestrasi LLM, akan sangat membantu jika kita memahami di mana letak orkestrasi dalam arsitektur aplikasi yang digerakkan oleh LLM.

Lapisan orkestrasi adalah tulang punggung tumpukan aplikasi LLM. Orkestrator menciptakan alur kerja yang koheren dengan mengelola interaksi antara lapisan arsitektur aplikasi lainnya.³ Mirip dengan orkestrator musik, orkestrator LLM mendelegasikan dan mengelola alur kerja setiap komponen teknis berdasarkan komposisi aplikasi.

Komponen ini mencakup interaksi antara LLM, template prompt, basis data vektor, dan agen.⁴ Orkestrasi memastikan bahwa setiap komponen aplikasi AI generatif bekerja secara kohesif dengan menyediakan alat dan mekanisme untuk mengelola siklus hidup LLM secara efektif dalam berbagai aplikasi dan lingkungan.

Kerangka kerja orkestrasi menyederhanakan tugas-tugas kompleks termasuk chaining prompt, berinteraksi dengan API eksternal, mengambil data kontekstual dari basis data vektor, dan mengelola memori di beberapa interaksi LLM. Berikut adalah gambaran umum dari tugas-tugas operasional yang biasanya digunakan dalam orkestrasi LLM:

Rekayasa prompt adalah praktik penataan input LLM (prompt) sehingga alat generatif AI menghasilkan hasil yang dioptimalkan. Kerangka kerja orkestrasi menyediakan template prompt yang mencakup instruksi, beberapa contoh dan konteks spesifik, dan pertanyaan yang sesuai untuk tugas.⁵

Chaining mengacu pada urutan panggilan yang menghubungkan beberapa LLM untuk menggabungkan hasil mereka untuk mencapai hasil yang lebih bernuansa (juga dikenal sebagai prompt chaining), sebuah alat atau langkah prapemrosesan data.⁶

Lapisan orkestrasi mengelola tugas-tugas yang diminta ini dengan menyimpan prompt dalam basis pengetahuan atau pustaka di mana ia dapat dengan mudah mencari dan mengambil data prompt. Orkestrator dapat secara dinamis memilih prompt dari pustaka berdasarkan input waktu nyata, konteks atau preferensi pengguna. Selain itu, ini dapat mengurutkan prompt dalam urutan logis untuk mengelola alur percakapan.

LLM tidak memiliki kemampuan yang melekat untuk terus belajar dan terbatas dalam pemahaman kontekstual. Dengan mengelola prompt, orkestrator menyempurnakan hasil dengan mengevaluasi respons. 

LLM juga tidak dapat memeriksa fakta sendiri, yang mengarah pada halusinasi jika tidak dikelola. Orkestrator dapat memeriksa fakta tanggapan dan memastikan mereka mematuhi pedoman khusus. Jika tanggapan tidak sesuai, orkestrator dapat menandainya untuk ditinjau oleh manusia atau memberikan saran alternatif yang secara efektif memungkinkan LLM untuk belajar dan memperbaiki diri.⁷

Sebagian besar kerangka kerja orkestrasi LLM mencakup beberapa bentuk LLMOP untuk pemantauan operasional. Fitur-fitur ini termasuk mengumpulkan metrik kinerja berdasarkan tes tolok ukur LLM. Metrik ini dapat diamati melalui dasbor yang memungkinkan pengguna mengikuti metrik kinerja LLM secara real-time.

Sumber daya LLMOps lainnya termasuk alat diagnostik untuk analisis akar masalah (RCA), mengurangi waktu yang dibutuhkan untuk men-debug.

Orkestrator memfasilitasi akses dan pengambilan data dari sumber yang diidentifikasi dengan menggunakan konektor atau API yang sesuai. Prapemrosesan mengacu pada konversi data "mentah" dari berbagai sumber ke dalam format yang sesuai untuk LLM. Semakin besar pengumpulan data, semakin canggih mekanisme data yang menganalisisnya. Preprocessing memastikan bahwa data disesuaikan dengan persyaratan yang diajukan oleh setiap algoritma penambangan data.⁸ Orkestrator dapat memfasilitasi pra-pemrosesan dengan menyesuaikan dan menyempurnakan data agar lebih berharga.

Orkestrator memulai LLM untuk menjalankan tugas yang ditetapkan. Setelah pemrosesan selesai, orkestrator menerima hasil model dan mengintegrasikan masukan apa pun untuk menilai kualitas keseluruhan dan mengirimkannya ke tujuan yang sesuai.

Orkestrator berisi penyimpanan memori yang bertindak sebagai basis pengetahuan untuk meningkatkan hasil LLM dan interaksi serta memberikan pemahaman kontekstual. Dengan menangani dan menyimpan pesan atau input sebelumnya, orkestrator mengumpulkan pengetahuan jangka panjang yang memberikan respons yang lebih akurat berdasarkan interaksi masa lalu.⁹

Orkestrastor bertanggung jawab untuk memfasilitasi penerapan fitur observabilitas LLM dan kerangka kerja pembatas. Dari sudut pandang LLMOps, LLM yang berjalan tanpa kemampuan ini berisiko menghasilkan hasil yang salah dan menimbulkan risiko keamanan berdasarkan pada kemampuan LLM yang terbatas dan tidak disetel dengan baik.

Kerangka kerja orkestrasi LLM menyediakan manajemen dan pengoptimalan yang diperlukan untuk merampingkan interaksi LLM dan alur kerja untuk meningkatkan LLMOP.

• Skalabilitas: Pemanfaatan sumber daya secara optimal dengan pemberdayaan untuk menskalakan naik atau turun tergantung pada permintaan. 
• Manajemen sumber daya: Kerangka kerja mengelola sumber daya seperti CPU, GPU, memori dan penyimpanan dengan mengalokasikan sumber daya secara dinamis berdasarkan beban kerja.
• Otomatisasi alur kerja: Memungkinkan pengotomatisan alur kerja kompleks yang melibatkan LLM seperti prapemrosesan data, pelatihan model, inferensi, dan pascapemrosesan. Merampingkan operasi mengurangi upaya manual dan meningkatkan efisiensi secara keseluruhan dengan melepaskan beban ini dari pengembang.
• Penyeimbangan beban: Dengan mendistribusikan permintaan ke beberapa instance LLM, kerangka kerja mencegah kelebihan beban instance tertentu dan meningkatkan keandalan sistem secara keseluruhan dan waktu respons.
• Toleransi kesalahan: Sebagian besar kerangka kerja menyertakan mekanisme untuk mendeteksi kegagalan dalam instance LLM dan secara otomatis mengalihkan lalu lintas ke instansi yang sehat, meminimalkan waktu henti, dan mempertahankan ketersediaan layanan.
• Kontrol versi dan pembaruan: Mengelola berbagai versi LLM dan menerapkan pembaruan tanpa distribusi.
• Efisiensi biaya: Orkestrasi yang efektif dapat mengoptimalkan biaya dengan mengalokasikan sumber daya secara dinamis berdasarkan permintaan. 
• Keamanan dan kepatuhan: Kontrol dan pemantauan terpusat di seluruh instance LLM memastikan kepatuhan terhadap standar peraturan. 
• Integrasi dengan layanan lain: Mempromosikan ekosistem yang kohesif dengan mendukung integrasi dengan layanan lain seperti penyimpanan data, pencatatan, pemantauan, dan analitik.
• Hambatan teknis yang diturunkan: Memungkinkan implementasi dengan tim yang ada, tidak diperlukan pakar AI. Alat sedang dibangun di atas kerangka kerja untuk kemudahan penggunaan. Misalnya, LangFlow adalah UI grafis (GUI) untuk LangChain.¹⁰

Pengembang aplikasi mempunyai pilihan untuk mengadopsi solusi yang muncul atau merakit solusi mereka sendiri dari awal. Memilih kerangka kerja orkestrasi LLM yang tepat memerlukan perencanaan dan strategi yang matang.

Hal-hal yang perlu dipertimbangkan sebelum memilih kerangka kerja orkestrasi LLM: 

Periksa dokumentasi API kerangka kerja dan pastikan itu membantu dan memungkinkan pengembang untuk memulai dengan mudah. Juga, periksa sumber daya komunitas kerangka kerja untuk mengukur jenis dukungan pemecahan masalah yang disediakan.

Mengevaluasi implikasi biaya dari mengadopsi kerangka kerja yang berbeda. Banyak kerangka kerja orkestrasi LLM adalah sumber terbuka dengan opsi perusahaan berbayar. Pastikan model penetapan harga tidak hanya sesuai dengan investasi awal, tetapi juga biaya yang sedang berjalan seperti lisensi, pembaruan, dan layanan dukungan. Kerangka kerja yang hemat biaya menawarkan keseimbangan antara harga dan fitur yang disediakannya.

Saat memilih LLM yang tepat, periksa fitur keamanan seperti enkripsi, kontrol akses, dan log audit yang memberikan keamanan data dan membantu melindungi data Anda serta mematuhi peraturan privasi yang relevan.

Tanyakan tentang alat pemantauan dan manajemen. Ini termasuk fitur untuk melacak metrik seperti waktu respons, akurasi, dan pemanfaatan sumber daya. 

Berikut adalah beberapa kerangka kerja orkestrasi yang dikenal dan muncul:

IBM watsonx Orchestrate menggunakan pemrosesan bahasa alami (NLP) untuk mengakses berbagai macam keterampilan machine learning. Kerangka kerja IBM terdiri dari ribuan aplikasi dan keterampilan yang sudah jadi, termasuk pembangun asisten AI dan studio Keterampilan. 

Contoh penggunaan termasuk membantu departemen sumber daya dengan memberi tim alat yang dibutuhkan untuk bergabung dan mendukung karyawan baru dan meningkatkan tim pengadaan dan penjualan.

Kerangka kerja berbasis python sumber terbuka untuk membangun aplikasi LLM. LangChain terdiri dari beberapa pustaka sumber terbuka yang menyediakan antarmuka fleksibel dengan komponen aplikasi LLM inti seperti model penyematan, LLM, penyimpanan vektor, pengambil, dan banyak lagi.¹¹

Kasus contoh penggunaan langChain end-to-end yang umum termasuk rantai T & J dan agen melalui SQL database, chatbots, ekstraksi, analisis kueri, ringkasan, simulasi agen, agen otonom, dan banyak lagi.¹²

Kerangka kerja percakapan multiagen sumber terbuka Microsoft menawarkan abstraksi tingkat tinggi dari model dasar. AutoGen adalah kerangka kerja agen yang berarti menggunakan beberapa agen untuk berkomunikasi dan menyelesaikan tugas. Fitur utamanya meliputi agen AI yang dapat disesuaikan yang terlibat dalam percakapan multiagen dengan pola fleksibel untuk membangun berbagai macam Aplikasi LLM.¹³

Implementasi AutoGen dalam aplikasi yang digerakkan oleh LLM meliputi chatbot bimbingan matematika, catur percakapan, pengambilan keputusan, obrolan grup dinamis, dan pengodean multiagen.¹⁴ AutoGen menawarkan analisis pemantauan dan pemutaran ulang untuk debugging melalui AgentOps.¹⁵

LlamaIndex menyediakan alat untuk membangun aplikasi LLM yang diperbesar konteks. Ini termasuk alat integrasi data seperti penghubung data untuk memproses data dari lebih dari 160 sumber dan format.¹⁶ LlamaIndex juga mencakup rangkaian modul untuk mengevaluasi kinerja aplikasi LLM.

LlamaIndex memiliki banyak contoh penggunaan populer termasuk aplikasi T & J (Generasi dengan dukungan pengambilan data juga dikenal sebagai RAG), chatbots, pemahaman dokumen dan ekstraksi data, dan menyempurnakan model pada data untuk meningkatkan kinerja.¹⁷

Haystack adalah kerangka kerja Python sumber terbuka yang dibangun dengan dua konsep utama untuk membangun sistem gen AI menyeluruh yang disesuaikan: komponen dan pipelines. Haystack memiliki kemitraan dengan banyak penyedia LLM, basis data vektor, dan alat bantu AI yang membuat alat yang dapat dibangun di atasnya menjadi komprehensif dan fleksibel.¹⁸

Contoh penggunaan umum yang ditawarkan oleh haystack meliputi sistem pencarian semantik, ekstraksi informasi, dan menjawab pertanyaan gaya FAQ.¹⁹

crewAI adalah kerangka kerja multiagen sumber terbuka yang dibangun di atas LangChain. Agen AI otonom bermain peran dirakit menjadi kru untuk menyelesaikan alur kerja dan tugas terkait aplikasi LLM.²⁰ crewAI menawarkan versi perusahaan yang disebut crewAI+. 

Aplikasi untuk pemula dan pengguna yang lebih teknis termasuk pembuatan halaman arahan, analisis saham, dan penghubung. crewAI menggunakan AgentOps untuk menyediakan pemantauan dan metrik untuk agen.²¹

Kerangka kerja orkestrasi LLM terus matang seiring kemajuan aplikasi gen AI, merampingkan alur kerja LLMOp untuk lebih banyak solusi kecerdasan buatan.

Kerangka kerja orkestrasi menyediakan alat dan struktur yang diperlukan untuk aplikasi LLM untuk mendapatkan hasil maksimal dari model-modelnya. Kerangka kerja masa depan mungkin menggunakan agen AI dan sistem multiagen untuk memfasilitasi otomatisasi cerdas.

Pola dalam kerangka kerja orkestrasi yang muncul menunjukkan bahwa membangun arsitektur yang lebih kompleks, seperti sistem multiagen yang mampu melakukan integrasi fitur, memberi agen keterampilan yang mereka butuhkan untuk menyelesaikan alur kerja otonom.

Kegunaan juga menjadi prioritas untuk platform orkestrasi. Seiring dengan kematangan pasar, lebih banyak alat akan dikembangkan yang berfokus pada pengalaman pengguna. Pendekatan ini juga menurunkan hambatan teknis untuk menggunakan kerangka kerja ini. Beberapa kerangka kerja orkestrasi, seperti IBM watsonx Orchestrate, memanfaatkan antarmuka bahasa alami untuk keterlibatan dan kegunaan yang sederhana.

Mengelola orkestrasi LLM adalah tugas yang kompleks, sementara orkestrasi adalah kunci untuk menskalakan dan mengotomatiskan alur kerja yang digerakkan oleh LLM.