Dari layanan mikro ke agen AI: Evolusi arsitektur aplikasi

Arsitektur aplikasi kembali mencapai titik balik. Agen AI muncul sebagai blok bangunan yang kuat untuk sistem modern, melengkapi, memperluas, atau bahkan menggantikan layanan mikro tradisional.

Pergeseran arsitektur ini mempertahankan pola dasar komponen yang dapat dikomposisi sambil memberikan keuntungan yang signifikan dalam kecepatan pengembangan, kemampuan beradaptasi, dan kemampuan integrasi. Organisasi yang membangun aplikasi baru dengan kerangka kerja agen memposisikan diri mereka untuk keunggulan kompetitif dalam lingkungan teknologi yang berkembang pesat.

Sejarah arsitektur aplikasi mengungkapkan pola dekomposisi yang konsisten menuju komponen yang makin cerdas.

1990-an: Aplikasi monolitik
Sistem basis kode tunggal mendominasi komputasi perusahaan, menciptakan tantangan operasional yang signifikan:

• Penerapan membutuhkan siklus pengujian yang ekstensif
• Skalabilitas menuntut duplikasi sistem penuh
• Perubahan di satu area berisiko merusak fungsi yang tidak terkait
• Siklus pengembangan berlangsung selama berbulan-bulan atau bertahun-tahun

Awal tahun 2000-an: Arsitektur berorientasi layanan (SOA)
SOA mengatasi keterbatasan monolitik dengan menguraikan aplikasi menjadi layanan yang selaras dengan bisnis:

• Arsitektur baru meningkatkan kemampuan penggunaan kembali dan integrasi
• Layanan tetap relatif berat
• Kompleksitas orkestrasi menciptakan sistem yang rapuh
• Siklus pengembangan diukur dalam bulan

2010-an: Layanan mikro
Arsitektur layanan mikro memecah aplikasi menjadi unit-unit yang lebih kecil dan dapat digunakan secara independen:

• Setiap layanan mikro beroperasi secara mandiri
• Layanan dikomunikasikan melalui antarmuka pemrograman aplikasi (API) yang terdefinisi dengan baik
• Komponen diskalakan secara independen
• Teknologi kontainerisasi menyederhanakan penerapan
• Siklus pengembangan dipadatkan menjadi hitungan minggu

Batas terdepan arsitektur saat ini memiliki fitur agen AI: komponen cerdas, otonom yang meningkatkan kemampuan mikro layanan tradisional. Perbedaan utama meliputi:

Layanan mikro pemrosesan pembayaran tradisional membutuhkan ribuan baris kode untuk menangani validasi, pemrosesan, status kesalahan, dan integrasi. Sebaliknya, agen AI berkinerja tinggi menggabungkan komponen yang telah dikompilasi sebelumnya untuk jalur penting dengan kemampuan penalaran untuk keputusan yang kompleks. Pendekatan hybrid ini membantu memastikan keandalan kinerja dan kecerdasan adaptif.

Misalnya, implementasi agen Semantic Kernel di C# dengan kompilasi ahead-of-time (AOT) menunjukkan bahwa sistem agen produksi dapat mencocokkan atau melebihi layanan mikro tradisional dalam kinerja sambil menambahkan kemampuan penalaran yang berharga.

Sama seperti layanan mikro yang memerlukan platform orkestrasi yang mendasarinya, agen AI membutuhkan kerangka kerja agen khusus. Solusi modern seperti Semantic Kernel dan LangChain Enterprise menyediakan infrastruktur yang diperlukan ini untuk koordinasi agen dengan kinerja Kelas Enterprise.

Kerangka kerja ini memberikan kemampuan di luar orkestrasi layanan tradisional dengan tetap mempertahankan standar kinerja kelas Enterprise yang diharapkan:

• Fondasi berkinerja tinggi: Kerangka kerja agent dibangun di atas bahasa yang dikompilasi dengan kompilasi AOT untuk eksekusi latensi rendah yang dapat diprediksi.
• Desain hemat memori: Kerangka kerja agent dioptimalkan untuk sistem throughput tinggi untuk membantu memastikan konsumsi sumber daya minimal.
• Pemrosesan semantik: Agen mengalokasikan sumber daya komputasi berdasarkan kompleksitas tugas.
• Integrasi Enterprise: Kerangka kerja agen menyediakan konektor yang aman tipe ke sistem yang ada dengan penegakan kontrak yang kuat.
• Perencanaan hybrid: Jalur kinerja penting kerangka kerja agen menggunakan logika yang dikompilasi sementara skenario kompleks menggunakan AI untuk penalaran.

Pergeseran ke arsitektur agen memberikan keuntungan yang terukur, seperti:

• Kinerja dengan kecerdasan: Agen AI yang dirancang dengan baik memberikan kinerja yang unggul. Agen yang dikompilasi dapat mencapai throughput yang lebih tinggi daripada layanan mikro tradisional dan menambahkan alasan untuk deteksi penipuan yang kompleks.
• Keandalan kelas Enterprise: Kerangka kerja memungkinkan Integrasi yang kuat. Sistem rantai pasokan dapat memproses ribuan transaksi dan menangani inkonsistensi data dengan lancar.
• Penanganan kesalahan yang unggul: Agen AI menggabungkan jalur pemulihan dengan penalaran. Sistem pemrosesan pesanan mempertahankan ketersediaan tinggi melalui jalur penanganan kesalahan yang dioptimalkan dan alasan untuk kegagalan baru.
• Arsitektur siap masa depan: Organisasi mendapat manfaat hari ini sambil memposisikan untuk besok. Agen yang dikompilasi dengan lapisan penalaran mengoptimalkan kinerja saat ini dan membuka jalan bagi kemajuan AI di masa depan.

Organisasi membutuhkan strategi implementasi praktis yang mempertahankan standar perusahaan sambil menangkap manfaat AI:

• Pembuatan profil kinerja: Mengidentifikasi layanan mikro dengan jalur penting kinerja dan poin keputusan kompleks yang akan mendapat manfaat dari kemampuan penalaran.
• Desain arsitektur: Membuat desain agen yang memisahkan jalur penting kinerja (diimplementasikan dalam kode yang dikompilasi) dari komponen penalaran yang menangani kasus tepi.
• Pemilihan kerangka kerja: Mengevaluasi kerangka kerja agen berdasarkan tolok ukur kinerja, kompatibilitas bahasa dengan sistem yang ada dan opsi kompilasi.
• Peningkatan tim: Membangun tim teknik yang menggabungkan keahlian pengembangan perangkat lunak tradisional dengan keahlian teknik AI.
• Penerapan sistematis: Menerapkan dan uji tolok ukur kinerja yang ketat di samping kemampuan penalaran.

Menerapkan pendekatan yang mengutamakan kinerja dapat membantu organisasi mencapai manfaat operasional sambil membangun kemampuan AI strategis.

Rekayasa kualitas agen AI menuntut pendekatan yang berbeda secara fundamental dari pengujian perangkat lunak tradisional. Perusahaan terkemuka dalam arsitektur agen telah memelopori pengembangan berbasis eval-driven, sebuah metodologi yang memastikan agen memenuhi persyaratan fungsional dan standar penalaran.

Evaluasi adalah rangkaian pengujian khusus yang dirancang untuk menilai perilaku agen di berbagai dimensi:

• Evaluasi fungsional: Memverifikasi kemampuan bisnis inti melalui pernyataan input/output.
• Evaluasi penalaran: Menilai kualitas keputusan dan pendekatan pemecahan masalah.
• Evaluasi perilaku: Menguji keselarasan dengan pedoman organisasi dan standar etika.
• Evaluasi kinerja: Mengukur waktu respons, throughput, dan penggunaan sumber daya.
• Evaluasi musuh: Menantang agen dengan kasus-kasus tepi dan mode kegagalan potensial.

Data internal di beberapa penyedia cloud, data, dan AI menunjukkan pengurangan yang signifikan dalam insiden produksi setelah menerapkan evaluasi multidimensi untuk sistem agen mereka.

Proses pengembangan yang matang yang didorong oleh evaluasi mencakup elemen-elemen kunci ini:

1. Protokol definisi evaluasi

Mulailah dengan mendefinisikan ekspektasi di semua dimensi. Untuk setiap agen:

• Dokumentasikan fitur inti yang diharapkan dengan kriteria keberhasilan yang jelas
• Tentukan pola penalaran yang harus ditunjukkan oleh agen
• Tetapkan batas perilaku dan pagar pembatas
• Tetapkan ambang kinerja berdasarkan persyaratan bisnis

2. Pipeline evaluasi berkelanjutan

Bangun pipeline otomatis yang menjalankan evaluasi di seluruh siklus pengembangan:

• Evaluasi pra-commit mengidentifikasi masalah sebelum integrasi kode
• Evaluasi integrasi memverifikasi interaksi agen
• Tes evaluasi staging dengan data produksi
• Pemantauan produksi terus-menerus memvalidasi agen yang diterapkan

3. Pembuatan tes dinamis

Bergerak melampaui kasus uji statis dengan skenario yang dihasilkan secara dinamis:

• Gunakan model bahasa besar (LLM) untuk membuat beragam kasus uji yang menekankan penalaran agen
• Hasilkan variasi kasus tepi yang diketahui
• Simulasikan input baru berdasarkan pola produksi

4. Evaluasi kolaboratif manusia-AI

Gabungkan pengujian otomatis dengan keahlian manusia:

• Peninjau pakar mengevaluasi penalaran agen pada skenario kompleks
• Peneliti UX menilai kualitas interaksi manusia dan agen
• Spesialis domain memverifikasi kebenaran logika bisnis

5. Pencegahan regresi

Cegah regresi kemampuan dengan:

• Rangkaian evaluasi komprehensif yang berkembang seiring setiap masalah yang ditemukan
• Perbandingan A/B antara versi agen
• Pemantauan berkelanjutan terhadap indikator kinerja utama

Sebuah studi tahun 2024 dari The Stanford Institute for Human-Centrated AI (HAI) menemukan bahwa perusahaan yang menggunakan kerangka kerja evaluasi komprehensif mengalami siklus pengembangan 65% lebih cepat dan pembatalan rilis produksi 42% lebih sedikit.

10 bank global teratas menerapkan pengembangan berbasis evaluasi untuk agen layanan pelanggan mereka dengan hasil yang mengesankan.

Pendekatan mereka berpusat pada kerangka kerja evaluasi tiga tingkat: rangkaian pengujian otomatis untuk validasi fungsional, penilaian untuk skenario keputusan yang kompleks dan ulasan pakar untuk interaksi berisiko tinggi.

Kerangka kerja tersebut mengungkap masalah halus yang mungkin akan terlewatkan oleh pengujian tradisional. Misalnya, seorang agen menyetujui permohonan pinjaman sesuai dengan kebijakan, tetapi menggunakan alasan yang secara tidak sengaja memperkuat bias dalam kasus-kasus yang berada di ambang batas, suatu masalah yang diidentifikasi oleh evaluasi penalaran mereka sebelum implementasi.

Kelangsungan ekonomi arsitektur agen tergantung pada strategi manajemen biaya yang efektif. Sementara agen AI memberikan nilai bisnis yang signifikan, pengelolaan biaya operasional tetap menjadi faktor keberhasilan yang penting.

Mengenai biaya, organisasi menghadapi dua pertimbangan utama:

Biaya token: Setiap interaksi dengan model dasar menimbulkan biaya token yang cepat menumpuk dalam skala besar. Jaringan agen kompleks dengan penalaran multi-langkah dapat menghasilkan token 10-15x lebih banyak daripada panggilan API langsung serupa.

Biaya komputasi: Menjalankan inferensi, terutama untuk penalaran yang canggih, menuntut sumber daya komputasi yang besar. Kluster GPU lokal untuk inferensi biasanya memerlukan investasi awal yang ekstensif. Inferensi berbasis cloud dapat menimbulkan biaya bulanan mulai dari USD 10.000 hingga USD 50.000 untuk penerapan skala kecil hingga sedang.

Organisasi-organisasi terkemuka telah mengembangkan pendekatan sistematis untuk mengelola biaya-biaya ini.

1. Optimasi arsitektur

• Desain agen hybrid yang merutekan keputusan kompleks ke model dasar
• Kuantisasi model untuk penerapan produksi
• Caching strategis tanggapan untuk kueri umum

JPMorgan Chase mengurangi biaya inferensi mereka sebesar 67% melalui arsitektur hybrid yang memproses 89% transaksi melalui jalur deterministik, mengalokasikan sumber daya LLM untuk skenario yang kompleks.

2. Penyetelan rekayasa prompt untuk efisiensi

• Presisi dalam desain instruksi untuk meminimalkan penggunaan token
• Pemangkasan kontekstual yang menghilangkan informasi yang tidak perlu
• Pengoptimalan format respons untuk mengurangi generasi token

3. Optimasi inferensi

• Implementasi cache Key-Value (KV) untuk interaksi berulang
• Pemrosesan batch untuk operasi yang tidak sensitif terhadap waktu
• Mengatur ukuran infrastruktur penerapan dengan pola beban kerja

4. Implementasi RAG

• Generasi dengan dukungan pengambilan data untuk mengurangi ukuran konteks
• Optimasi basis data vektor untuk akses informasi yang efisien
• Teknik penyulingan konteks yang memampatkan informasi yang relevan

5. Penyetelan untuk spesialisasi domain

• Pembuatan model spesifik domain dengan jumlah parameter yang lebih sedikit
• Penyulingan model umum menjadi varian khusus yang efisien
• Pendekatan penyetelan yang efisien secara parameter seperti LoRA dan QLoRA

Laporan ekonomi AI McKinsey 2024 menyatakan bahwa menerapkan tiga atau lebih strategi ini mengurangi biaya operasional AI mereka rata-rata 62% sambil mempertahankan atau meningkatkan kemampuan sistem. 

Arsitektur agen memperkenalkan pertimbangan implementasi baru.

Kompleksitas orkestrasi
Mengoordinasikan agen otonom membutuhkan pendekatan yang berbeda dari orkestrasi layanan mikro tradisional:

• Pengambilan keputusan yang terdesentralisasi membutuhkan koordinasi yang canggih
• Beberapa agen harus bekerja untuk mencapai tujuan bersama
• Status sistem menjadi lebih kompleks dengan perubahan yang tidak sinkron

Kerangka kerja modern mengatasi tantangan ini melalui sistem prioritas dan konteks bersama. Kernel Semantik Microsoft mengimplementasikan orkestrasi yang menyeimbangkan otonomi agen dengan koherensi sistem.

Observabilitas dan pemantauan
Pendekatan pemantauan tradisional harus berevolusi:

• Sistem perlu menangkap jalur penalaran dan kriteria keputusan
• Analisis perilaku membantu mengidentifikasi pola di seluruh interaksi agen
• Pemantauan prediktif mengantisipasi kondisi sistem yang potensial

Keamanan dan tata kelola
Arsitektur agen memperkenalkan dimensi keamanan baru:

• Mekanisme untuk memverifikasi instruksi agen selaras dengan kebijakan organisasi
• Sistem untuk memvalidasi tindakan agen sebelum eksekusi
• Kemampuan untuk memeriksa penalaran agen untuk kepatuhan

Untuk menggambarkan perbedaan antara layanan mikro dan arsitektur agen, pertimbangkan platform perdagangan jasa keuangan.

Implementasi layanan mikro tradisional:

• Layanan rekening mengelola informasi dan saldo konsumen
• Layanan perdagangan menjalankan pesanan berdasarkan permintaan eksplisit
• Layanan data pasar memberikan harga saat ditanyakan
• Layanan notifikasi mengirimkan peringatan setelah peristiwa yang telah ditentukan sebelumnya
• Layanan manajemen risiko menerapkan pemeriksaan berbasis aturan

Ketika seorang pelanggan melakukan transaksi, sistem mengikuti jalur yang telah ditentukan sebelumnya, dengan setiap langkah terjadi ketika secara eksplisit dipicu.

Implementasi agen:

• Agen portofolio terus memantau kepemilikan dan menyarankan peluang penyeimbangan
• Agen eksekusi perdagangan memilih waktu optimal berdasarkan kondisi pasar
• Agen penilaian risiko secara proaktif mengevaluasi volatilitas pasar
• Agen komunikasi menyampaikan informasi yang relevan melalui saluran yang dipilih

Dalam praktiknya, implementasi agen menciptakan pengalaman pelanggan yang berbeda secara fundamental. Ketika volatilitas pasar meningkat, agen penilaian risiko mungkin secara mandiri menyesuaikan batas perdagangan dan memberi tahu agen portofolio, yang menganalisis kepemilikan pelanggan untuk potensi kerentanan. Sistem menunjukkan kecerdasan di luar apa yang dikodekan secara eksplisit.

Perkembangan dari monolit ke layanan ke layanan mikro ke agen mengikuti pola historis yang jelas. Setiap evolusi membawa komponen yang lebih terperinci dengan meningkatnya kecerdasan dan otonomi.

Organisasi yang menerapkan arsitektur agen dalam skala besar harus mengadopsi prinsip-prinsip rekayasa platform untuk mencapai kualitas, efisiensi biaya, dan tata kelola yang konsisten di seluruh portofolio aplikasi.

Adopsi berbasis platform

Organisasi yang berpikiran maju menggunakan platform pengembang internal (IDP) untuk mempercepat adopsi agen.

Infrastruktur agen standar

• Templat agen yang telah dikonfigurasi sebelumnya dengan pemantauan bawaan
• Pola implementasi jalur emas untuk tipe agen umum
• Penerapan layanan mandiri dengan gerbang kualitas otomatis

Observabilitas terpadu

• Pemantauan terpusat kinerja dan perilaku agen
• Penelusuran dan visualisasi interaksi lintas agen
• Deteksi anomali otomatis dengan analisis akar masalah

Fokus pengalaman pengembang

• Alat layanan mandiri untuk pengembangan dan pengujian agen
• Lingkungan pengembangan terintegrasi dengan debugging agen khusus
• Pemeriksaan kepatuhan otomatis selama pengembangan

Tata kelola dalam skala besar

• Manajemen dan penegakan kebijakan terpusat
• Evaluasi otomatis perilaku agen terhadap standar
• Jejak audit yang komprehensif untuk semua tindakan agen

Laporan rekayasa platform Gartner 2024 menyatakan bahwa pendekatan platform yang matang menghasilkan waktu pemasaran 3,2 kali lebih cepat untuk kemampuan agen baru dan kepuasan pengembang 76% lebih tinggi. 

Organisasi sekarang menghadapi pilihan: memimpin dalam mengadopsi arsitektur agen untuk contoh penggunaan yang sesuai atau mengikuti pesaing yang menangkap keuntungan awal. Bukti menunjukkan bahwa penggerak awal yang menerapkan pendekatan berbasis platform mendapatkan keunggulan kompetitif yang substansif dalam kecepatan pengembangan, fleksibilitas sistem, dan kemampuan teknis.