Agen yang berskala versus agen yang berhenti

Setiap organisasi membutuhkan pemecah masalah. Saya berbicara tentang operator independen, menghina jenis pegangan tangan yang mengganggu perusahaan yang tidak efisien dan cukup percaya diri untuk membaca di antara baris. Ketika perangkat lunak menunjukkan tingkat kecerdasan seperti ini, kita pun berkata, “perangkat lunak ini memang langsung bekerja dengan baik.” Ketika itu adalah karyawan, kami mengatakan ”dia baru saja mengerti.” 

Lalu ada ujung spektrum yang lain, ditandai dengan penundaan, penundaan, dan keragu-raguan. Seringkali selangkah di belakang atau bertindak berdasarkan informasi yang ketinggalan zaman, roda berderit ini menghentikan semuanya dan secara rutin memunculkan salah satu frasa paling frustrasi dalam pembicaraan kantor, “Saya akan melakukannya sendiri.” 

Jutaan agen AI—dan Anda pasti tahu ini jika Anda membaca blog ini—akan dibangun dan digunakan dalam beberapa tahun ke depan. Menurut IBM® Institute for Business Value, 70% eksekutif yang disurvei mengatakan AI agen sangat penting untuk strategi masa depan mereka.  Pertanyaannya adalah, jenis agen apa yang Anda lepaskan—pemecah masalah atau pencipta masalah?   

Perbedaan antara keduanya bermuara pada musuh yang sudah dikenal: silo. Pada masa uji coba yang penuh kondisi ideal, kecenderungan untuk memperkuat bias optimisme sangat tinggi. Namun ketika solusi harus diterapkan—secara luas di tingkat perusahaan—kerumitan dalam skala bisnis yang besar sering kali memperlambat prosesnya.  Alur kerja yang rumit, tata kelola yang tambal sulam, dan akses data yang tidak konsisten membuat setiap agen berubah menjadi masalah pemeliharaan yang berdiri sendiri. Hal yang seharusnya meningkatkan produktivitas justru berubah menjadi beban besar yang menguras produktivitas. Sebut saja ini ironi AI.

Untuk menskalakan, organisasi harus mengatur semua agen mereka secara holistik, menciptakan daftar kolaborator AI yang konsisten yang diatur dengan mudah diintegrasikan dengan alat yang ada. Ketika orkestrasi bekerja, proses sejajar, silo larut dan potensi AI berubah menjadi hasil nyata. Namun, orkestrasi saja tidak akan memenangkan perlombaan AI. Data adalah pembeda. Ini adalah kekuatan yang membuat agen Anda—semuanya, bukan hanya kasus uji POC—lancar dalam bisnis Anda dan cukup dapat dipercaya untuk bertindak secara mandiri.

Lagi pula, data generik mengarah ke AI generik yang berbicara monoton yang sama dengan pesaing Anda. Atau lebih buruk lagi, data yang dikelola dengan buruk dapat mengubah AI menjadi kewajiban yang menyebarkan kesalahan lebih cepat dan lebih jauh daripada manusia mana pun.  

Butuh waktu terlalu lama bagi pasar untuk menyadari pentingnya menyiapkan data untuk AI, sebuah pengawasan yang menyebabkan ROI menjadi TBD dan memanifestasikan dirinya dalam banyak statistik yang menunjukkan bahwa sebagian besar organisasi masih terjebak dalam musim percontohan. Memang, hanya 5% organisasi yang disurvei telah mengintegrasikan AI ke dalam alur kerja dalam skala besar, menurut sebuah laporan dari MIT. 

Koreksi besar saat ini sedang berlangsung karena organisasi menuangkan miliaran dolar ke dalam inisiatif data mereka. Menurut data survei yang akan datang dari IBM® Institute of Business Value, sekitar 13% anggaran TI dialokasikan untuk strategi data pada tahun 2025, naik dari 4% pada tahun 2022. Demikian pula, 82% dari chief data officer yang disurvei melaporkan bahwa mereka merekrut untuk peran yang tidak ada tahun lalu.  

Tujuannya, tentu saja, adalah untuk mengilhami AI Anda dengan jenis data eksklusif dan tepercaya yang membuat bisnis Anda unik. Ketika Anda atau pelanggan Anda prompt AI Anda, ia harus mengembalikan informasi yang relevan secara kontekstual yang konsisten dengan tujuan, nilai, dan kewajiban peraturan organisasi Anda. Agentic AI meningkatkan taruhannya lebih jauh. Ketika Anda menggerakkan agen dan memberdayakannya untuk membuat keputusan dan mengejar tujuan eksplisit, Anda harus percaya bahwa ia mengetahui bisnis Anda dan budayanya—data Anda—di dalam dan luar. 

Agar agen berhasil, mereka membutuhkan data berkualitas—yang, menurut The Data Management Association, adalah data yang akurat, lengkap, konsisten, tepat waktu, unik, dan valid. IBM® menambahkan dimensi kualitas data ketujuh, homogenitas, yang merupakan ukuran kualitas yang memastikan beragam data dapat diselaraskan untuk interpretasi yang konsisten dan diperkaya untuk pemahaman semantik.

Mempertahankan kualitas data tidaklah mudah, terutama di era zettabyte. Jaminan kualitas manual memakan waktu, rawan kesalahan, dan membutuhkan skala profesional data yang sama sekali tidak ada di tengah kekurangan bakat yang terus-menerus. 

Organisasi telah mencoba menjembatani kesenjangan ini dengan membangun tumpukan data secara genting yang ditumpuk dengan gudang data, data lake, dan Integrasi. Patch, dasbor, dan skrip menambah beban lebih lanjut. Pendekatan ad hoc terlalu sering mengarah pada hutang teknis yang terus bertambah—dan tidak dapat diprediksi. Inovasi meluncur ke belakang ketika staf TI Anda terjebak dalam pemeliharaan belaka, menuangkan produktivitas mereka ke celah-celah di data estate Anda. 

Ke mana kita pergi dari sini? 

Jawabannya dimulai dengan lapisan data yang menghubungkan, memperkaya, dan mengatur semua sumber data Anda dan berfungsi sebagai sumber bagi agen AI yang fasih dalam konteks dan suara organisasi Anda. Dengan fondasi itu, agen memberikan keputusan yang dapat Anda percayai—mempercepat alur kerja, mengurangi risiko, dan mendorong produktivitas dalam skala besar.

Metadata adalah bahasa lapisan itu. Ini memberikan konteks yang membuat data Anda mudah dikonsumsi untuk AI atau beban kerja yang lebih tradisional, seperti analitik dan rekayasa data. Namun, klasifikasi manual tidak memiliki skala. Penandaan otomatis melakukannya—karena menerapkan struktur pada kecepatan penyerapan. Ini menangkap garis keturunan, sensitivitas, dan makna bisnis—dengan pengawasan manusia yang tersedia saat diperlukan—untuk mengurangi risiko dan mempercepat tugas hilir, seperti pengambilan dan kepatuhan. Singkatnya, itu mengubah aset mentah menjadi pengetahuan kontekstual yang diatur bahkan sebelum ada yang memintanya. 

Konteks sangat kuat. Pada akhirnya, ini mengarah pada AI yang lebih akurat dan pengambilan keputusan yang lebih percaya diri. Namun, data tanpa izin yang tepat adalah kewajiban, bukan aset.

Aturan akses tidak boleh ada di dalam spreadsheet. Mereka harus bepergian dengan membawa data. Saat aset berpindah dari penyimpanan dokumen ke lakehouse hingga ke proses fine-tuning, izin aksesnya pun harus ikut berpindah. Ketika kebijakan diterapkan berdasarkan identitas, peran, dan tujuan, orang yang tepat akan melihat data yang tepat pada waktu yang tepat. Proses ini mengurangi risiko, mencegah terjadinya keterpaparan data secara tidak sengaja, dan menjaga kepatuhan agar tidak berubah menjadi situasi darurat yang merepotkan.

Tata kelola yang kuat sangat penting, tetapi itu hanya sebagian dari persamaan. Arsitektur di bawahnya menentukan apakah kontrol berskala atau terhenti. Desain terbuka dan hybrid dengan desain adalah pendekatan yang tepat karena sebagian besar perusahaan sudah menjangkau beberapa cloud dan lingkungan on-prem. Memisahkan penyimpanan dan komputasi menghindari migrasi yang mahal dan gangguan yang ditimbulkannya. Format file terbuka, seperti Apache Iceberg, memungkinkan ini dengan memisahkan aplikasi dari penyimpanan, membiarkan alat membaca dan menulis data di tempat—di mana pun itu berada. Mereka juga mencegah penguncian ke basis data vendor tunggal. Fleksibilitas bukanlah suatu kemewahan — ini adalah perlindungan terhadap biaya tak terkendali dan sistem kaku yang tidak dapat beradaptasi ketika prioritas bergeser. Tidak heran kemudian, bahwa tiga perempat organisasi berharap untuk meningkatkan penggunaan teknologi AI sumber terbuka — termasuk format file terbuka — selama beberapa tahun ke depan, mengutip biaya implementasi dan pemeliharaan yang lebih rendah, menurut sebuah studi dari McKinsey. 

Data yang tidak terstruktur masih menjadi sumber daya besar yang belum dimanfaatkan. Faktur, email, log, gambar—bahkan blog ini—saya harap berisi insight yang jarang masuk ke analitik karena tersebar di seluruh sistem, terkunci dalam format yang tidak kompatibel, dan tidak memiliki label yang rapi. Ekstraksi manual tidak dapat dilakukan. Hal ini menuntut usaha manusia selama berjam-jam, mengundang kesalahan, dan runtuh akibat beban data berskala perusahaan. Otomatisasi adalah satu-satunya cara untuk menerapkan ketertiban di tingkat perusahaan: mengidentifikasi entitas, menangkap nilai, dan melapisi semantik yang mencerminkan bagaimana bisnis Anda sebenarnya berbicara dan bagaimana ia ingin tampil di pasar. Dari situlah muncul sebuah skema yang dapat diproses oleh mesin dan dapat dipercaya oleh manusia—serta agen AI. 

Ketika data yang diperkaya ini mengalir ke dalam lapisan retrieval yang memadukan text-to-SQL, pencarian vektor, dan kueri hibrida, para agen tidak lagi menebak-nebak. Mereka mulai bernalar dan bertindak dengan percaya diri. Sebaliknya, sistem RAG tradisional sering berjuang untuk memahami konteks, membuatnya tidak cocok untuk penalaran skala perusahaan. Pendekatan terpadu menghindari jebakan tersebut, memberi agen kedalaman dan presisi yang mereka butuhkan untuk bertindak tegas.

Mengubah kekacauan yang tidak terstruktur menjadi kejelasan terstruktur adalah awal, tetapi kecerdasan adalah apa yang membuat kejelasan itu berguna. Tanpa itu, bahkan data yang terorganisir dengan baik tetap lembam. Kecerdasan data memberi setiap aset sebuah cerita — dari mana asalnya, bagaimana ia berubah dan siapa yang bertanggung jawab untuk itu. Katalogisasi dan silsilah bukan sekadar urusan rumah tangga; keduanya merupakan fondasi kepercayaan. Penilaian mutu memastikan agen tidak mengambil kesimpulan berdasarkan alasan yang tidak kuat. Menerbitkan produk data dengan istilah yang terdefinisi dengan baik mengubah sumber daya mentah menjadi layanan habis pakai yang dapat diandalkan oleh tim. Ketika seorang agen mengutip sebuah angka, sumbernya harus hanya dengan satu klik. Ketika definisi berubah, setiap sistem dependen harus tahu sebelum keputusan berikutnya dibuat.

Namun kecerdasan saja tidak cukup. Laporan Cara Kerja AI IBM® 2024 menemukan bahwa kompleksitas data—termasuk integrasi di seluruh sistem yang terfragmentasi—tetap menjadi salah satu hambatan utama untuk penskalaan AI. Agen dan sistem lain yang bergantung pada data membutuhkan integrasi yang berkelanjutan daripada satu dan selesai. Integrasi adalah bagaimana data dibentuk dalam gerakan: distandardisasi, diperkaya, diatur, dan siap digunakan saat mengalir. Pipeline harus beradaptasi dengan setiap proses, belajar dari drift dan mengoptimalkan kinerja, biaya, dan kualitas. Kemampuan observasi juga penting. Ketika integrasi bersifat transparan dan responsif, sistem hilir—termasuk para agen—tidak akan mewarisi kesalahan yang tidak terdeteksi atau logika yang sudah usang.

Ketika integrasi dan kecerdasan bekerja selaras, hasilnya terasa begitu alami: semuanya berjalan begitu saja. Bukan karena keberuntungan, tetapi karena arsitektur di bawahnya disengaja. Lapisan data yang menghubungkan properti Anda, menerapkan makna, dan membawa tata kelola melalui setiap gerakan—agen atau lainnya—meningkatkan akurasi dan mendorong pengambilan keputusan yang percaya diri. Begitulah cara Anda mengubah demo yang menjanjikan menjadi sistem yang dapat diandalkan. Itulah cara Anda pindah dari pilot ke produksi tanpa kehilangan plot.