Manajemen data agen: Evolusi berikutnya dari ekosistem data perusahaan

Agen AI ada di sekitar kita. Sistem ini secara mandiri melakukan tugas dengan intervensi manusia yang terbatas, sering kali dengan cara yang hampir tidak kita sadari.

Pertimbangkan kendaraan otonom: mereka merasakan lingkungan mereka, mengevaluasi konteks dan membuat keputusan sepersekian detik secara real time. Mereka menavigasi bukan karena seseorang menuliskan kode kaku untuk setiap skenario yang mungkin, tetapi karena mereka terus menafsirkan sinyal dan beradaptasi saat lingkungan berubah.

Sekarang bayangkan membawa tingkat kecerdasan yang sama ke program data perusahaan. Ribuan kumpulan data. Jutaan catatan. Miliaran keputusan berbasis data yang dibuat.

Manajemen data agen (ADM) memungkinkan tingkat orkestrasi ini. Melalui kemampuan pengambilan keputusan dari agen yang didukung AI, perusahaan mulai menemukan kembali cara mereka memproses, mengatur, dan menggunakan data mereka.

Manajemen data agen menggunakan agen AI untuk mengoordinasikan dan mengoptimalkan program data perusahaan lengkap.¹ Ini termasuk:

• Membangun pipeline data
• Menemukan sumber data
• Menyediakan dan membuat jenjang penyimpanan
• Mempertahankan konsistensi semantik
• Menegakkan tata kelola dan kontrol akses
• Memantau kualitas data dan integritas
• Mengoptimalkan beban kerja dan kinerja
• Menghasilkan analitik dan insight intelijen bisnis

Alih-alih mengandalkan alur kerja yang kaku, ADM menggunakan agen khusus untuk menghadirkan kecerdasan pada setiap tahap siklus data. Sistem ini dapat menafsirkan maksud, menentukan data dan kebijakan apa yang terlibat dan mengadaptasi operasi secara otomatis saat kondisi berubah.

Banyak dari kemampuan ini diaktifkan oleh model bahasa besar (LLM), yang menyediakan lapisan penalaran di dalam agen. LLM menggunakan pemrosesan bahasa alami untuk menafsirkan maksud dan menerjemahkannya ke dalam strategi data yang terkoordinasi—mirip dengan cara alat seperti ChatGPT atau Google Gemini menafsirkan prompt. Mereka menggunakan metadata, garis keturunan data, machine learning dan business rules untuk menentukan data apa yang relevan, bagaimana data harus divalidasi dan diatur, dan bagaimana data harus dipersiapkan untuk analitik hilir.

Dari sana, sistem agen menguraikan langkah-langkah yang diperlukan untuk menyelesaikan tugas data. Itu mungkin melibatkan mengakses sumber, menegakkan kebijakan, mengoptimalkan beban kerja, mengelola perilaku penyimpanan dan, pada akhirnya, menghasilkan output tepercaya.

Apa yang membedakan manajemen data agen dari manajemen data tradisional adalah adaptif diri, berkembang berdasarkan konteks. Ini terus belajar dari sinyal dan menyesuaikan saat kondisi berubah daripada memperlakukan alur kerja sebagai artefak tetap.

Misalnya, manajer rantai pasokan mungkin memberikan instruksi “memantau umpan yang masuk dan menyelesaikan catatan duplikat saat muncul.” Saat pesanan baru tiba, sistem yang digerakkan oleh AI menafsirkan maksud dan menyesuaikan rencananya secara real time, menggabungkan catatan, menandai inkonsistensi, dan mendelegasikan tugas ke agen saat kondisi berubah.

Meskipun masih merupakan pendekatan yang baru, organisasi sudah menggunakan ADM untuk meningkatkan keandalan data dan efisiensi operasional mereka:

• Otomatisasi kualitas data dan validasi: Mendeteksi penyimpangan data, inkonsistensi, dan perubahan tak terduga saat data berpindah melintas organisasi.

• Integrasi data layanan mandiri: Mengubah permintaan integrasi bahasa alami menjadi pipeline yang diatur dan siap digunakan.

• Penyelarasan data: Menjaga manajemen hubungan pelanggan (CRM), rantai pasokan, dan sistem keuangan tetap konsisten seiring dengan perubahan definisi atau aturan.

• Kepatuhan untuk data yang berpindah: Memastikan data tetap sesuai saat berpindah, menggunakan observabilitas berkelanjutan untuk menegakkan persyaratan kualitas, garis keturunan, dan peraturan.

• Pengayaan yang sadar konteks: Memperbarui klasifikasi dan atribut seiring dengan perkembangan logika bisnis.

• Optimalisasi orkestrasi: Menyesuaikan jalur eksekusi berdasarkan biaya, kinerja, atau kondisi sistem.

Perusahaan menghasilkan lebih banyak data di lebih banyak sistem daripada sebelumnya. Namun, seiring dengan meningkatnya volume dan arsitektur yang makin hybrid dan terdistribusi, banyak organisasi masih kesulitan untuk mengubah data kompleks tersebut menjadi insight yang dapat diandalkan dan real-time. Faktanya, 76% bisnis mengakui bahwa mereka telah membuat keputusan tanpa melihat data karena terlalu sulit untuk diakses.

Pendekatan manajemen data tradisional sangat bergantung pada manual, campur tangan manusia, sehingga lambat beradaptasi ketika skema berubah, metrik berevolusi, atau logika operasional bergeser. Manajemen data agen mendapatkan momentum karena alamat beberapa tekanan sistemik yang pendekatan lama tidak dapat diimbangi oleh:

Program data modern juga menghadapi tantangan data struktural yang tidak dapat diperbaiki oleh pendekatan manual. Lebih dari 50% organisasi mengandalkan tiga atau lebih alat integrasi data, menciptakan alur kerja yang terfragmentasi dan logika yang tidak konsisten di seluruh tim. Fragmentasi itu mengalir ke masalah yang lebih luas: pemeriksaan kualitas terjadi terlambat, aturan tata kelola melayang di seluruh sistem, pemutusan garis keturunan tidak terdeteksi dan definisi semantik tidak sinkron. Pada kenyataannya, 77% organisasi tidak memiliki bakat untuk mengelola kerumitan tersebut.

Tekanan-tekanan ini secara langsung berdampak pada tim data. Insinyur menghabiskan 10–30% waktu mereka untuk mengungkap masalah data dan 10–30% lainnya menyelesaikannya—lebih dari 770 jam per tahun per insinyur, atau lebih dari USD 40.000 dalam tenaga kerja yang terbuang. Sementara itu, analis dan pengguna bisnis menunggu rata-rata 1-4 minggu untuk mendapatkan data yang mereka butuhkan karena tugas-tugas integrasi terkotak-kotak atau terhenti.

Manajemen data agen mewakili pergeseran dalam cara perusahaan memastikan akurasi, kualitas, dan integritas data dalam skala besar. Alih-alih membuat skrip setiap transformasi atau mempertahankan aturan yang kaku, organisasi dapat memperkenalkan agen AI untuk menskalakan pembuatan pipeline, merampingkan operasi data, mengurangi hambatan, dan mempertahankan data berkualitas tinggi dengan intervensi manual yang jauh lebih sedikit. Dengan operasi yang lebih efisien dan data tepercaya di seluruh siklus hidup, tim data dapat fokus pada strategi daripada mengerjakan ulang.

Manajemen data agen menyatukan empat komponen inti—masing-masing diaktifkan oleh lapisan model AI, agen, dan teknologi semantik yang terkoordinasi:

• Menafsirkan maksud
• Melaksanakan rencana
• Menerapkan konteks semantik
• Menegakkan tata kelola

Ketika pengguna memberikan prompt atau permintaan, agen menggunakan kemampuan penalarannya untuk menafsirkan maksud. Ini merancang rencana yang menguraikan aset data yang diperlukan, aturan tata kelola, pertimbangan semantik, validasi dan langkah-langkah operasional. Agen lain kemudian menilai rencana ini dari domain masing-masing — mengkonfirmasi model yang diperlukan, business rules, garis keturunan, dependensi, dan metadata katalog sebelum tindakan apa pun dimulai.

Orkestrasi ini secara signifikan mengurangi kebutuhan tim untuk menyatukan proses secara manual di seluruh siklus hidup data, mempersingkat waktu hingga data untuk analitik, dan menyelaraskan operasi data dengan maksud bisnis. Agen juga dapat memunculkan ambiguitas dan memvalidasi asumsi, memasukkan strategi data dan kebijakan tata kelola langsung ke dalam rencana yang diusulkan.

Selanjutnya, agen AI melakukan pekerjaan yang ditentukan oleh rencana. Mereka mengakses dan menafsirkan data di seluruh sistem, menerapkan tata kelola dan pemeriksaan kualitas, mengelola perilaku penyimpanan, menjalankan langkah-langkah pemrosesan data, dan menyiapkan output untuk konsumsi hilir. Agen juga dapat mengoptimalkan biaya atau latensi, mengadaptasi operasi ketika sistem gagal, dan memetakan ketergantungan di seluruh ekosistem data.

Dengan begitu banyak bagian yang bergerak, agen AI membantu memastikan operasi data tetap dapat diandalkan saat skema berkembang atau beban kerja bergeser. Mereka mengurangi tugas berulang dan memakan waktu di seluruh siklus hidup data dan meningkatkan skalabilitas untuk inisiatif data perusahaan.

Sistem metadata tradisional menggambarkan struktur dengan menangkap bidang, format dan definisi skema. Sebaliknya, basis data vektor dapat beroperasi sebagai lapisan semantik, menangkap makna dengan merepresentasikan bagaimana elemen data berhubungan dan konteks penggunaannya. Satu menguraikan bentuknya; yang lain mengungkapkan teksturnya.

Basis data vektor menyimpan penyematan yang mewakili metrik, kumpulan data, dan istilah bisnis sebagai vektor matematika. Hal ini memungkinkan sistem agen untuk mengukur kesamaan, mengungkap hubungan semantik, dan deteksi pergeseran makna—bahkan ketika skema tetap sama.

Lapisan semantik memungkinkan:

• transformasi yang peka terhadap konteks
• Deteksi anomali
• deteksi penyimpangan semantik
• validasi aturan bisnis
• penyelarasan di seluruh katalog data

Tata kelola yang efektif merupakan dasar dari manajemen data agen. Alih-alih mengandalkan ulasan manual, sistem ini secara terus-menerus menerapkan kontrol kebijakan, kualitas, dan keamanan saat data pindah melalui siklus hidupnya. Aturan validasi dan perlindungan integritas ditegakkan selama pelaksanaan untuk memastikan output tetap akurat dan dapat dipercaya di seluruh ekosistem data perusahaan.

Beberapa organisasi bahkan menerapkan agen “penjaga” ringan—agen pengawas kecil yang memantau perilaku dan kesehatan pipeline secara real time—untuk mempertahankan observabilitas dan permukaan masalah sebelum mereka membahayakan alur kerja hilir. Pengawasan tambahan ini membantu menjaga agar pipeline otomatis tetap cepat, andal, dan selaras dengan standar manajemen data perusahaan.

Komponen-komponen ini bersatu dalam alur kerja loop tertutup yang memadukan niat manusia, perencanaan berbasis LLM, eksekusi yang diatur AI, dan validasi berkelanjutan. Interaksi yang khas mungkin terlihat seperti:

1. Pengguna menyatakan maksud: Mereka memberikan instruksi dalam bahasa alami seperti "Gabungkan CRM dan data rantai pasokan dan deteksi anomali."
   
2. Sebuah rencana dibuat: Agen perencanaan yang didukung LLM menganalisis instruksi, mengidentifikasi kumpulan data yang relevan dan menghasilkan strategi pelaksanaan yang selaras dengan kebijakan tata kelola dan strategi data.
3. Rencana dijalankan: Agen khusus terhubung ke sistem, menarik data dari gudang dan API, menyelaraskan skema, menerapkan transformasi, memvalidasi output, dan memperkaya atribut—semuanya secara real time.
4. Sistem ini memberlakukan pagar pembatas saat berjalan: Kebijakan tata kelola data dan pemeriksaan semantik diterapkan secara otomatis di setiap langkah. Logika pengawasan (lapisan agen yang mengevaluasi dan menegakkan pagar pembatas) memantau aktivitas secara real time dan memblokir tindakan yang melanggar standar.
5. Alur kerja beradaptasi dengan perubahan: Jika skema bergeser, ketergantungan putus atau definisi bisnis berkembang, sistem merencanakan ulang langkah-langkah dan menyesuaikan pola orkestrasi.

Meskipun sering dibingkai sebagai pendekatan yang bersaing, manajemen data agen sebenarnya meningkatkan manajemen master data (MDM) dengan membuatnya lebih dinamis.

MDM mendefinisikan entitas perusahaan, menetapkan aturan tata kelola, dan menjaga konsistensi di seluruh sistem pencatatan. MDM membantu menciptakan sebuah “golden record”—sumber kebenaran tunggal yang mengintegrasikan data dari berbagai sumber—sehingga semua orang dalam organisasi bekerja dengan informasi yang sama.

ADM mengoperasionalkan fondasi tersebut dengan memvalidasinya saat data pindah, menerapkannya di seluruh program data dan beradaptasi ketika kondisi berubah.

Kedua pendekatan berbeda dalam beberapa cara penting:

Di era bisnis real-time tanpa gesekan, manajemen data beralih dari alur kerja yang kaku dan berbasis aturan ke perilaku adaptif yang digerakkan oleh maksud. Riset IBM di seluruh AI, kesiapan data, dan model operasi menunjukkan tiga perubahan besar yang membentuk lingkungan manajemen data baru ini.

AI agen pindah alur kerja melampaui skrip statis dan menjadi perilaku adaptif dan sadar konteks. Pipeline akan merespons perubahan metadata, business rules, beban operasional, dan batasan tata kelola — mengubah jalur pelaksanaannya alih-alih melanggar saat kondisi bergeser.

Dalam arsitektur agen ini, sistem multi-agen menggantikan platform monolitik: agen khusus menangani penyerapan, kualitas, garis keturunan atau pengoptimalan sementara agen penga was mempertahankan keselarasan dengan niat dan kebijakan.

Data siap untuk AI tidak hanya bergantung pada akurasi skema, tetapi juga pada konsistensi semantik. Masalah kualitas data hari ini sering kali ditelusuri kembali ke penyimpangan skema, tetapi besok akan berasal dari penyimpangan semantik: makna bisnis yang berkembang tanpa perubahan struktural. Ketika segmen pelanggan bergeser atau hierarki produk berkembang, sistem agen perlu menangkap inkonsistensi dalam makna, bukan hanya format.

Memori semantik, pemahaman vektor, dan validasi sadar konteks menjadi penting untuk mempertahankan data yang dapat dipercaya dan Siap untuk AI.

Seiring dengan matangnya model operasi agen, insinyur data beralih dari pengodean tangan menjadi transformasi untuk mengawasi sistem otonom. Hal ini berarti merancang pagar pembatas, ulasan keputusan agen, dan menyelesaikan kasus-kasus baru yang muncul.

Pergeseran ini menjadikan penjelasan sebagai inti dari model: jejak penalaran, log yang dapat diaudit, dan pos pemeriksaan human-in-the-loop menjadi penting untuk kepercayaan dan kepatuhan.