Pentingnya penyerapan dan integrasi data untuk AI perusahaan

Munculnya AI generatif mendorong beberapa perusahaan terkemuka untuk membatasi penggunaannya karena kesalahan penanganan data internal yang sensitif. Menurut CNN, beberapa perusahaan memberlakukan larangan internal pada alat AI generatif sementara mereka berusaha untuk lebih memahami teknologi ini dan banyak juga yang memblokir penggunaan ChatGPT internal.

Perusahaan masih sering menerima risiko penggunaan data internal ketika menjelajahi model bahasa besar (LLM) karena data kontekstual inilah yang memungkinkan LLM untuk berubah dari tujuan umum menjadi pengetahuan khusus domain. Dalam AI generatif atau siklus pengembangan AI tradisional, konsumsi data berfungsi sebagai titik masuk. Di sini, data mentah yang disesuaikan dengan kebutuhan perusahaan dapat dikumpulkan, diproses sebelumnya, disamarkan, dan diubah ke dalam format yang sesuai untuk LLM atau model lainnya. Saat ini, tidak ada proses standar yang tersedia untuk mengatasi tantangan konsumsi data, tetapi akurasi model bergantung pada proses tersebut.

1. Pembuatan informasi yang salah: Ketika dilatih pada data yang terkontaminasi (data yang berisi kesalahan atau ketidakakuratan), LLM dapat menghasilkan jawaban yang salah, yang mengarah pada pengambilan keputusan yang lemah dan potensi masalah berjenjang.
2. Peningkatan varians: Varians mengukur konsistensi. Data yang tidak memadai dapat menyebabkan jawaban yang berbeda-beda dari waktu ke waktu atau outlier yang menyesatkan, terutama yang berdampak pada kumpulan data yang lebih kecil. Varians tinggi dalam suatu model dapat mengindikasikan bahwa model tersebut bekerja dengan data pelatihan tetapi tidak memadai untuk contoh penggunaan industri di dunia nyata.
3. Cakupan data terbatas dan jawaban tidak representatif: Ketika sumber data terbatas, homogen, atau mengandung duplikat yang salah, kesalahan statistik seperti bias pengambilan sampel dapat menyimpangkan semua hasil. Hal ini dapat menyebabkan model mengecualikan seluruh area, departemen, demografi, industri, atau sumber dari percakapan.
4. Tantangan dalam memperbaiki data yang bias: Jika data bias sejak awal, "satu-satunya cara untuk menghapus sebagian data tersebut secara retroaktif adalah dengan melatih kembali algoritma dari awal." Sulit bagi model LLM untuk menemukan kembali jawaban yang berasal dari data yang tidak representatif atau terkontaminasi ketika data tersebut telah divektorisasi. Semua model ini cenderung memperkuat pemahaman mereka berdasarkan jawaban yang dipahami sebelumnya.

Penyerapan data harus dilakukan dengan benar sejak awal, karena salah penanganan dapat menyebabkan sejumlah masalah baru. Pekerjaan dasar pada data pelatihan dalam model AI sebanding dengan mengemudikan pesawat terbang. Jika sudut lepas landas berjarak satu derajat, Anda mungkin mendarat di benua lain yang tidak sesuai harapan.

Seluruh saluran AI generatif bergantung pada saluran data yang memberdayakannya, sehingga sangat penting untuk melakukan tindakan pencegahan yang benar.

1. Kualitas dan tata kelola data: Kualitas data berarti memastikan keamanan sumber data, memelihara data secara menyeluruh, dan menyediakan metadata yang jelas. Ini mungkin juga memerlukan bekerja dengan data baru melalui metode seperti mengekstraksi web atau pengunggahan. Tata kelola data adalah proses berkelanjutan dalam siklus hidup data untuk membantu memastikan kepatuhan terhadap hukum dan praktik terbaik perusahaan.
2. Integrasi data: Alat-alat ini memungkinkan perusahaan untuk menggabungkan sumber data yang berbeda ke dalam satu lokasi yang aman. Metode yang populer adalah ekstrak, muat, ubah (ELT). Dalam sistem ELT, kumpulan data dipilih dari gudang terpisah, ditransformasikan dan kemudian dimuat ke dalam kumpulan data sumber atau target. Alat ELT seperti IBM DataStage memfasilitasi transformasi yang cepat dan aman melalui mesin pemrosesan paralel. Pada tahun 2023, rata-rata perusahaan menerima ratusan aliran data yang berbeda, membuat transformasi data yang efisien dan akurat menjadi penting untuk pengembangan model AI tradisional dan baru.
3. Pembersihan dan prapemrosesan data: Hal ini mencakup pemformatan data untuk memenuhi persyaratan pelatihan LLM tertentu, alat orkestrasi, atau tipe data. Data teks dapat dipotong atau diberi token sementara data gambar dapat disimpan sebagai penanaman. Transformasi komprehensif dapat dilakukan dengan menggunakan alat integrasi data. Selain itu, mungkin ada kebutuhan untuk memanipulasi data mentah secara langsung dengan menghapus duplikat atau mengubah tipe data.
4. Penyimpanan data: Setelah data dibersihkan dan diproses, tantangan penyimpanan data muncul. Sebagian besar data dihosting di cloud atau on premises, sehingga perusahaan harus membuat keputusan tentang tempat penyimpanan data mereka. Penting untuk berhati-hati dalam menggunakan LLM eksternal untuk menangani informasi sensitif seperti data pribadi, dokumen internal, atau data pelanggan. Namun, LLM memainkan peran penting dalam menyempurnakan atau mengimplementasikan pendekatan berbasis retrieval-augmented generation (RAG). Untuk mengurangi risiko, penting untuk menjalankan proses integrasi data sebanyak mungkin di server internal. Salah satu solusi potensial adalah dengan menggunakan opsi waktu proses jarak jauh seperti.

IBM DataStage merampingkan integrasi data dengan menggabungkan berbagai alat, memungkinkan Anda untuk dengan mudah menarik, mengatur, mengubah, dan menyimpan data yang diperlukan untuk model pelatihan AI di lingkungan hybrid cloud. Praktisi data dari semua tingkat keahlian dapat menggunakan alat ini dengan menggunakan GUI no-code atau mengakses API dengan kode khusus yang dipandu.

Opsi waktu proses jarak jauh DataStage sebagai Layanan Di Mana Saja yang baru ini memberikan fleksibilitas untuk mengeksekusi transformasi data Anda. Ini memberdayakan Anda untuk menggunakan mesin paralel dari mana saja, memberi Anda kontrol atas lokasinya yang belum pernah ada sebelumnya. DataStage sebagai Layanan Di Mana Saja berbentuk kontainer ringan, sehingga Anda dapat menjalankan semua kemampuan transformasi data di lingkungan apa pun. Hal ini memungkinkan Anda untuk menghindari banyak jebakan dari penyerapan data yang buruk saat Anda menjalankan integrasi, pembersihan, dan prapemrosesan data dalam cloud pribadi virtual Anda. Dengan DataStage, Anda mempertahankan kontrol penuh atas keamanan, kualitas data, dan kemanjuran, menangani semua kebutuhan data Anda untuk inisiatif AI generatif.

Meskipun hampir tidak ada batasan pada apa yang dapat dicapai dengan AI generatif, ada batasan pada data yang digunakan model—dan data itu juga dapat membuat semua perbedaan.