Sumber terbuka, risiko terbuka: Meningkatnya bahaya AI generatif yang tidak diatur

Sementara model AI generatif arus utama memiliki hambatan keamanan bawaan, alternatif sumber terbuka tidak memiliki batasan seperti itu. Inilah artinya bagi kejahatan siber.

Ada sedikit keraguan bahwa sumber terbuka adalah masa depan perangkat lunak. Menurut Laporan State of Sumber Terbuka 2024, lebih dari dua pertiga bisnis meningkatkan penggunaan perangkat lunak sumber terbuka pada tahun lalu.

Tidak terkecuali AI generatif. Jumlah pengembang yang berkontribusi pada proyek sumber terbuka di GitHub dan platform lainnya melonjak. Organisasi menginvestasikan miliaran dolar dalam AI generatif di berbagai contoh penggunaan, mulai dari chatbot layanan pelanggan hingga pembuatan kode. Banyak dari mereka sedang membangun model AI kepemilikan, baik dari awal maupun dengan memanfaatkan proyek sumber terbuka sebagai dasarnya.

Tetapi bisnis yang sah bukan satu-satunya yang berinvestasi dalam AI generatif. Ini juga merupakan tambang emas yang sesungguhnya bagi aktor jahat, dari negara-negara nakal yang bertekad untuk menyebarkan informasi yang salah di antara pesaing mereka hingga penjahat siber yang mengembangkan kode berbahaya atau penipuan phishing yang ditargetkan.

Untuk saat ini, salah satu dari beberapa hal yang menahan pelaku jahat adalah batasan yang diaktifkan pengembang untuk melindungi model AI mereka dari penyalahgunaan. ChatGPT tidak akan secara sadar menghasilkan email phishing, dan Midjourney tidak akan membuat gambar yang vulgar. Namun, model-model ini milik ekosistem sumber tertutup sepenuhnya, dan pengembangnya memiliki otoritas untuk menentukan tujuan penggunaan yang diizinkan atau tidak diizinkan untuk model tersebut.

Hanya butuh waktu dua bulan sejak dirilis untuk umum bagi ChatGPT untuk mencapai 100 juta pengguna. Sejak itu, ribuan pengguna telah mencoba menerobos batasan dan 'jailbreak' untuk melakukan apa pun yang mereka inginkan—dengan berbagai tingkat keberhasilan.

Kemunculan model sumber terbuka yang tak terbendung akan membuat pagar pembatas ini menjadi usang. Meskipun kinerja biasanya tertinggal dari model sumber tertutup, tidak diragukan lagi model sumber terbuka akan meningkat. Alasannya sederhana — pengembang dapat menggunakan data apa pun yang mereka suka untuk melatih mereka. Di sisi positifnya, ini dapat mempromosikan transparansi dan persaingan sambil mendukung demokratisasi AI — alih-alih meninggalkannya semata-mata di tangan perusahaan besar dan regulator.

Namun, tanpa perlindungan, AI generatif adalah sasaran berikutnya bagi kejahatan siber. AI jahat FraudGPT dan WormGPT tersedia secara luas di pasar dark web. Keduanya didasarkan pada model bahasa besar (LLM) sumber terbuka GPT-J yang dikembangkan oleh EleutherAI pada tahun 2021.

Aktor jahat juga menggunakan synthesizer gambar sumber terbuka seperti Stable Diffusion untuk membangun model khusus yang mampu menghasilkan konten yang kasar. Konten video buatan AI sudah dekat. Kemampuannya saat ini hanya dibatasi oleh ketersediaan model sumber terbuka berkinerja tinggi dan daya komputasi yang cukup besar yang diperlukan untuk menjalankannya.

Mungkin organisasi tergoda untuk mengabaikan masalah ini sebagai ancaman eksternal yang seharusnya dapat ditangani oleh tim terlatih dengan peralatan yang memadai. Tetapi karena makin banyak organisasi berinvestasi dalam membangun model AI generatif eksklusif, mereka juga berisiko memperluas permukaan serangan internal mereka.

Salah satu sumber ancaman terbesar dalam pengembangan model adalah proses pelatihan itu sendiri. Misalnya, jika ada data rahasia, berhak cipta, atau salah dalam kumpulan data pelatihan, data tersebut mungkin muncul kembali nanti sebagai tanggapan atas prompt. Ini bisa disebabkan oleh pengawasan dari pihak tim pengembangan atau karena serangan keracunan data yang disengaja oleh aktor jahat.

Serangan prompt injeksi adalah sumber risiko lain, yang melibatkan penipuan atau jailbreak pada sebuah model untuk menghasilkan konten yang bertentangan dengan ketentuan penggunaan vendor. Itu adalah risiko yang dihadapi setiap model AI generatif, tetapi risikonya bisa dibilang lebih besar di lingkungan sumber terbuka yang tidak memiliki pengawasan yang memadai. Setelah alat AI bersumber terbuka, organisasi tempat mereka berasal kehilangan kendali atas pengembangan dan penggunaan teknologi.

Cara termudah untuk memahami ancaman yang ditimbulkan oleh AI yang tidak diatur adalah dengan meminta yang sumber tertutup untuk berperilaku buruk. Biasanya mereka tidak mau bekerja sama, tetapi banyak contoh menunjukkan bahwa dengan prompt yang kreatif dan sedikit trial and error, hal itu bisa dilakukan. Namun, Anda tidak akan mengalami batasan seperti itu dengan sistem AI sumber terbuka yang dikembangkan oleh organisasi seperti Stability AI, eLeutherAI atau Hugging Face — atau, dalam hal ini, sistem berpemilik yang Anda bangun di rumah.

Pada akhirnya, ancaman model AI sumber terbuka terletak pada seberapa terbuka mereka terhadap penyalahgunaan. Sementara memajukan demokratisasi dalam pengembangan model itu sendiri merupakan tujuan yang mulia, ancamannya hanya akan berkembang dan tumbuh dan bisnis tidak dapat berharap untuk mengandalkan regulator untuk mengikutinya. Itu sebabnya AI sendiri juga telah menjadi alat penting dalam gudang profesional keamanan siber. Untuk memahami alasannya, baca panduan kami tentang keamanan siber AI.