Dengan AI generatif, rekayasa sosial menjadi lebih berbahaya—dan lebih sulit dikenali

Begitulah yang dirasakan Stephanie Carruthers, Global Lead of Cyber Range dan Chief People Hacker IBM, pada tahun 2022. ChatGPT baru-baru ini membawa kecerdasan buatan generatif ke dalam kesadaran publik. Kombinasi dari kemampuan bahasa manusia yang luar biasa dan basis pengetahuan yang mendalam membuat banyak orang bertanya-tanya bagaimana hal ini dapat mengubah dunia.

Dan bagaimana hal itu bisa mengubah pekerjaan mereka. 

"Saat pertama kali diperkenalkan, orang-orang terus bertanya kepada saya: 'Apakah Anda takut AI akan mengambil pekerjaan Anda?" kata Carruthers. “Saya pikir itu tidak bisa. Kami harus mencapai titik di mana AI benar-benar dapat memahami seseorang dan membangun kampanye khusus untuk melawan mereka sebelum hal itu terjadi."

Sebagai bagian dari IBM® X-Force, Carruthers menjalankan skema rekayasa sosial tiruan dan serangan siber untuk membantu perusahaan memperkuat pertahanan mereka terhadap hal yang nyata. Model AI generatif awal dapat membuat beberapa penipuan phishing yang cukup umum, tetapi mereka tidak dapat melakukan serangan canggih yang menyebabkan kerusakan serius. Skema tersebut membutuhkan penelitian mendalam, perencanaan yang cermat, dan dalih yang sangat bertarget.  

Namun, banyak yang bisa terjadi dalam dua setengah tahun. Saat ini, banyak model bahasa besar (LLM) yang dapat menelusuri web secara real time. Agen AI, yang mampu merancang alur kerja dan melakukan tugas secara mandiri, dapat melangkah lebih jauh dengan menggunakan informasi yang mereka temukan untuk menginformasikan tindakan mereka.

Tidak lagi tampak seperti hiperbola untuk membayangkan bot berbasis AI yang dapat dengan sempurna menyesuaikan serangan rekayasa sosial untuk individu tertentu. Yang dibutuhkan hanyalah aktor ancaman untuk menggerakkannya. 

“Kita telah mencapai titik yang membuat saya khawatir,” kata Carruthers. “Dengan sangat sedikit prompt, model AI dapat menulis pesan phishing yang ditujukan hanya untuk saya. Itu menakutkan."

Menurut IBM X-Force Threat Intelligence Index 2025, aktor ancaman saat ini, rata-rata, mengejar kampanye yang lebih besar dan lebih luas daripada yang mereka lakukan sebelumnya. Perkembangan ini sebagian merupakan masalah perubahan Tactics, karena banyak penyerang telah mengalihkan fokus mereka ke serangan rantai pasokan yang memengaruhi banyak korban sekaligus.

Tapi ini juga masalah mengubah alat. Banyak penyerang telah mengadopsi AI generatif seperti magang atau asisten, menggunakannya untuk membangun situs web, menghasilkan kode berbahaya, dan bahkan menyusun email phishing. Dengan cara ini, AI membantu aktor ancaman melakukan lebih banyak serangan dalam waktu yang lebih singkat. 

“Model AI benar-benar membantu penyerang merapikan pesan mereka,” kata Carruthers. “Membuat mereka lebih ringkas, membuat mereka lebih mendesak—menjadikannya sesuatu yang disukai lebih banyak orang.”

Carruthers menunjukkan bahwa tata bahasa yang buruk dan pergantian frasa yang janggal telah lama menjadi salah satu tanda yang paling umum dalam upaya phishing. Penjahat siber cenderung tidak tekun dengan pemeriksaan ejaan, dan mereka sering menulis dalam bahasa kedua dan ketiga, yang menyebabkan volume kesalahan yang lebih tinggi secara keseluruhan.  

Namun, alat AI generatif dapat menghasilkan prosa yang sempurna secara teknis di hampir semua bahasa dunia utama, menyembunyikan beberapa cerita rekayasa sosial yang paling jelas dan memperdaya lebih banyak korban. 

AI juga dapat menulis pesan-pesan itu jauh lebih cepat daripada yang bisa dilakukan seseorang. Carruthers dan tim X-Force melakukan beberapa eksperimen dan menemukan bahwa AI generatif dapat menulis email phishing yang efektif dalam lima menit. Bagi sebuah tim yang terdiri dari manusia untuk menulis pesan yang sebanding, dibutuhkan waktu sekitar 16 jam, dengan penelitian mendalam tentang target yang menghabiskan sebagian besar waktu tersebut. 

Pertimbangkan juga bahwa teknologi deepfake memungkinkan model AI untuk membuat gambar palsu, audio, dan bahkan panggilan video, memberikan kredibilitas lebih lanjut untuk skema mereka.    

Pada tahun 2024 saja, orang Amerika kehilangan USD 12,5 miliar karena serangan phishing dan penipuan lainnya. Jumlah tersebut mungkin akan meningkat karena semakin banyak penipu yang menggunakan AI generatif untuk membuat pesan phishing yang lebih meyakinkan, dalam lebih banyak bahasa, dan dalam waktu yang lebih singkat. 

Dan dengan kedatangan agen AI, penipu dapat meningkatkan operasi mereka lebih jauh.

Penelitian sering membuat perbedaan antara serangan siber yang gagal dan serangan yang sukses. Dengan meneliti target mereka—organisasi atau individu—aktor ancaman dapat menyusun rencana yang disesuaikan dengan sempurna, menyusun cerita yang secara ahli menarik hati yang tepat, dan mengembangkan malware yang mencari kerentanan yang tepat.

Dan penyerang dapat menemukan banyak informasi yang mereka butuhkan secara online.

“Anda dapat mempelajari banyak hal tentang seseorang hanya dengan melihat media sosialnya, situs web perusahaannya, atau di mana saja di web terbuka,” kata Carruthers. “Ada begitu banyak informasi yang orang masukkan dalam postingan blog, siaran pers, media, dan bahkan postingan lowongan pekerjaan.”

Postingan pekerjaan adalah contoh yang baik tentang bagaimana penyerang dapat mengubah informasi yang tampaknya tidak berbahaya terhadap korbannya.

"Dengan membaca postingan pekerjaan Anda, saya bisa mengetahui seperti apa tumpukan teknologi Anda dan siapa vendor Anda," jelas Carruthers. “Sekarang, saya dapat menyesuaikan malware saya dengan lingkungan Anda. Saya tahu dari vendor mana saya bisa berpura-pura berasal.”

Pakar seperti Carruthers khawatir bahwa dengan agen AI, yang dapat merancang alur kerja dan menggunakan alat untuk mencapai tujuan yang kompleks, penyerang mungkin mengotomatiskan lebih dari sekadar email phishing dan situs web palsu.

Penyerang secara teoretis dapat menggunakan agen AI untuk mengumpulkan informasi, menganalisisnya, merumuskan rencana serangan dan menghasilkan pesan penipuan dan deepfake untuk digunakan dalam serangan tersebut. 

Proses tersebut jauh lebih besar daripada membuat variasi pesan phishing yang sama dengan gaya penulisan yang berbeda untuk target yang berbeda. Ini adalah bentuk phishing tombak yang sangat tertarget yang ditingkatkan, yang secara luas dianggap sebagai bentuk rekayasa sosial yang paling efektif.

Pakar keamanan siber belum mendeteksi agen AI berbahaya di alam liar dalam jumlah yang berarti, tetapi ini mungkin hanya masalah waktu. Sebuah berita baru-baru ini dari MIT Teknologi Review mengutip Mark Stockley dari Malwarebytes yang mengatakan, "Saya pikir pada akhirnya kita akan hidup di dunia di mana sebagian besar serangan dunia maya dilakukan oleh agen. Ini benar-benar hanya pertanyaan tentang seberapa cepat kita sampai di sana.”

Di era AI generatif, banyak pertahanan tradisional yang dapat diandalkan terhadap serangan rekayasa sosial tidak lagi berfungsi. 

“Hal pertama yang kami ajarkan kepada karyawan kami adalah untuk memperhatikan tata bahasa yang buruk, kesalahan ketik, dan hal-hal semacam itu,” kata Carruthers. “Itu bukan hal yang penting lagi bagi penyerang canggih yang menggunakan AI.”

Jika tanda bahaya khas ini tidak lagi berfungsi, salah satu pilihan adalah mengalihkan fokus pelatihan kesadaran keamanan ke diskusi yang lebih substantif tentang taktik rekayasa sosial.

Insinyur sosial sangat bergantung pada peniruan, informasi yang salah, dan manipulasi emosional, seperti yang telah dibahas Carruthers sebelumnya. Penipuan yang didukung AI mungkin membuat lebih sedikit kesalahan ejaan, tetapi mereka masih mengandalkan kiasan dan pola yang sama seperti serangan rekayasa sosial klasik. Jika karyawan belajar untuk menemukan tanda-tanda ini, mereka dapat menggagalkan lebih banyak kejahatan dunia maya. 

Insinyur sosial memangsa psikologi manusia, seperti rasa ingin tahu, ketakutan, keinginan untuk membantu dan keinginan untuk menyesuaikan diri. Para penipu mengalibrasi pesan mereka untuk menyulut emosi ini: "Saya ingin Anda mengirimkan uang ini sekarang juga, atau sesuatu yang sangat buruk akan terjadi."

Sebagian besar interaksi yang sah di tempat kerja mengandung lebih sedikit muatan emosional. Pekerjaan bisa membuat stres, rekan kerja bisa bersikap pasif-agresif, dan atasan bisa sangat menuntut. Namun, kebanyakan orang mencoba mempertahankan setidaknya sedikit kesopanan.

Permintaan—bahkan yang mendesak sekalipun—cenderung memiliki nada yang lebih datar: "Hei, bisakah Anda memastikan bahwa faktur ini dibayar hari ini? Kami terlambat karena kesalahan administrasi, dan saya tidak ingin menyalahkan vendor."

Permintaan yang signifikan, disampaikan dengan emosi yang kuat, harus menjadi tanda untuk berhenti dan berpikir.

Insinyur sosial adalah penutur cerita, dan mereka cenderung berpegang pada beberapa alur cerita yang sudah teruji. Beberapa yang paling umum termasuk:

• Aku bosmu, dan aku butuh bantuanmu. Jangan tanyakan apa pun padaku.

• Saya dari IT/keamanan siber/vendor teknologi, dan sistem Anda telah disusupi. Kita harus bergerak sekarang.

• Saya seorang vendor, dan saya akan segera menghentikan layanan jika Anda tidak melakukan sesuatu untuk saya. 

• Saya seorang petugas penegak hukum atau pejabat pemerintah, dan Anda akan masuk penjara hari ini jika Anda tidak membayar denda ini.

• Saya orang asing, tapi saya punya peluang investasi yang luar biasa untukmu.

• Saya dari layanan pos, dan ada masalah dengan pengiriman paket Anda. Klik tautan ini untuk menyelesaikan masalah. 

• Saya menggunakan layanan atau merek yang Anda percayai, dan akun Anda telah diretas. Ambil tindakan sekarang untuk memperbaikinya. 

• Saya menggunakan layanan atau merek yang Anda percayai, dan kami memiliki penawaran luar biasa untuk Anda. Ambil tindakan sekarang untuk mengklaimnya.

Konon, penyerang paling licik mempersonalisasi cerita mereka sebanyak mungkin. Alih-alih berhenti pada tinjauan tingkat tinggi, Carruthers menyarankan agar organisasi menyelaraskan pelatihan keamanan mereka untuk secara khusus menangani jenis ancaman siber yang paling mungkin dihadapi karyawan mereka.

“Evaluasi kembali seperti apa pelatihan kesadaran keamanan Anda dalam konteks serangan apa yang sebenarnya terjadi di organisasi Anda saat ini,” kata Carruthers. “Apakah Anda menerima panggilan telepon penipuan jenis tertentu? “Gabungkan panggilan tersebut ke dalam pelatihan Anda.”

Seiring dengan pengerjaan ulang konten pelatihan, Carruthers menyarankan agar pelatihan lebih sering diberikan. Dengan demikian, hal ini bisa membantu pelajaran tetap melekat dan menjaga tips berharga tetap segar di benak mereka—membuat mereka lebih mungkin untuk menerapkan langkah-langkah keamanan yang telah mereka pelajari.  

“Karyawan biasanya diserang terlebih dahulu untuk membahayakan seluruh organisasi,” kata Carruthers. “Jika kita memberi mereka satu jam pelatihan setahun sekali, apakah itu benar-benar cukup?”

Orang dapat mendeteksi lebih banyak serangan yang sedang berlangsung dengan mencari tanda-tanda bahaya. Namun mereka dapat menghentikan beberapa serangan agar tidak terjadi sama sekali dengan membatasi apa yang mereka posting. 

"Sangat penting bagi individu dan organisasi untuk mengetahui apa yang Anda unggah secara online," kata Carruthers.

Dalam istilah rekayasa sosial, kekuatan teknologi AI dan LLM berasal dari kemampuan mereka untuk menggali dan menganalisis sejumlah besar informasi tentang target. Jika tidak ada informasi seperti itu yang dapat ditemukan, perangkat AI tidak dapat membuat serangan yang disesuaikan, sehingga lebih sulit bagi mereka untuk menipu korban, tidak peduli seberapa rapi tulisan mereka.

Carruthers menunjukkan bahwa "menghindari berbagi secara berlebihan" adalah saran yang umum, tetapi tips ini sering diartikan sebagai "Jangan memosting informasi rahasia secara online". Namun penipu bahkan dapat menggunakan beberapa informasi yang tidak sensitif untuk membuat serangan mereka lebih meyakinkan.  

"Banyak posisi pekerjaan yang hanya menggambarkan sedikit bagan organisasi: 'Jabatan ini melapor ke jabatan ini, dan jabatan ini melapor ke jabatan ini,’” jelas Carruthers. "Itu informasi berharga. Saya tahu seperti apa organisasi Anda. Saya tahu judul apa yang harus digunakan dan peran apa yang harus pura-pura saya miliki.”

Meskipun individu dapat mempertahankan pengaturan privasi yang ketat pada akun media sosial mereka, pendekatan tersebut tidak terlalu praktis untuk organisasi. Tetapi bisnis bisa lebih berhati-hati terkait apa yang mereka tunjukkan di luar sana, seperti mengaburkan lencana karyawan dalam gambar.

"Kebanyakan orang tidak berpikir menemukan gambar lencana karyawan itu masalah besar," lanjut Carruthers. "Dari aspek rekayasa sosial, sekarang saya bisa meniru tampilan lencana tersebut, yang membuat saya lebih mudah untuk masuk ke dalam gedung yang bukan hak saya."