AI dapat menulis kode, tetapi dapatkah mengalahkan insinyur perangkat lunak?

Kecerdasan buatan dapat menghasilkan kode tetapi tidak bisa berpikir seperti insinyur perangkat lunak.

Itulah kesimpulan dari riset baru dari Laboratorium Ilmu Komputer dan Kecerdasan Buatan MIT, yang menemukan bahwa sementara model bahasa besar (LLM) unggul dalam menghasilkan cuplikan kode, mereka gagal dalam memenuhi penalaran, perencanaan, dan kolaborasi canggih yang dituntut oleh rekayasa perangkat lunak dunia nyata. Studi yang dilakukan bekerja sama dengan para peneliti dari Stanford, UC Berkeley dan Cornell dan dipresentasikan pada Konferensi Internasional tentang machine learning minggu ini, menantang asumsi tentang kesiapan AI untuk mengubah pengembangan perangkat lunak.

“Perencanaan kode jangka panjang membutuhkan tingkat penalaran dan interaksi manusia yang canggih,” Alex Gu, kandidat PhD di MIT CSAIL dan penulis utama studi tersebut, mengatakan dalam sebuah wawancara dengan IBM Think. “Model harus mempertimbangkan berbagai pertukaran, seperti kinerja, memori, kualitas kode, dll., dan menggunakannya untuk secara akurat memutuskan bagaimana merancang kode.”

Alat pengodean AI sekarang menjadi hal yang penting dalam pengembangan perangkat lunak modern. Pada tahun 2025, 82% pengembang melaporkan menggunakan alat pengodean AI setiap minggu atau lebih, dan 59% mengatakan mereka mengandalkan tiga atau lebih asisten dalam alur kerja mereka. 78% lainnya melaporkan peningkatan produktivitas yang jelas, menunjukkan seberapa dalam AI membentuk cara kode ditulis saat ini.

Riset MIT mendefinisikan apa yang disebutnya “perencanaan kode cakrawala panjang” sebagai batasan utama sistem AI saat ini. Menurut Gu, ini melibatkan penalaran tentang bagaimana kode cocok dengan sistem yang lebih besar dan mempertimbangkan konsekuensi global dari keputusan lokal.

“Perencanaan kode jangka panjang membutuhkan tingkat penalaran dan interaksi manusia yang canggih,” kata Gu. “Model harus mempertimbangkan pertukaran seperti kinerja, memori dan kualitas kode, dan menggunakannya untuk memutuskan bagaimana merancang kode.”

Gu menunjuk contoh merancang bahasa pemrograman baru. Tugas tersebut, jelasnya, membutuhkan mempertimbangkan semua berbagai cara bahasa harus digunakan, memutuskan fungsi API apa yang akan diekspos dan memikirkan pola penggunaan pengguna. Studi ini mencatat bahwa model juga harus beralasan tentang efek global dari perubahan kode lokal, karena sedikit perubahan pada desain fungsi tunggal dapat menyebar ke seluruh basis kode.

Riset MIT mengidentifikasi masalah dalam cara kemampuan pengodean AI saat ini dievaluasi. Menurut Gu, sebagian besar tolok ukur pengodean berfokus pada menghasilkan program kecil yang mandiri dari awal, yang tidak mencerminkan realitas rekayasa perangkat lunak skala besar.

“Satu aspek yang kami sebutkan adalah keberagaman tugas: sementara rekayasa perangkat lunak dunia nyata [SWE] melibatkan tugas-tugas seperti pengujian perangkat lunak atau pemeliharaan perangkat lunak, ini jarang tercermin dalam tolok ukur saat ini,” kata Gu.

Sama pentingnya, tambahnya, adalah kemampuan sistem AI untuk menyimpulkan niat pengguna, keterampilan yang penting untuk menyesuaikan solusi untuk contoh penggunaan tertentu. “Sebuah situs web untuk bisnis mungkin perlu lebih kuat daripada situs web yang dirancang untuk bersenang-senang.”

Riset menemukan bahwa LLM berkinerja terbaik pada tugas-tugas yang sangat mirip dengan contoh yang terlihat selama pelatihan, menciptakan tantangan untuk proyek yang bergantung pada bahasa pemrograman sumber daya rendah atau perpustakaan khusus. Menurut Gu, bahasa sumber daya rendah dan perpustakaan khusus relatif jarang muncul di kumpulan data ini, sehingga LLM lebih berjuang dengannya.

“Melakukan tugas-tugas ini lebih bergantung pada ekstrapolasi ke data dan domain yang tidak terlihat (generalisasi), yang sering kali lebih sulit daripada mengulangi kode yang mirip dengan distribusi pelatihan,” kata Gu.

Menurut penelitian tersebut, keterbatasan ini berarti bahwa agen pengodean AI cenderung kurang efektif dalam sistem lama, lingkungan komputasi ilmiah, dan alat internal di mana dokumentasi mungkin terbatas.

Studi MIT mengidentifikasi kebutuhan sistem AI untuk mengembangkan model semantik yang akurat dari basis kode proyek. Menurut Gu, ini melibatkan pemahaman struktur perangkat lunak, bagaimana komponen berinteraksi dan bagaimana hubungan tersebut berubah dari waktu ke waktu.

“Pertama, AI harus memahami struktur basis kode dan bagaimana berbagai bagian bersatu,” katanya. “Kedua, ia harus memahami bagaimana fungsi individu bekerja. Akhirnya, ia harus memperbarui model basis kode saat fitur baru ditambahkan.”

Studi ini mencatat bahwa model AI saat ini tidak memiliki keadaan yang persisten antara prompt, sehingga tidak memiliki memori tentang bagaimana basis kode telah berkembang atau representasi internal dari arsitekturnya.

Terlepas dari keterbatasan ini, penulis mengidentifikasi beberapa area untuk peningkatan potensial. Gu mengatakan tolok ukur yang lebih baik dapat membantu—terutama jika mereka dapat mengevaluasi sistem AI pada berbagai tugas yang lebih luas, termasuk pengujian, pemeliharaan, dan kolaborasi manusia-AI.

Ia juga melihat potensi jangka pendek di bidang-bidang lain di luar pengodean, terutama di pendidikan. “AI sudah memiliki kemampuan yang kuat dalam memecahkan sebagian besar masalah sekolah dasar dan menengah,” katanya. “AI memiliki banyak potensi untuk merampingkan alur kerja yang ada dalam pendidikan, seperti menghasilkan masalah praktik, menilai dan mengidentifikasi kesalahpahaman siswa.”