AI Generatif (gen AI) telah mendapatkan daya tarik yang sangat besar di dunia perusahaan dalam waktu yang relatif singkat. Teknologi ini memiliki potensi untuk mendorong peningkatan yang signifikan dalam hal efisiensi dan inovasi, mulai dari mengotomatiskan alur kerja rutin hingga menghasilkan insight dari kumpulan data yang besar.
Saat ini, asisten AI melejitkan produktivitas dengan meningkatkan kemampuan individu. Evolusi berikutnya dalam cara kerja dan konsultasi adalah agentic AI, di mana seorang manusia mengawasi tim agen AI otomatis yang melakukan tugas dan berkomunikasi satu sama lain. Menurut Jill Goldstein, Manajer Pelaksana Global untuk Transformasi SDM dan Talenta di IBM Consulting, "Perusahaan perlu mengevaluasi kembali proses kerja mereka saat ini dan menciptakan jenis tim baru di mana manusia mengawasi kelompok agen AI otomatis."
Untuk memanfaatkan potensi AI sepenuhnya, kita harus membuat kerangka kerja pengukuran produktivitas yang tidak hanya mengukur hasil individu, tetapi juga koordinasi agen AI yang bekerja bersama manusia. Namun, mengukur dampak dunia nyata terhadap produktivitas, terutama mengingat seberapa dekat manusia dan mesin bekerja sama untuk melakukan berbagai tugas di tempat kerja, bisa menjadi proses yang kompleks. Dengan kata lain, pertanyaannya saat ini bukanlah apakah AI akan diterapkan untuk meningkatkan produktivitas, tetapi bagaimana cara terbaik untuk mengukur dan menggunakan alat yang dimiliki perusahaan.
Di IBM Consulting, kami telah menjawab pertanyaan ini dengan menciptakan laboratorium pengukuran produktivitas internal yang membuat kerangka kerja dan metode untuk mengukur produktivitas ketika para konsultan kami mengadopsi AI. Kami percaya bahwa kerangka kerja ini sangat penting tidak hanya untuk keberhasilan adopsi, tetapi juga untuk memberikan pengukuran keberhasilan yang berguna dan nyata. Kerangka kerja ini juga sangat diperlukan dalam menyediakan data yang dapat ditindaklanjuti untuk menginformasikan pengembangan berkelanjutan dari platform pengiriman yang didukung AI kami, IBM Consulting Advantage, yang meningkatkan layanan klien para konsultan kami dengan berbagai agen AI, aplikasi, dan banyak lagi.
Melalui proses ini, kami telah mengidentifikasi 5 pelajaran utama tentang cara terbaik untuk mengukur produktivitas penggunaan AI dalam lingkungan perusahaan:
Saat mengevaluasi dampak AI generatif, sangat penting untuk mempertimbangkan konteks spesifik tempat AI diterapkan. Alat AI bekerja secara berbeda di seluruh industri, departemen, dan tugas, yang berarti satu evaluasi untuk semua tidak akan menghasilkan insight yang akurat.
Goldstein menegaskan gagasan ini: “Untuk memperoleh nilai AI generatif, para pemimpin harus terlebih dahulu membayangkannya dalam konteks tenaga kerja mereka. Ini berarti memiliki teknologi yang tepat di tempat yang tepat dan membekali tenaga kerja dengan ketajaman teknis untuk menggunakan alat tersebut secara efektif.”
Misalnya, dampak AI pada tim teknik berbeda dari efeknya pada karyawan layanan pelanggan. Pengembang yang menggunakan asisten pengodean mungkin melihat penerapan kode yang lebih cepat dengan kesalahan yang lebih sedikit, sementara agen pengalaman pelanggan mungkin mengharapkan waktu respons yang lebih cepat.
Proses pengukuran produktivitas yang sukses mengidentifikasi masalah spesifik yang ingin dipecahkan oleh AI, sehingga memungkinkan para peneliti untuk menilai dampak yang relevan dengan akurat.
Benar-benar memahami dampak AI generatif, dan cara manusia menggunakan asisten atau alat, memerlukan pengukuran kinerja terhadap kelompok kontrol yang tidak menggunakan AI. Metode ini memungkinkan peneliti untuk melihat apakah perbaikan secara langsung dikaitkan dengan sistem AI.
Dalam penelitian laboratorium pengukuran produktivitas kami, kami mengidentifikasi kelompok pengguna yang semirip mungkin dan meminta mereka untuk menjalankan proyek identik yang meniru skenario dunia nyata: satu kelompok dengan cara tradisional, dan kelompok lainnya dengan augmentasi AI. Dari sana kami dapat mengukur metrik utama seperti kecepatan, kualitas, biaya, dan akurasi di antara kedua kelompok ini.
Dampak AI generatif terhadap produktivitas dapat sangat bervariasi, tergantung pada tingkat keahlian karyawan yang menggunakan sistem tersebut. Karena itu, penting untuk menilai kinerja AI di berbagai keahlian pengguna. Tingkat keterampilan dan keahlian tidak boleh dilihat hanya dari sudut pandang senioritas atau pengalaman bertahun-tahun, tetapi lebih kepada keterampilan yang relevan atau yang ditargetkan yang diperlukan untuk pelaksanaan tugas tertentu.
Dalam sebuah penelitian terbaru yang mengevaluasi asisten kode, kami membentuk 2 tim yang melakukan tugas yang sama yang dilengkapi dengan AI: satu tim dengan tingkat keahlian yang lebih tinggi, dan satu tim dengan keahlian yang lebih rendah. Kami menemukan variasi yang signifikan dalam tingkat produktivitas masing-masing kelompok dibandingkan dengan kelompok kontrol, yang menunjukkan bahwa interaksi manusia dengan mesin dan kemampuan untuk berkomunikasi dengan sistem secara efektif berdampak besar terhadap laba atas investasi alat tersebut.
Keberhasilan AI generatif dalam lingkungan perusahaan sering kali bergantung pada seberapa cepat dan efektif tenaga kerja dapat beradaptasi dengannya. AI generatif dirancang untuk meningkatkan kemampuan manusia, yang mungkin memerlukan kurva pembelajaran dan periode penyesuaian. Mengukur adopsi dan integrasi manusia dengan sistem AI sangat penting dalam mengukur dampak keseluruhan sistem.
Dalam penelitian kami, kami menemukan bahwa beberapa kelompok beradaptasi kurang cepat dengan asisten AI, sehingga membutuhkan lebih banyak orientasi dan eksperimen sebelum mereka dapat menggunakan alat ini secara produktif. Kami juga menemukan bahwa integrasi asisten dengan alat bantu khusus tim yang sudah ada merupakan faktor utama yang memengaruhi produktivitas.
Untuk mengukur variabel ini secara efektif, kami menyarankan untuk terus memantau dan mengamati subjek penelitian untuk mengetahui seberapa cepat mereka dapat beradaptasi.
Dampak AI generatif terhadap produktivitas meluas ke bagaimana hasilnya perlu dipertahankan. Mengukur seberapa mudah atau menantang untuk memperbarui atau mengelola hasil yang dihasilkan AI adalah aspek utama dari efek keseluruhannya.
Sebagai contoh, dalam sebuah studi tentang produktivitas asisten kode, kami mencatat bahwa beberapa tim menghasilkan lebih sedikit baris kode namun mencapai hasil yang sama, yang mengarah pada berkurangnya pemeliharaan.
Dalam aplikasi AI lainnya, pengukuran ini mungkin melibatkan penghitungan upaya manusia yang diperlukan untuk mengawasi atau mengaudit konten yang dihasilkan AI. Jika AI melakukan pekerjaan yang membutuhkan revisi atau pembaruan yang ekstensif, produktivitas bersih mungkin lebih rendah dari yang diharapkan.
Menjelang tahun 2025, penelitian seperti ini menjadi lebih penting karena perusahaan berupaya mengukur dampak investasi AI generatif mereka. Goldstein menggarisbawahi gagasan ini, dengan mengatakan, “Organisasi harus mengembangkan kerangka kerja pengukuran produktivitas untuk mendapatkan insight tentang bagaimana AI meningkatkan kemampuan tenaga kerja dan mengatasi tantangan. Dengan data tenaga kerja ini dalam genggaman mereka, para pemimpin dapat menentukan contoh penggunaan berdampak tinggi, memprioritaskan upaya AI, dan memaksimalkan ROI.”
Temuan awal kami menunjukkan nilai AI perusahaan sangat terkait dengan bagaimana manusia dapat menggunakannya: apakah mereka memiliki pengetahuan untuk menanyainya secara efektif atau seberapa baik asisten terintegrasi dengan alur kerja yang biasa mereka gunakan setiap hari.
Di lab pengukuran produktivitas IBM Consulting, kami menggunakan insight ini untuk terus mengubah dan mengembangkan alat kami, dengan tujuan menciptakan hubungan manusia dan mesin yang lebih efisien sekaligus mewujudkan kekuatan AI yang sebenarnya.
Tetap terdepan dengan pakar AI kami. Dapatkan insight mingguan tentang berita, tren, dan inovasi AI terbaru ditambah dampaknya terhadap bisnis.
Lewati hambatan dan melompat maju dengan keberanian dan keyakinan di era AI generatif.
Dengan memahami apa yang mendorong biaya komputasi gen AI, CEO dapat membuat keputusan investasi yang lebih tepat, menetapkan prioritas strategis yang membuat inovasi dan transformasi lebih hemat biaya.
Audi AG mempercepat jalannya menuju insight bisnis baru dengan menggunakan IBM Power Systems.
Rancang kembali cara menyelesaikan pekerjaan dengan memadukan bisnis dan transformasi teknologi untuk mengembangkan ketangkasan perusahaan.
Menata ulang dan modernisasi SDM dengan AI sebagai inti untuk memberikan hasil bisnis yang lebih baik dan membuka potensi penuh karyawan.
Temukan kinerja keuangan dan nilai bisnis dengan layanan menyeluruh yang menanamkan analisis data, AI, dan otomatisasi di seluruh proses inti.