5 tips terbaik untuk mengukur produktivitas gen AI di perusahaan

11 November 2024

 

 

Penyusun

Jyothi Pai

Program Manager, IBM Consulting Advantage and Asset Engineering, IBM

Pradeep K Nanjundaswamy

Director, IBM Consulting Advantage & Asset Engineering, IBM

Molly Hayes

Content Writer, IBM Consulting, IBM Blog

AI Generatif (gen AI) telah mendapatkan daya tarik yang sangat besar di dunia perusahaan dalam waktu yang relatif singkat. Teknologi ini memiliki potensi untuk mendorong peningkatan yang signifikan dalam hal efisiensi dan inovasi, mulai dari mengotomatiskan alur kerja rutin hingga menghasilkan insight dari kumpulan data yang besar. 

Saat ini, asisten AI melejitkan produktivitas dengan meningkatkan kemampuan individu. Evolusi berikutnya dalam cara kerja dan konsultasi adalah agentic AI, di mana seorang manusia mengawasi tim agen AI otomatis yang melakukan tugas dan berkomunikasi satu sama lain. Menurut Jill Goldstein, Manajer Pelaksana Global untuk Transformasi SDM dan Talenta di IBM Consulting, "Perusahaan perlu mengevaluasi kembali proses kerja mereka saat ini dan menciptakan jenis tim baru di mana manusia mengawasi kelompok agen AI otomatis."

Untuk memanfaatkan potensi AI sepenuhnya, kita harus membuat kerangka kerja pengukuran produktivitas yang tidak hanya mengukur hasil individu, tetapi juga koordinasi agen AI yang bekerja bersama manusia. Namun, mengukur dampak dunia nyata terhadap produktivitas, terutama mengingat seberapa dekat manusia dan mesin bekerja sama untuk melakukan berbagai tugas di tempat kerja, bisa menjadi proses yang kompleks. Dengan kata lain, pertanyaannya saat ini bukanlah apakah AI akan diterapkan untuk meningkatkan produktivitas, tetapi bagaimana cara terbaik untuk mengukur dan menggunakan alat yang dimiliki perusahaan.

Di IBM Consulting, kami telah menjawab pertanyaan ini dengan menciptakan laboratorium pengukuran produktivitas internal yang membuat kerangka kerja dan metode untuk mengukur produktivitas ketika para konsultan kami mengadopsi AI. Kami percaya bahwa kerangka kerja ini sangat penting tidak hanya untuk keberhasilan adopsi, tetapi juga untuk memberikan pengukuran keberhasilan yang berguna dan nyata. Kerangka kerja ini juga sangat diperlukan dalam menyediakan data yang dapat ditindaklanjuti untuk menginformasikan pengembangan berkelanjutan dari platform pengiriman yang didukung AI kami, IBM Consulting Advantage, yang meningkatkan layanan klien para konsultan kami dengan berbagai agen AI, aplikasi, dan banyak lagi.

Desain 3D bola yang menggelinding di lintasan

Berita + Insight AI terbaru 


Insight dan berita yang dikurasi oleh para ahli tentang AI, cloud, dan lainnya di Buletin Think mingguan. 

5 tips untuk mengukur produktivitas pengguna AI

Melalui proses ini, kami telah mengidentifikasi 5 pelajaran utama tentang cara terbaik untuk mengukur produktivitas penggunaan AI dalam lingkungan perusahaan:

  1. Berpikir secara kontekstual
  2. Mengukur metrik utama terhadap kelompok kontrol
  3. Melibatkan pengguna dengan berbagai tingkat keahlian
  4. Mengukur seberapa cepat manusia beradaptasi dengan sistem
  5. Mempertimbangkan siklus hidup proyek secara keseluruhan

Berpikir secara kontekstual

Saat mengevaluasi dampak AI generatif, sangat penting untuk mempertimbangkan konteks spesifik tempat AI diterapkan. Alat AI bekerja secara berbeda di seluruh industri, departemen, dan tugas, yang berarti satu evaluasi untuk semua tidak akan menghasilkan insight yang akurat.

Goldstein menegaskan gagasan ini: “Untuk memperoleh nilai AI generatif, para pemimpin harus terlebih dahulu membayangkannya dalam konteks tenaga kerja mereka. Ini berarti memiliki teknologi yang tepat di tempat yang tepat dan membekali tenaga kerja dengan ketajaman teknis untuk menggunakan alat tersebut secara efektif.”

Misalnya, dampak AI pada tim teknik berbeda dari efeknya pada karyawan layanan pelanggan. Pengembang yang menggunakan asisten pengodean mungkin melihat penerapan kode yang lebih cepat dengan kesalahan yang lebih sedikit, sementara agen pengalaman pelanggan mungkin mengharapkan waktu respons yang lebih cepat.

Proses pengukuran produktivitas yang sukses mengidentifikasi masalah spesifik yang ingin dipecahkan oleh AI, sehingga memungkinkan para peneliti untuk menilai dampak yang relevan dengan akurat.

Mengukur metrik utama terhadap kelompok kontrol

Benar-benar memahami dampak AI generatif, dan cara manusia menggunakan asisten atau alat, memerlukan pengukuran kinerja terhadap kelompok kontrol yang tidak menggunakan AI. Metode ini memungkinkan peneliti untuk melihat apakah perbaikan secara langsung dikaitkan dengan sistem AI.

Dalam penelitian laboratorium pengukuran produktivitas kami, kami mengidentifikasi kelompok pengguna yang semirip mungkin dan meminta mereka untuk menjalankan proyek identik yang meniru skenario dunia nyata: satu kelompok dengan cara tradisional, dan kelompok lainnya dengan augmentasi AI. Dari sana kami dapat mengukur metrik utama seperti kecepatan, kualitas, biaya, dan akurasi di antara kedua kelompok ini. 

Melibatkan pengguna dengan berbagai tingkat keahlian

Dampak AI generatif terhadap produktivitas dapat sangat bervariasi, tergantung pada tingkat keahlian karyawan yang menggunakan sistem tersebut. Karena itu, penting untuk menilai kinerja AI di berbagai keahlian pengguna. Tingkat keterampilan dan keahlian tidak boleh dilihat hanya dari sudut pandang senioritas atau pengalaman bertahun-tahun, tetapi lebih kepada keterampilan yang relevan atau yang ditargetkan yang diperlukan untuk pelaksanaan tugas tertentu.

Dalam sebuah penelitian terbaru yang mengevaluasi asisten kode, kami membentuk 2 tim yang melakukan tugas yang sama yang dilengkapi dengan AI: satu tim dengan tingkat keahlian yang lebih tinggi, dan satu tim dengan keahlian yang lebih rendah. Kami menemukan variasi yang signifikan dalam tingkat produktivitas masing-masing kelompok dibandingkan dengan kelompok kontrol, yang menunjukkan bahwa interaksi manusia dengan mesin dan kemampuan untuk berkomunikasi dengan sistem secara efektif berdampak besar terhadap laba atas investasi alat tersebut. 

Mengukur seberapa cepat manusia beradaptasi dengan sistem

Keberhasilan AI generatif dalam lingkungan perusahaan sering kali bergantung pada seberapa cepat dan efektif tenaga kerja dapat beradaptasi dengannya. AI generatif dirancang untuk meningkatkan kemampuan manusia, yang mungkin memerlukan kurva pembelajaran dan periode penyesuaian. Mengukur adopsi dan integrasi manusia dengan sistem AI sangat penting dalam mengukur dampak keseluruhan sistem.

Dalam penelitian kami, kami menemukan bahwa beberapa kelompok beradaptasi kurang cepat dengan asisten AI, sehingga membutuhkan lebih banyak orientasi dan eksperimen sebelum mereka dapat menggunakan alat ini secara produktif. Kami juga menemukan bahwa integrasi asisten dengan alat bantu khusus tim yang sudah ada merupakan faktor utama yang memengaruhi produktivitas.

Untuk mengukur variabel ini secara efektif, kami menyarankan untuk terus memantau dan mengamati subjek penelitian untuk mengetahui seberapa cepat mereka dapat beradaptasi.

Mempertimbangkan siklus proyek secara keseluruhan

Dampak AI generatif terhadap produktivitas meluas ke bagaimana hasilnya perlu dipertahankan. Mengukur seberapa mudah atau menantang untuk memperbarui atau mengelola hasil yang dihasilkan AI adalah aspek utama dari efek keseluruhannya.

Sebagai contoh, dalam sebuah studi tentang produktivitas asisten kode, kami mencatat bahwa beberapa tim menghasilkan lebih sedikit baris kode namun mencapai hasil yang sama, yang mengarah pada berkurangnya pemeliharaan.

Dalam aplikasi AI lainnya, pengukuran ini mungkin melibatkan penghitungan upaya manusia yang diperlukan untuk mengawasi atau mengaudit konten yang dihasilkan AI. Jika AI melakukan pekerjaan yang membutuhkan revisi atau pembaruan yang ekstensif, produktivitas bersih mungkin lebih rendah dari yang diharapkan. 

Mengukur hubungan manusia dan mesin

Menjelang tahun 2025, penelitian seperti ini menjadi lebih penting karena perusahaan berupaya mengukur dampak investasi AI generatif mereka. Goldstein menggarisbawahi gagasan ini, dengan mengatakan, “Organisasi harus mengembangkan kerangka kerja pengukuran produktivitas untuk mendapatkan insight tentang bagaimana AI meningkatkan kemampuan tenaga kerja dan mengatasi tantangan. Dengan data tenaga kerja ini dalam genggaman mereka, para pemimpin dapat menentukan contoh penggunaan berdampak tinggi, memprioritaskan upaya AI, dan memaksimalkan ROI.”

Temuan awal kami menunjukkan nilai AI perusahaan sangat terkait dengan bagaimana manusia dapat menggunakannya: apakah mereka memiliki pengetahuan untuk menanyainya secara efektif atau seberapa baik asisten terintegrasi dengan alur kerja yang biasa mereka gunakan setiap hari.

Di lab pengukuran produktivitas IBM Consulting, kami menggunakan insight ini untuk terus mengubah dan mengembangkan alat kami, dengan tujuan menciptakan hubungan manusia dan mesin yang lebih efisien sekaligus mewujudkan kekuatan AI yang sebenarnya.

Solusi terkait
Layanan konsultasi bisnis

Rancang kembali cara menyelesaikan pekerjaan dengan memadukan bisnis dan transformasi teknologi untuk mengembangkan ketangkasan perusahaan.

    Jelajahi layanan konsultasi bisnis
    Konsultasi transformasi SDM dan talenta

    Menata ulang dan modernisasi SDM dengan AI sebagai inti untuk memberikan hasil bisnis yang lebih baik dan membuka potensi penuh karyawan.

    Jelajahi layanan transformasi SDM IBM
    Layanan konsultasi keuangan

    Temukan kinerja keuangan dan nilai bisnis dengan layanan menyeluruh yang menanamkan analisis data, AI, dan otomatisasi di seluruh proses inti.

      Jelajahi solusi keuangan
      Ambil langkah selanjutnya

      Konsultan IBM yang dibekali dengan IBM Consulting Advantage siap mengantarkan Anda dari ide hingga menjadi karya nyata dengan lebih cepat dan efisien daripada yang pernah Anda alami dengan pendekatan konsultasi lainnya. Jelajahi platform penyampaian yang didukung oleh AI kami dan percepat penciptaan nilai dalam skala besar. 

      Jelajahi IBM Consulting Advantage