Die 5 besten Tipps zur Messung der Produktivität von generativer KI in einem Unternehmen

11. November 2024

 

 

Autoren

Jyothi Pai

Program Manager, IBM Consulting Advantage and Asset Engineering, IBM

Pradeep K Nanjundaswamy

Director, IBM Consulting Advantage & Asset Engineering, IBM

Molly Hayes

Content Writer, IBM Consulting, IBM Blog

Generative AI (Gen AI) Generative KI hat in Unternehmen in relativ kurzer Zeit stark an Bedeutung gewonnen. Die Technologie hat das Potenzial, die Effizienz und Innovation erheblich zu verbessern, von der Automatisierung von Routineabläufen bis hin zur Gewinnung von Erkenntnissen aus großen Datensätzen. 

Im Moment steigern KI-Assistenten die Produktivität, indem sie einzelne Funktionen unterstützen. Die nächste Evolutionsstufe der Arbeits- und Beratungsmethode ist die Agentic KI, bei der ein Mensch ein Team von autonomen KI-Agenten überwacht, die Aufgaben ausführen und miteinander kommunizieren. Laut Jill Goldstein, Global Managing Partner für HR und Talent Transformation bei IBM Consulting, „Unternehmen müssen ihre derzeitigen Arbeitsprozesse überdenken und neue Arten von Teams schaffen, in denen Menschen Gruppen von autonomen KI-Agenten beaufsichtigen.“

Um die Möglichkeiten der KI voll ausschöpfen zu können, müssen wir einen Rahmen für die Produktivitätsmessung schaffen, der nicht nur die individuelle Leistung, sondern auch die Koordination von KI-Agenten, die mit Menschen zusammenarbeiten, misst. Allerdings kann die Quantifizierung der realen Auswirkungen auf die Produktivität ein komplexer Prozess sein, insbesondere wenn man bedenkt, wie eng Menschen und Maschinen bei der Ausführung von Aufgaben am Arbeitsplatz zusammenarbeiten. Mit anderen Worten: Die Frage ist heute nicht, ob KI zur Produktivitätssteigerung eingesetzt wird, sondern wie die Werkzeuge, die einem Unternehmen zur Verfügung stehen, am besten gemessen und genutzt werden können.

Wir bei IBM Consulting® haben für diese Frage ein Labor zur Produktivitätsmessung eingerichtet, das Frameworks und Methoden zur Messung der Produktivität entwickelt, während unsere Berater KI einführen. Wir sind der Meinung, dass diese Frameworks nicht nur für die erfolgreiche Einführung entscheidend sind, sondern auch nützliche und greifbare Erfolgsmaßstäbe liefern. Sie waren auch unverzichtbar, um umsetzbare Daten für die laufende Entwicklung unserer KI-gestützten Bereitstellungsplattform IBM Consulting Advantage bereitzustellen, die Kundenbetreuung durch unsere Berater mit KI-Agenten, Anwendungen und mehr verbessert.

3D-Design aus Kugeln, die auf einer Schiene rollen

Die neuesten Erkenntnisse und Insights zu KI

Von Experten kuratierte Erkenntnisse und Neuigkeiten zu KI, Cloud und mehr im wöchentlichen Think Newsletter. 

5 Tipps zur Messung der Produktivität von Menschen mit KI

Im Rahmen dieses Prozesses haben wir fünf Schlüsselpunkte identifiziert, wie sich die Produktivität des Einsatzes von KI in einem Unternehmen am besten messen lässt:

  1. Denken Sie in größeren Zusammenhängen
  2. Messen Sie wichtige Metriken gegen eine Kontrollgruppe
  3. Binden Sie Benutzer mit unterschiedlichen Kenntnissen ein
  4. Messen, wie schnell sich Menschen an das System anpassen
  5. Berücksichtigen Sie den gesamten Lebenszyklus des Projekts

Denken Sie in größeren Zusammenhängen

Bei der Bewertung der Auswirkungen von generativer KI ist es entscheidend, den spezifischen Kontext zu berücksichtigen, in dem sie eingesetzt wird. KI-Tools funktionieren in verschiedenen Branchen, Abteilungen und Aufgaben unterschiedlich, was bedeutet, dass eine pauschale Bewertung keine genauen Erkenntnisse liefert.

Goldstein schließt sich diesem Gedanken an: „Um die Vorteile der generativen KI voll ausschöpfen zu können, müssen Führungskräfte sie zunächst mit ihren Mitarbeitern in Einklang bringen. Das bedeutet, die richtige Technologie am richtigen Ort zu haben und die Mitarbeiter mit dem technischen Wissen auszustatten, um die Tools effektiv zu nutzen.“

So hat die KI beispielsweise andere Auswirkungen auf ein Ingenieurteam als auf einen Kundendienstmitarbeiter. Ein Entwickler, der einen Kodierassistenten einsetzt, könnte eine schnellere Codebereitstellung mit weniger Fehlern erleben, während ein Kundendienstmitarbeiter vielleicht schnellere Reaktionszeiten erwartet.

Bei einer erfolgreichen Produktivitätsmessung wird das spezifische Problem, das die KI lösen soll, identifiziert, sodass die Forscher die entsprechenden Auswirkungen genau bewerten können.

Messen Sie wichtige Metriken gegen eine Kontrollgruppe

Wenn man die Auswirkungen der generativen KI und die Art und Weise, wie Menschen einen Assistenten oder ein Tool nutzen, wirklich verstehen will, muss man die Leistung mit einer Kontrollgruppe vergleichen, die keine KI verwendet. Mit dieser Methode können die Forscher feststellen, ob die Verbesserungen direkt auf das KI-System zurückzuführen sind.

In unserem Forschungslabor zur Produktivitätsmessung ermitteln wir möglichst ähnliche Benutzergruppen und bitten sie, ein identisches Projekt durchzuführen, das ein reales Szenario nachahmt: eine Gruppe arbeitet auf konventionelle Weise, die andere mit KI- Unterstützung. Auf diese Weise sind wir in der Lage, Schlüsselkennzahlen wie Geschwindigkeit, Qualität, Kosten und Genauigkeit zwischen diesen beiden Gruppen zu quantifizieren. 

Binden Sie Benutzer mit unterschiedlichen Kenntnissen ein

Wie sich generative KI auf die Produktivität auswirkt, kann je nach Qualifikationsniveau des Mitarbeiters, der das System nutzt, sehr unterschiedlich sein. Daher ist es wichtig, die Leistung von KI über eine Reihe von Anwenderkenntnissen hinweg zu bewerten. Qualifikationsniveaus und Fachwissen sollten nicht nur durch die Brille der Betriebszugehörigkeit oder der jahrelangen Erfahrung betrachtet werden, sondern vielmehr durch die relevanten oder gezielten Fähigkeiten, die für eine bestimmte Aufgabenumsetzung erforderlich sind.

Im Rahmen einer aktuellen Studie zur Evaluierung eines Code-Assistenten haben wir zwei Teams gebildet, die dieselbe Aufgabe mithilfe von künstlicher Intelligenz ausführen sollten: ein Team mit höherem Qualifikationsniveau und ein Team mit weniger Erfahrung. Wir fanden signifikante Unterschiede im Produktivitätsniveau der beiden Gruppen im Vergleich zur Kontrollgruppe, was darauf hindeutet, dass die Mensch-Maschine-Interaktion und die Fähigkeit, effektiv mit dem System zu kommunizieren, einen großen Einfluss auf die Investitionsrendite des Tools haben. 

Messen, wie schnell sich Menschen an das System anpassen

In Unternehmen hängt der Erfolg der generativen KI häufig davon ab, wie schnell und effektiv sich die Belegschaft darauf einstellen kann. Generative KI ist darauf ausgelegt, die menschlichen Fähigkeiten zu erweitern, was eine Lernkurve und eine Anpassungsphase erfordern kann. Die Messung der menschlichen Akzeptanz und der Integration von KI-Systemen ist entscheidend für die Beurteilung der Gesamtwirkung des Systems.

Wir haben festgestellt, dass sich einige Gruppen weniger schnell an KI-Assistenten gewöhnen und mehr Einarbeitung und Tests benötigen, bevor sie das Tool produktiv nutzen können. Außerdem haben wir herausgefunden, dass die Integration eines Assistenten in bestehende teamspezifische Tools ein wichtiger Faktor für die Auswirkung auf die Produktivität ist.

Um diese Variable effektiv zu messen, empfehlen wir eine kontinuierliche Überwachung und Beobachtung der Versuchspersonen, um festzustellen, wie schnell sie in der Lage sind, sich anzupassen.

Berücksichtigen Sie den gesamten Lebenszyklus des Projekts

Generative KI hat auch Auswirkungen auf die Produktivität, wenn es darum geht, wie ihr Output verwaltet werden muss. Die Messung, wie einfach oder schwierig es ist, den von der KI generierten Output zu aktualisieren oder zu verwalten, ist ein wichtiger Aspekt der Gesamtauswirkung.

In einer Studie zur Produktivität eines Codeassistenten haben wir beispielsweise festgestellt, dass einige Teams weniger Codezeilen generierten und dabei die gleichen Ergebnisse erzielten, was zu einer geringeren Wartung führte.

Bei anderen Anwendungen von KI könnte diese Messung die Berechnung des menschlichen Aufwands beinhalten, der zur Überwachung oder Prüfung der von KI generierten Inhalte erforderlich ist. Führt die KI Aufgaben aus, die umfangreiche Überarbeitungen oder Aktualisierungen erfordern, könnte die Nettoproduktivität geringer ausfallen als erwartet. 

Quantifizierung der Mensch-Maschine-Beziehung

Mit Blick auf das Jahr 2025 wird Forschung wie diese noch wichtiger, da Unternehmen die Wirkung ihrer Investitionen in generative KI messen wollen. Goldstein unterstreicht diesen Gedanken: „Unternehmen müssen Frameworks zur Produktivitätsmessung entwickeln, um Einblicke in die Art und Weise zu erhalten, wie KI die Fähigkeiten ihrer Mitarbeiter erweitert und Herausforderungen angeht. Mit diesen Personaldaten können Führungskräfte die wirkungsvollsten Anwendungsfälle identifizieren, KI-Bemühungen priorisieren und den ROI maximieren.“

Nach unseren ersten Erkenntnissen hängt der Wert der KI eines Unternehmens stark davon ab, wie Menschen sie nutzen können: Sie verfügen über das nötige Wissen, um sie effektiv abzufragen, und der Assistent lässt sich gut in die Workflows integrieren, die sie tagtäglich nutzen.

Im Labor für Produktivitätsmessung von IBM Consulting nutzen wir diese Erkenntnisse, um unsere Tools kontinuierlich zu optimieren und zu erweitern, mit dem Ziel, effizientere Mensch-Maschine-Beziehungen zu schaffen und die wahre Leistung von KI auszuschöpfen.

Weiterführende Lösungen
Business Consulting Services

Transformationen in Business und Technologie definieren Arbeitsweisen neu und setzen Agilität im Unternehmen frei.

    Business Consulting Services erkunden
    Beratung zur Personal- und Talenttransformation

    Überdenken und modernisieren Sie HR mit KI als Kernstück, um bessere Geschäftsergebnisse zu erzielen und das volle Potenzial Ihrer Mitarbeiter freizusetzen.

    HR-Transformationsservices erkunden
    Finanzberatung

    Erschließen Sie die finanzielle Leistung und den Geschäftswert mit End-to-End-Services, die Datenanalysen, KI und Automatisierung in Kernprozesse einfließen lassen.

      Erkunden Sie Finanzlösungen
      Machen Sie den nächsten Schritt

      IBM Consultants, die mit IBM Consulting Advantage ausgestattet sind, sind bereit, Sie schneller und effizienter von der Idee zum Artefakt zu bringen, als Sie es mit jedem anderen Beratungsansatz konnten. Entdecken Sie unsere KI-gestützte Delivery-Plattform und beschleunigen Sie die Wertschöpfung in großem Maßstab. 

      Entdecken Sie IBM Consulting Advantage