衡量企业生成式 AI 生产力的五大技巧

2024 年 11 月 11 日

 

 

作者

Jyothi Pai

Program Manager, IBM Consulting Advantage and Asset Engineering, IBM

Pradeep K Nanjundaswamy

Director, IBM Consulting Advantage & Asset Engineering, IBM

Molly Hayes

Content Writer, IBM Consulting, IBM Blog

生成式 AI在相对较短的时间内便在企业界获得了广泛关注。这项技术潜力巨大,有望大幅提升效率和促进创新,既可以用来自动处理日常工作,也能从大数据中发现有价值的信息。

目前,AI 助手通过增强个人能力来提高工作效率。未来,工作和咨询领域将迎来代理式 AI,即人类将领导由多个自主 AI 智能体组成的团队,这些智能体能够独立完成任务并相互协作。IBM Consulting 负责人力资源和人才转型的全球管理合伙人 Jill Goldstein 表示:“企业需要重新评估当前的工作流程,并建立新型团队,由人类来管理自主 AI 智能体群体。”

为了充分发挥 AI 的潜力,我们必须建立生产力衡量框架。该框架不仅要衡量个人的产出,还要衡量 AI 智能体与人类一起工作时的协调程度。然而,要准确衡量 AI 在实际工作中对生产力带来的影响并非易事,尤其是在人机协作日益紧密的当下,工作任务往往需要人机共同完成,这使得量化评估变得更加复杂。换言之,现在的问题不再是企业是否会部署 AI 来提高生产力,而是如何更好地评估和使用企业可支配的工具。

IBM Consulting 通过创建内部生产力衡量实验室来解决这个问题。该实验室旨在为顾问们在工作中应用 AI 时,建立一套生产力评估框架和方法。我们认为,这些框架不仅是成功应用 AI 的关键,更能提供切实有效的成功衡量标准。此外,它们还为我们的人工智能驱动的交付平台 - IBM Consulting Advantage 的持续开发提供了不可或缺的实践数据支持。该平台通过集成 AI 智能体、应用程序等,极大地提升了顾问们为客户提供服务的效率和质量。

小球在轨道上滚动的三维设计

最新的 AI 新闻 + 洞察分析

在每周的 Think 时事通讯中,提供有关 AI、云等的专家精选的洞察分析和新闻。

衡量使用 AI 的员工生产力的 5 个技巧

通过实践,我们总结出以下五条重要经验教训,旨在帮助企业更好地衡量在企业环境中使用 AI 对生产力的影响:

  1. 结合实际场景分析
  2. 根据对照组衡量关键指标
  3. 吸纳不同技能水平的用户
  4. 衡量员工适应系统的速度
  5. 考虑项目的整个生命周期

结合实际场景分析

评估生成式 AI 的影响时,考虑其具体应用环境至关重要。AI 工具在不同行业、部门和任务中的表现各异,一刀切的评估无法得出准确的洞察分析。

Goldstein 也赞同这一观点:"要想获得生成式 AI 的价值,领导者必须首先在其员工队伍的背景下对其进行设想。这意味着要在正确的地方配备正确的技术,并让员工具备有效使用工具的技术敏锐性。”

例如,AI 对工程团队的影响不同于其对客户服务员工的影响。使用编程助手的开发人员可能会发现代码部署速度更快且错误更少,而客户体验代理可能期望响应时间更快。

成功的生产力衡量流程应确定 AI 要解决的具体问题,从而让研究人员能够准确评估其相关影响。

根据对照组衡量关键指标

要真正理解生成式 AI 的影响,以及人类如何使用此类助手或工具,必须将使用 AI 的受试组情况与不使用 AI 的对照组情况进行对比衡量。这种方法能帮助研究人员确定,改进是否直接源于 AI 系统的作用。

在我们的生产力衡量实验室研究中,我们选取了两个尽可能相似的用户组,并要求他们运行相同的模拟现实场景的项目:一组采用传统方式,另一组采用 AI 增强方式。通过对比,我们可以量化两组在速度、质量、成本和准确性等关键指标上的差异。

吸纳不同技能水平的用户

生成式 AI 对生产力的影响可能会因使用该系统的员工的技能水平而异。有鉴于此,评估 AI 在不同专业技能水平的用户群体中的表现非常重要。衡量技能水平和专业程度,不应只看资历深浅或工作年限长短,更应关注完成特定任务所需的相关或针对性技能。

最近一项针对代码辅助工具的评估研究中,我们组织了两组人员执行相同的任务,并引入了 AI 辅助。一组人员的技能水平较高,另一组则相对欠缺经验。研究结果显示,相比对照组,两组人员的工作效率存在显著差异。这表明,人机交互的方式,尤其是使用者与 AI 系统有效沟通的能力,对工具的投资回报率有重要影响。

衡量员工适应系统的速度

生成式 AI 在企业环境中能否取得成功,通常取决于员工能否快速有效地适应它。生成式 AI 旨在增强人的能力,这可能需要一个学习曲线和适应期。衡量人类对 AI 系统的采用和整合情况对于衡量系统的整体影响至关重要。

我们在研究中发现,有些团队对 AI 助手的适应速度较慢,需要更多的入职培训和实验,才能有效地使用该工具。我们还发现,人工智能助手与现有团队特定工具的整合是影响其工作效率的一个主要因素。

为了有效地衡量这一变量,我们建议对研究对象进行持续监测和观察,以确定他们的适应速度。

考虑项目的整个生命周期

生成式 AI 对生产力的影响还包括如何维护其产出。衡量更新或管理 AI 生成的产出的难易程度是其整体效果的一个关键方面。

例如,在一项关于代码助手生产力的研究中,我们注意到有些团队在完成相同工作的情况下,生成的代码行数更少,这意味着后续的维护工作量更低。

在其他 AI 应用中,这种衡量可能涉及计算需要多少人力来监督或审核 AI 生成的内容。如果 AI 执行的工作需要大量修改或更新,则净生产力可能会低于预期。

量化人机关系

展望 2025 年,随着企业纷纷寻求评估其在生成式 AI 领域的投资成效,此类研究变得更加势在必行。Goldstein 强调了这一点,指出:“组织必须开发生产力衡量框架,以深入了解 AI 如何增强员工队伍能力并应对挑战。掌握这些员工数据后,领导者便能找出影响力重大的用例,确定 AI 工作的优先级,实现投资回报的最大化。”

我们的初步研究结果表明,企业 AI 的价值与人类如何使用它密切相关:员工是否掌握了有效使用 AI 的知识,以及 AI 助手与他们日常工作流程的整合程度,都至关重要。

在 IBM Consulting 的生产力衡量实验室,我们正基于这些洞察分析,不断改进和完善相关工具,目的是打造更高效的人机关系,发挥 AI 的真正力量。

相关解决方案
业务咨询服务

将业务转型和技术转型融为一体,重塑工作方式,从而增强企业敏捷性。

    深入了解业务咨询服务
    人力资源和人才转型咨询

    以 AI 为核心,重塑人力资源并对其进行现代化改造,以实现更好的业务成果并释放员工的全部潜能。

    深入了解 HR 转型服务
    金融咨询服务

    通过端到端服务将数据分析、AI 和自动化技术融入核心流程,提升财务绩效并实现业务价值。

      深入了解金融解决方案
      采取后续步骤

      IBM 咨询顾问在 IBM Consulting Advantage 的支持下,能够帮助您将想法转化为成果,并且比任何其他咨询方法都更快速、更高效。深入了解我们人工智能驱动的交付平台,以规模化方式加速价值创造。

      深入了解 IBM Consulting Advantage