생성형 AI(gen AI)는 비교적 짧은 기간 동안 기업 세계에서 큰 주목을 받았습니다. 이 기술은 일상적인 워크플로 자동화부터 대규모 데이터 세트에서 인사이트 생성에 이르기까지 효율성과 혁신을 크게 개선할 수 있는 잠재력을 가지고 있습니다.
현재 AI 어시스턴트는 개인의 능력을 강화하여 생산성을 높이고 있습니다. 업무 및 컨설팅 방식의 다음 단계는 사람이 자율적인 AI 에이전트로 구성된 팀을 감독하여 업무를 수행하고 서로 소통하는 에이전트형 AI입니다. IBM Consulting의 HR 및 인재 혁신 부문 글로벌 매니징 파트너인 Jill Goldstein은 "기업은 현재의 업무 프로세스를 재평가하고 사람이 자율 AI 에이전트 그룹을 감독하는 새로운 유형의 팀을 만들어야 할 것"이라고 말합니다.
AI의 잠재력을 최대한 활용하려면 개별 아웃풋뿐만 아니라 인간과 함께 일하는 AI 에이전트의 조율도 측정하는 생산성 측정 프레임워크를 구축해야 합니다. 그러나 특히 인간과 기계가 업무 수행을 위해 얼마나 긴밀하게 협력하는지를 고려할 때 생산성에 미치는 실제 영향을 정량화하는 것은 복잡한 과정이 될 수 있습니다. 다시 말해, 오늘날의 문제는 생산성 향상을 위해 AI를 도입할지 여부가 아니라, 기업이 보유한 툴을 어떻게 측정하고 사용할 수 있는가입니다.
IBM Consulting에서는 컨설턴트가 AI를 도입할 때 생산성을 측정하기 위한 프레임워크와 방법을 개발하는 내부 생산성 측정 연구소를 만들어 이 문제를 해결했습니다. 이러한 프레임워크는 성공적인 도입뿐만 아니라 유용하고 가시적인 성공 측정을 제공하는 데 매우 중요하다고 생각합니다. 또한 이는 AI 에이전트, 애플리케이션 등을 통해 컨설턴트의 고객 서비스를 강화하는 AI 기반 제공 플랫폼인 IBM Consulting Advantage의 지속적인 개발을 위해 실행 가능한 데이터를 제공하는 데도 없어서는 안 될 필수 요소입니다.
이 프로세스를 통해 엔터프라이즈 환경에서 AI 사용의 생산성을 가장 잘 측정하는 방법에 대한 5가지 핵심 교훈을 확인했습니다.
생성형 AI의 영향을 평가할 때는 AI가 적용되는 구체적인 상황을 고려하는 것이 중요합니다. AI 툴은 산업, 부서, 업무에 따라 성능이 다르기 때문에 획일적인 평가로는 정확한 인사이트를 얻을 수 없습니다.
Goldstein은 다음과 같은 의견을 다시 한번 강조합니다. "생성형 AI의 가치를 포착하려면 리더는 먼저 인력의 맥락에서 이를 구상해야 합니다. 즉, 적절한 기술을 적재적소에 배치하고 직원들이 도구를 효과적으로 사용할 수 있는 기술적 통찰력을 갖추도록 해야 합니다."
예를 들어, AI가 엔지니어링 팀에 미치는 영향은 고객 서비스 직원에게 미치는 영향과 다릅니다. 코딩 어시스턴트를 사용하는 개발자는 오류를 줄이면서 코드를 더 빠르게 배포할 수 있는 반면, 고객 경험 상담원은 더 빠른 응답 시간을 기대할 수 있습니다.
성공적인 생산성 측정 프로세스는 AI가 해결하고자 하는 특정 문제를 식별하여 연구자가 관련 영향을 정확하게 평가할 수 있도록 합니다.
생성형 AI의 영향과 인간이 어시스턴트나 툴을 사용하는 방식을 제대로 이해하려면 AI를 사용하지 않는 대조군과 비교하여 성능을 측정해야 합니다. 이 방법을 통해 연구자들은 개선 사항이 AI 시스템에 직접적으로 기인하는지 여부를 확인할 수 있습니다.
생산성 측정 연구소 연구에서는 가능한 한 유사한 사용자 그룹을 식별하고 이들에게 실제 시나리오를 모방한 동일한 프로젝트를 한 그룹은 전통적인 방식으로, 다른 그룹은 AI 증강을 통해 실행하도록 요청합니다. 이를 통해 두 그룹 간의 속도, 품질, 비용 및 정확도와 같은 주요 메트릭을 정량화할 수 있습니다.
생성형 AI가 생산성에 미치는 영향은 시스템을 사용하는 직원의 기술 수준에 따라 크게 달라질 수 있습니다. 따라서 다양한 사용자 전문 지식에 따라 AI의 성능을 평가하는 것이 중요합니다. 기술 수준과 전문성은 연공서열이나 연륜의 관점으로만 볼 것이 아니라 특정 업무 수행에 필요한 관련 기술 또는 목표 기술을 고려해야 합니다.
최근 코드 어시스턴트를 평가한 한 연구에서는 AI로 증강된 동일한 작업을 수행하는 두 팀, 즉 높은 기술 수준을 가진 팀과 낮은 전문성을 가진 팀을 구성했습니다. 그 결과 각 그룹의 생산성 수준은 대조 그룹에 비해 상당한 차이를 보였으며, 이는 인간과 기계의 상호 작용과 시스템과의 효과적인 커뮤니케이션 능력이 도구의 투자 수익률에 큰 영향을 미친다는 것을 시사합니다.
기업 환경에서 생성형 AI의 성공 여부는 종종 인력이 얼마나 빠르고 효과적으로 적응할 수 있는지에 달려 있습니다. 생성형 AI는 인간의 능력을 보강하도록 설계되었기 때문에 학습 곡선과 적응 기간이 필요할 수 있습니다. AI 시스템의 전반적인 영향을 측정하기 위해서는 사람의 채택과 통합을 측정하는 것이 중요합니다.
연구 결과, 일부 그룹은 AI 어시스턴트에 빠르게 적응하지 못하여 툴을 생산적으로 사용하기 전에 더 많은 온보딩과 실험이 필요하다는 사실을 발견했습니다. 또한 어시스턴트와 기존 팀별 툴의 통합 여부가 생산성에 영향을 미치는 주요 요인이라는 사실도 발견했습니다.
이 변수를 효과적으로 측정하려면 연구 대상자가 얼마나 빨리 적응할 수 있는지 파악하기 위해 지속적으로 모니터링하고 관찰하는 것이 좋습니다.
생성형 AI가 생산성에 미치는 영향은 아웃풋을 유지 관리해야 하는 방식까지 확장됩니다. AI가 생성한 아웃풋을 업데이트하거나 관리하는 것이 얼마나 쉬운지 또는 어려운지를 측정하는 것이 전반적인 효과의 핵심 요소입니다.
예를 들어, 코드 어시스턴트의 생산성에 대한 연구에서 일부 팀의 경우 동일한 결과를 달성하면서도 코드 줄 수는 더 적게 생성하여, 이를 통해 유지 관리 노력이 줄어든다는 사실을 발견했습니다.
다른 AI 애플리케이션에서는 이 측정에 AI가 생성하는 콘텐츠를 감독하거나 감사하는 데 필요한 사람의 노력을 계산하는 것이 포함될 수 있습니다. AI가 광범위한 수정이나 업데이트가 필요한 작업을 수행하는 경우 순 생산성이 예상보다 낮을 수 있습니다.
2025년으로 접어들면서 기업이 생성형 AI 투자의 영향을 측정하고자 함에 따라 이와 같은 연구의 중요성이 더욱 커지고 있습니다. Goldstein은 이 개념을 강조하면서 다음과 같이 말합니다. “조직은 AI가 직원의 능력을 강화하고 문제를 해결하는 방법에 대한 인사이트를 얻기 위해 생산성 측정 프레임워크를 개발해야 합니다. 리더는 이러한 인력 데이터를 손쉽게 활용하여 영향력이 큰 사용 사례를 정확히 파악하고 AI 노력을 우선시하며 ROI를 극대화할 수 있습니다."
초기 조사 결과에 따르면 기업 AI의 가치는 인간이 AI를 어떻게 활용할 수 있느냐에 따라 크게 달라집니다. 즉, AI에 대한 지식을 인간이 효과적으로 쿼리할 수 있는지, 아니면 AI가 인간이 매일 사용하는 워크플로에 얼마나 잘 통합되는지가 중요합니다.
IBM Consulting의 생산성 측정 연구소에서는 이러한 인사이트를 활용하여 인간과 기계의 관계를 더욱 효율적으로 만들고 진정한 AI의 힘을 실현하는 것을 목표로 툴을 지속적으로 조정하고 성장시키고 있습니다.
AI 전문가와 함께 시대를 앞서가세요. 최신 AI 뉴스, 트렌드, 혁신 및 비즈니스에 미치는 영향에 대한 주간 인사이트를 받아보세요.
생성형 AI 시대에 장벽을 넘어 용기와 신념을 가지고 도약
생성형 AI의 컴퓨팅 비용을 유발하는 요인을 이해하면 CEO가 더 정보에 입각한 투자 결정을 내리고 더욱 비용 효율적으로 혁신과 변화를 달성하는 전략적 우선순위를 설정할 수 있습니다.
Audi AG는 IBM Power Systems를 활용하여 새로운 비즈니스 인사이트를 향한 노력을 가속화합니다.