CIO와 CTO가 애플리케이션 현대화를 위해 생성형 AI를 채택하기 전에 고려해야 할 사항

생성형 AI를 구현하는 것은 마치 닭이 먼저인지 또는 달걀이 먼저인지를 결정해야 하는 난제처럼 보일 수 있습니다. 최근 IBM 기업가치연구소(IBV) 설문조사에서 CEO의 64%가 생성형 AI를 사용하려면 먼저 앱을 현대화해야 한다고 답했습니다. 그러나 동시에 생성형 AI는 코드 리버스 엔지니어링, 코드 생성, 한 언어에서 다른 언어로의 코드 변환, 현대화 워크플로 정의 및 기타 자동화 프로세스를 통해 애플리케이션 현대화 프로세스를 혁신할 수 있는 힘을 가지고 있습니다. CTO와 CIO가 기술 및 데이터 자산을 평가하고, 기회를 평가하고, 앞으로 나아갈 길을 계획할 수 있는 방법은 다음과 같습니다.

CIO와 CTO는 다음을 수행해야 합니다.

• 생성형 AI를 효과적으로 구현하기 위한 기반 전략으로 조직의 하이브리드 클라우드 숙련도 수준을 평가합니다.
• 구현 및 현상 유지에 따른 조직적 장애물과 비용을 평가합니다.
• 일반 목적의 대형 모델을 사용하는 것과 작은 모델을 조정하는 것의 비용과 이점 비교
• 데이터 가용성, 거버넌스, 보안 및 지속가능성과 관련된 요소 및 비용 평가
• HR과 협력하여 사람을 생성형 AI 전략의 중심에 둡니다.

IBM은 지난 10년 동안 확장 가능한 AI 기반 혁신, 생산성 및 효율성을 뒷받침하기 위해 하이브리드 클라우드 전략을 지지해 왔습니다. 우리의 관점에서 보면 아키텍처에 대한 논쟁은 끝났습니다. 하이브리드 클라우드를 완벽하게 구현한 조직은 조직 전체에 생성형 AI를 구현할 수 있는 준비가 되어 있습니다. 하이브리드 클라우드를 사용하면 강력한 오픈 소스 대규모 언어 모델(LLM)을 활용하고, 공개 데이터 및 컴퓨팅 리소스를 사용하여 자체 모델을 학습시키고, 독점 인사이트를 비공개로 유지하면서 모델을 안전하게 미세 조정할 수 있습니다. 하이브리드 클라우드의 생성형 AI는 고객 및 직원 경험, HR 및 고객 서비스 기능에 막대한 가치를 더할 뿐만 아니라, CIO와 CTO에게 IT 운영을 자동화하고 애플리케이션을 현대화할 수 있는 탁월한 민첩성을 제공하여 잠재적으로 기술 부채를 없애고 진정으로 지속적인 현대화를 가능하게 합니다.

하이브리드 클라우드를 도입하기로 결정한 CIO와 CTO에게도 현대화를 방해하는 조직적 장애물은 여전히 존재합니다. 첫째, 기술 리더는 현대화가 조직 전체에 미치는 전체 재정적 영향(현대화하지 않았을 때의 비용과 비교)을 추정해야 합니다. IT 프로젝트가 아닌 비즈니스 이니셔티브로서 현대화를 추진해야 합니다. 또한 리더는 인재 개발을 우선시하여 전문성 격차를 해소하고, 현대화를 운영 기술 플레이가 아닌 전략적이고 미래를 대비하는 비즈니스 투자로 인식하여 문화적 동의를 얻어야 합니다.

다음으로, 리더는 생성형 AI가 현대화에 가져올 수 있는 비즈니스 가치를 이해하여 어디에 투자해야 하는지 파악해야 합니다. IBM Consulting 팀의 경험에 따르면, 현대화 여정을 막 시작한 조직들은 AI 기반 자동화의 이점과 가치를 이해하는 데 있어 "가능성의 예술"에 대한 시각이 필요합니다. 여정이 더 진전된 조직은 업계의 사용 사례에 대한 명확성과 고유한 기회를 처리하기 위한 지원을 모색하고 있습니다.

IT 운영 내에서 생성형 AI의 사용 사례에는 서비스 수준 목표를 준수하기 위한 시스템 자동 분류, 문의 및 티켓 관리, 커뮤니케이션, 지원 제공 및 해결, 이벤트 및 이상 탐지 및 관리가 포함됩니다. 런북을 구축 및 실행하고 사용자가 새로운 지식 기반 및 소프트웨어로 전환할 수 있도록 지원하여 IT 자동화를 개선할 수 있습니다. 또한 예를 들어 DevOps 파이프라인 및 미들웨어 자동화 스크립트를 생성하여 플랫폼 엔지니어링에 도움을 줄 수 있습니다.

현대화의 기반이 되는 IT 운영에 대해서는 훨씬 더 논의할 것들이 많습니다. 여기서는 생성형 AI를 적용할 수 있는 네 가지 워크플로에 대해 우선적으로 설명하겠습니다.

• 혁신 계획: 생성형 AI는 요약, 계획 생성, Terraform과 같은 참조 아키텍처 생성을 통해 현대화 워크플로를 정의하는 데 도움을 줄 수 있습니다.
• 코드 리버스 엔지니어링: 생성형 AI는 코드를 분석하여 비즈니스 규칙과 도메인 모델을 추출하고, 모놀리식 아키텍처에서 마이크로서비스로 애플리케이션을 이동하기 위한 권장 사항을 생성하고, 리팩터링 및 컨테이너화 기회를 식별하고, 리팩터링된 코드를 생성함으로써 리버스 엔지니어링을 용이하게 합니다.
• 코드 생성: 코드 생성은 IT 리더가 개발자 대역폭 및 제한된 인재 풀의 기술 최적화와 관련된 문제를 극복하는 데 도움이 됩니다. 짧은 스니펫부터 전체 기능에 이르기까지 매우 반복적이고 수동적인 작업은 클라우드 네이티브 코드 생성을 통해 처리할 수 있습니다. UI 설계, 인프라, 컨테이너 플랫폼 구성(예:Red Hat OpenShift) 및 서버리스 프레임워크(예:Knative)에 대한 코드를 생성할 수 있습니다.
• 코드 변환: 코드 변환은 미션 크리티컬한 레거시 애플리케이션을 유지하고 업데이트하는 데 필수적입니다. 생성형 AI를 사용하면 예를 들어 COBOL에서 Java, SOAP에서 REST 및 기타 언어 및 환경에 이르기까지 이 프로세스를 자동화할 수 있습니다.

CTO/CIO는 이러한 기능 내에서 생성형 AI를 사용할 때 얻을 수 있는 빠른 이점을 고려해야 합니다. 개념 증명 구현을 탐색할 수 있는 비교적 개별적이고 위험도가 낮은 기회를 찾아보세요. 소규모로 시작하여 테스트하고 확장하세요.

올바른 파운데이션 모델을 미리 선택하면 기업에 보다 정확하고 효율적인 결과를 제공하는 데 도움이 될 수 있습니다.

트랜스포머의 아키텍처는 크기가 더 큰 모델을 선호합니다. 모델이 클수록 더 좋은 결과를 얻을 수 있기 때문입니다. 따라서 생성형 AI 분야에서는 광범위한 애플리케이션을 위한 더 큰 파운데이션 모델을 구축하려는 경쟁이 벌어지고 있습니다. 하지만 가장 큰 모델이 강력하긴 하지만, 수십억 개의 매개변수를 가진 모델이 항상 기업에 최선의 선택은 아닐 수 있습니다. 작업에 맞게 미세 조정된 소형 모델이 해당 작업에 맞게 미세 조정되지 않은 대형 모델보다 성능이 우수한 경우가 많습니다. 이 모델들은 기본적인 기초가 기업용으로 적합하다면, 약간의 조정만으로 범용 LLM 위에서 실행할 수 있습니다. 예를 들어, IBM의 130억 개 매개변수를 가진 Granite 파운데이션 모델은 곧 출시 예정인 watsonx.ai에서 제공되며, 가장 큰 LLM(수백억 개의 매개변수를 가진 모델)보다 훨씬 작지만, 요약, 질문 응답 및 분류와 같은 비즈니스 작업에서 뛰어난 성능을 발휘하면서도 훨씬 더 효율적입니다.

또한 목적에 맞는 파운데이션 모델을 통해 조직은 코드 스니펫 및 애플리케이션 구성 요소를 생성하고 애플리케이션 테스트를 자동화하여 현대화를 자동화하고 가속화할 수 있습니다. watsonx.ai에 내장된 코드 모델을 활용하여 IBM watsonx Code Assistant를 사용해 코드를 변환할 수도 있습니다(예: COBOL에서 Java로). watsonx Code Assistant 내에서 모든 경험 수준의 개발자는 요청을 일반 언어로 표현하고 AI가 생성한 권장 사항을 받거나 기존 소스 코드를 기반으로 코드를 생성할 수 있습니다. watsonx.ai에는 GitHub의 공개 라이선스 데이터로 학습된 StarCoder LLM에 대한 액세스도 포함되어 있습니다. 개발자는 StarCoder를 활용하여 코드 생성을 가속화하고 애플리케이션 및 IT 현대화를 위한 생산성을 높일 수 있습니다.

CTO는 크기 외에도 파운데이션 모델을 선택할 때 모델이 지원하는 자연어 및 프로그래밍 언어, 모델에 필요한 미세 조정 정도도 고려해야 합니다.

생성형 AI에서는 ROI 계산 방법이 성숙하거나 표준화되어 있지 않으며, 비교 벤치마크가 없는 경우가 많습니다. 엔터프라이즈 애플리케이션의 경우, 미세 조정, 프롬프트 엔지니어링 및 컴퓨팅 집약적인 워크로드 실행에는 상당한 투자가 필요합니다.

모델을 선택하고 배포할 때 고려해야 할 네 가지 주요 요소는 도메인, 산업 및 사용 사례에 따라 달라집니다. 첫 번째 비용 요소는 가격 또는 라이선스 방식입니다. 이는 퍼블릭 및 매니지드 클라우드의 API 사용량과 하이브리드 및 프라이빗 클라우드의 호스팅 및 컴퓨팅 비용으로 평가됩니다. 두 번째 비용 요소는 개발 노력으로, 하이브리드 및 프라이빗 클라우드에서 더 높으며 세 번째 요소인 엔터프라이즈 데이터 보안과 밀접한 관련이 있습니다. 마지막으로, IP와 보안 위험의 잠재적 영향을 고려하세요. 이는 모두 하이브리드 및 프라이빗 환경으로 갈수록 감소합니다.

데이터 가용성 및 거버넌스 요소도 ROI를 평가할 때 고려해야 할 사항입니다. IBM은 watsonx AI 제품 포트폴리오를 통해 비즈니스 사용자의 요구에 맞춘 파운데이션 모델을 제공하는 데 큰 진전을 이루고 있습니다. 오픈 레이크하우스 아키텍처를 기반으로 한 watsonx.data의 맞춤형 데이터 저장을 통해 기업은 워크로드가 위치한 어디에서든 모델을 개인화할 수 있습니다. 또한 watsonx.governance 툴은 조직이 비즈니스 전반에서 책임감 있고 투명하며 설명 가능한 워크플로를 효율적으로 추진하는 데도 도움이 됩니다.

생성형 AI의 기능과 활용이 가속화됨에 따라, ROI 방정식에서 이점의 가치를 수치화하는 것은 어려운 과제가 될 수 있습니다. 하지만 CIO와 CTO가 조직이 기존 AI를 통해 비즈니스 가치를 창출한 다양한 방법을 검토하고, 생성형 AI 테스트 사례와 빠른 성공 사례를 바탕으로 잠재적 가치를 추론하는 것은 합리적인 접근입니다.

공식적인 ESG 프로그램이든 기업 미션의 일환이든, 지속가능성은 단순한 윤리적 실천을 넘어 점점 더 나은 비즈니스로 인식되고 있습니다. 지속가능성을 위해 헌신적이고 효과적인 노력을 기울이는 기업은 주주 수익률, 매출 성장 및 수익성을 개선하여 비즈니스 가치를 높일 수 있습니다. 따라서 CTO는 생성형 AI 도입 계산에 지속가능성을 고려하는 것이 현명합니다.

AI 모델을 학습하고, 조정하고, 실행하면 엄청난 탄소 발자국이 남을 수 있습니다. 이것이 바로 IBM이 신뢰할 수 있고 휴대 가능하며 에너지 효율적인 파운데이션 모델을 통해 기업을 위한 생성형 AI를 맞춤화할 수 있도록 지원하는 이유입니다. 더 작은 모델을 만들고 컴퓨터 리소스를 더 효율적으로 사용하면 비용과 탄소 배출량을 크게 줄일 수 있습니다. IBM Research는 또한 작은 모델을 재활용하여 더 큰 모델로 구축하는 LiGo 알고리즘 등 보다 효율적인 모델 학습 기술을 개발하고 있으며, 이를 통해 시간, 비용 및 아웃풋을 최대 70% 절감하고 있습니다.

마지막으로, 생성형 AI를 효과적으로 구현하려면 숙련되고 열정적인 인재가 필요합니다. 따라서 인사 부서는 조직 전략의 중심에 있어야 합니다. 이미 AI 기반 채용 툴을 사용하고 있을 가능성이 높은 HR 전문가들의 재교육부터 시작하세요. 다음으로, 공식적인 관리 이니셔티브를 개발하여 생성형 AI 테스트 및 채택이 진행 중인 위치를 알리고 피드백을 제공하세요.