파운데이션 모델과 데이터 저장소가 생성형 AI의 비즈니스 잠재력을 실현하는 방법

이름에서 알 수 있듯이 생성형 AI 모델은 사용자의 프롬프트에 따라 텍스트, 이미지, 코드 또는 기타 응답을 생성합니다. 그들을 올바르게 활용하는 조직은 운영 효율성 향상, 개선된 의사 결정, 마케팅 콘텐츠의 신속 생성 등 다양한 장점을 보실 수 있습니다. 그러나 이러한 모델의 생성적 기능, 그리고 궁극적으로 조직에 대한 이점을 가능하게 하는 것은 무엇일까요?

바로 이 부분에서 파운데이션 모델이 필요합니다. 이것은 기존 기계 학습 모델에는 없는 향상된 추론 및 딥 러닝 능력을 생성 모델에 제공하는 기본 엔진입니다. 데이터 저장소와 함께 기반 모델을 사용하면 고객 관리, 마케팅, HR(인재 확보 포함) 및 IT 기능을 최적화하려는 조직을 위한 생성형 AI 도구를 만들고 사용자 지정할 수 있습니다.

변압기라고도 불리는 파운데이션 모델은 방대한 양의 광범위한 데이터를 기반으로 훈련된 AI 알고리즘입니다. "파운데이션 모델"이라는 용어는 2021년 스탠포드 인간 중심 인공 지능 연구소에서 만든 용어입니다.

기초 모델은 인간의 뇌가 정보를 처리하는 방식과 매우 유사하게 정보를 처리하기 위해 신경망 모델 아키텍처를 기반으로 구축되었습니다. 기초 모델은 데이터 분류, 이미지 내 객체 식별(컴퓨팅 비전), 자연어 처리(NLP)(텍스트 이해 및 생성) 등의 작업을 높은 정확도로 수행하도록 학습할 수 있습니다. 또한 자기 주도 학습을 수행하여 지식을 일반화하고 새로운 작업에 적용할 수 있습니다.

데이터 과학자는 모델을 처음부터 학습시키는 데 시간과 노력을 들이는 대신 사전 학습된 파운데이션 모델을 시작점으로 사용하여 특정 사용 사례에 맞는 생성형 AI 모델을 만들거나 사용자 지정할 수 있습니다. 예를 들어, 파운데이션 모델은 생성형 AI 모델의 기반으로 사용될 수 있으며, 이 모델은 추가 데이터 세트로 미세 조정되어 특정 유형의 제품을 더 안전하고 빠르게 제조할 수 있는 방법을 찾을 수 있습니다.

대규모 언어 모델(LLM)로 알려진 특정 종류의 파운데이션 모델은 NLP 작업을 위해 방대한 양의 텍스트 데이터에 대해 훈련됩니다. BERT(Bi-directional Encoder Representations from Transformers)는 개발된 최초의 LLM 파운데이션 모델 중 하나입니다. 오픈 소스 모델인 Google은 2018년에 BERT를 만들었습니다. 자기 감독을 통해 방대한 영어 데이터 말뭉치에 대해 사전 훈련되었으며 다음과 같은 다양한 작업에 사용할 수 있습니다.

• 고객/청중 감정 분석
• 고객 서비스 질문에 답변하기
• 입력 데이터에서 텍스트 예측
• 사용자 프롬프트에 기반한 텍스트 생성
• 대용량 복잡한 문서 요약

파운데이션 모델과 기존 머신 러닝 모델 비교

생성형 AI에 사용되는 파운데이션 모델은 콘텐츠를 생성하거나 작업을 수행하는 애플리케이션을 지원하기 위해 레이블이 지정되지 않은 대량의 데이터에 대해 훈련할 수 있다는 점에서 기존 머신 러닝 모델과 다릅니다.

한편, 기존 머신 러닝 모델은 일반적으로 레이블이 지정된 자동차 이미지를 사용하여 레이블이 지정되지 않은 이미지에서 자동차를 인식하도록 모델을 훈련하는 것과 같이 레이블이 지정된 데이터를 사용하여 단일 작업을 수행하도록 훈련됩니다.

기업 가치에 중점을 둔 파운데이션 모델

IBM의 watsonx.ai 스튜디오는 언어 및 코드 파운데이션 모델 제품군으로, 각 모델은 지질학 테마의 코드명을 사용하며, 다양한 엔터프라이즈 작업에 맞게 사용자 정의할 수 있습니다. 모든 watsonx.ai 모델은 IBM의 선별된, 엔터프라이즈 중심의 데이터 레이크에서 학습됩니다.

지금 이용 가능: Slate

Slate는 인코더 전용 모델 제품군을 의미하며, 생성적이지는 않지만 많은 엔터프라이즈 NLP 작업에 빠르고 효과적입니다.

출시 예정: Granite

Granite 모델은 생성 작업을 위한 디코더 전용 GPT와 유사한 아키텍처를 기반으로 합니다.

출시 예정: Sandstone

Sandstone 모델은 인코더-디코더 아키텍처를 사용하며 특정 작업을 미세 조정하는 데 적합합니다.

출시 예정: Obsidian

Obsidian 모델은 IBM 연구소에서 개발한 새로운 모듈식 아키텍처를 활용하여 다양한 작업에서 높은 추론 효율성과 성능을 제공합니다.

신뢰할 수 있는 도메인별 지식에 대한 보안 액세스가 없으면 파운데이션 모델은 엔터프라이즈 AI 애플리케이션에 대한 신뢰성과 이점이 훨씬 떨어질 것입니다. 다행히 데이터 저장소는 안전한 데이터 저장소 역할을 하며 기반 모델이 크기와 학습 데이터 측면에서 확장할 수 있도록 합니다.

비즈니스 중심의 생성형 AI에 적합한 데이터 저장소는 데이터 레이크와 데이터 웨어하우스의 품질을 결합한 개방형 레이크하우스 아키텍처를 기반으로 구축됩니다. 이 아키텍처는 저비용 오브젝트 스토리지로 비용을 절감하고, 고성능 분석 및 대규모 데이터 처리를 위해 구축된 Apache Iceberg와 같은 오픈 테이블 형식을 통해 대량의 데이터를 공유할 수 있습니다.

파운데이션 모델은 확장가능한, 비용 효율적인 컨테이너에서 매우 많은 양의 도메인별 데이터를 쿼리할 수 있습니다. 또한 클라우드와 결합된 이러한 유형의 데이터 저장소는 사실상 무제한의 확장성을 허용하기 때문에 시간이 지남에 따라 더 많은 데이터가 추가됨에 따라 기반 모델의 지식 격차가 좁혀지거나 심지어 제거됩니다. 닫힌 갭이 많을수록 기초 모델의 신뢰성이 높아지고 범위가 커집니다.

데이터 스토어는 데이터 과학자에게 기본 모델을 학습하고 미세 조정하는 데 사용되는 데이터를 수집하고 정리하는 데 사용할 수 있는 리포지토리를 제공합니다. 그리고 방대한 양의 데이터를 처리하기 위해 타사 공급자의 클라우드 및 하이브리드 클라우드 인프라를 활용하는 데이터 스토어는 생성형 AI 비용 효율성에 매우 중요합니다.

기초 모델이 데이터 저장소 전반의 정보에 액세스하고 이 정보를 사용하여 다양한 작업을 수행하고 응답을 생성하는 방법을 미세 조정하면 조직은 다음과 같은 이점을 얻을 수 있습니다.

효율성과 생산성 향상

데이터 과학

데이터 과학자는 사전 훈련된 모델을 사용하여 다양한 미션 크리티컬 상황에서 AI 도구를 효율적으로 배포할 수 있습니다.

개발

개발자는 사용자 지정 코드 스니펫을 생성하는 AI 도구를 사용하여 더 빠르게 작성, 테스트 및 문서화할 수 있습니다.

내부 커뮤니케이션

경영진은 AI가 생성한 긴 보고서 요약을 받을 수 있으며, 신입 사원은 간결한 버전의 온보딩 자료 및 기타 자료를 받을 수 있습니다.

운영

조직은 생성형 AI 도구를 사용하여 다음과 같은 다양한 작업의 자동화를 위해 사용할 수 있습니다.

• 데이터 분류 및 분류
• 고객과의 소통
• 더 빠른 응답 시간을 위해 메시지를 해당 부서로 라우팅
• 보고서 생성
• 회의 예약 및 일정 예약

더 빠른 콘텐츠 생성

마케팅 팀은 생성형 AI 도구를 사용하여 다양한 주제에 대한 콘텐츠를 만들 수 있습니다. 또한 마케팅 자료를 여러 언어로 빠르고 정확하게 번역할 수 있습니다.

더 정확한 분석

비즈니스 리더 및 기타 이해 관계자는 AI 지원 분석을 수행하여 대량의 비정형 데이터를 해석하여 시장, 평판 감정 등을 더 잘 이해할 수 있습니다.

IBM은 조직이 비즈니스 전반에 걸쳐 AI의 영향력을 확대할 수 있도록 포트폴리오인 watsonx를 제공합니다. 포트폴리오는 세 가지 강력한 제품으로 구성되어 있습니다.

• 새로운 파운데이션 모델, 생성형 AI 및 머신 러닝을 위한 watsonx.ai 스튜디오
• 목적에 맞는 watsonx.data 데이터 저장소, 개방형 레이크하우스 아키텍처를 기반으로 구축됨
• watsonx.governance 툴킷은 책임감, 투명성 및 설명 가능성을 바탕으로 구축된 AI 워크플로우를 가속화합니다.