비즈니스용 AI 구축: IBM의 Granite 파운데이션 모델

지금은 비즈니스용 AI에 있어 흥미로운 시기입니다. 고객 서비스에서 HR, 코드 현대화에 이르기까지 다양한 영역에 인공 지능(AI)을 폭넓게 적용하면서 점점 더 많은 사람들이 더 열심히 일하는 것이 아니라 더 스마트하게 일할 수 있게 되었습니다. 비즈니스용 AI 혁명은 이제 막 시작 단계에 접어든 만큼 생산성과 창의성을 향상시킬 수 있는 잠재력은 무궁무진합니다.

그러나 오늘날의 AI는 매우 역동적인 분야이며, AI 플랫폼은 이러한 역동성을 반영하여 현재와 미래의 요구 사항을 충족하기 위해 최신 기술을 통합해야 합니다. 이 때문에 IBM은 AI 제품 포트폴리오인 IBM® watsonx에 강력한 새로운 기능을 계속 추가하고 있습니다.

오늘 우리는 IBM이 자체 개발한 새로운 제품군을 발표합니다. 이는 생성형 AI, 파운데이션 모델, 머신 러닝을 위한 스튜디오인 watsonx.ai에서 사용할 수 있는 새로운 파운데이션 모델 제품군입니다. 총칭하여 "Granite"라고 불리는 이 다양한 크기의 파운데이션 모델들은 언어와 코드에 모두 생성형 AI를 적용합니다. 그리고 건설과 제조에서 다양한 용도로 사용되는 견고한 화강암(granite)처럼, IBM은 이러한 Granite 모델들이 여러분의 비즈니스에 지속적인 가치를 제공할 것이라고 믿습니다.

이제 그 내부를 들여다보고 이러한 기능을 어떻게 구축했는지, 그리고 비즈니스에서 AI를 한 단계 더 발전시키는 데 어떻게 도움이 되는지 설명해 드리겠습니다.

IBM Research에서 개발한 Granite 모델(Granite.13b.instruct 및 Granite.13b.chat)은 오늘날의 대규모 언어 모델이 시퀀스에서 다음 단어를 예측하는 능력을 뒷받침하는 '디코더' 아키텍처를 사용합니다.

130억 개의 매개변수 모델을 갖춘 Granite 모델은 단일 V100-32GB GPU에 맞는 대형 모델보다 더 효율적입니다. 또한 요약, 질의응답, 분류와 같은 전문적인 비즈니스 영역의 작업을 잘 수행하면서도 환경에 미치는 영향은 적을 수 있습니다. 이러한 프레임워크는 산업 전반에 걸쳐 폭넓게 적용 가능하며, 콘텐츠 생성, 통찰력 추출 및 검색 증강 생성(모델을 외부 지식 소스에 연결하여 응답 품질을 개선하는 프레임워크) 및 명명된 엔티티 인식(텍스트에서 주요 정보를 식별하고 추출)과 같은 다른 NLP 작업을 지원합니다.

IBM은 비즈니스에 최적화된 모델을 구축하는 데 집중하고 있습니다. Granite 모델 제품군 역시 마찬가지이며, 이를 위해 총 7TB(전처리 전), 전처리 후 2.4TB 규모의 다양한 데이터 세트를 활용해 모델이 의미를 이해하는 문자 단위인 1조 개의 토큰을 학습시켰습니다. 데이터 세트 선정은 비즈니스 사용자의 요구에 초점을 맞추었으며, 다음과 같은 도메인의 데이터를 포함하고 있습니다

• 인터넷: 공공 인터넷에서 수집한 일반 비정형 언어 데이터
• 학술: 과학과 기술에 초점을 맞춘 기술적인 비정형 언어 데이터
• 코드: 다양한 코딩 언어를 포괄하는 비정형 코드 데이터 세트
• 법률: 법률 의견 및 기타 공개 서류에서 가져온 기업 관련 비정형 언어 데이터
• 재무: 공개적으로 게시된 재무 문서 및 보고서에서 수집한 기업 관련 비정형 데이터

기업 전문 데이터 세트에 대한 모델 훈련을 통해 모델이 해당 산업의 전문 언어와 전문 용어에 익숙해지고 관련 업계 지식에 기반한 의사 결정을 내릴 수 있도록 지원합니다.

비즈니스에서 신뢰는 곧 운영을 가능하게 하는 '허가증'입니다. 특히 AI 분야에서 '우리를 믿어주세요'라는 말만으로는 충분하지 않습니다. 엔터프라이즈 AI를 가장 먼저 개발한 기업 중 하나로서 IBM은 신뢰와 투명성에 대한 약속을 기반으로 한 핵심 원칙에 따라 AI를 개발하고 있습니다. IBM watsonx 제품군은 단순히 AI를 사용하는 것을 넘어, AI로부터 실제 비즈니스 가치를 창출할 수 있도록 지원합니다. 이 플랫폼은 데이터 수집에서 시작해, 모델과 애플리케이션이 책임 있게 배포되고 운영되는지 추적하는 제어 지점에 이르기까지, 기초 모델 및 생성형 AI를 구축하고 테스트하는 엔드투엔드 프로세스를 제공합니다. 이 과정은 거버넌스, 위험 평가, 편향 완화, 그리고 규정 준수에 초점을 맞추고 있습니다.

Granite 모델은 고객이 자체 애플리케이션에 맞게 조정하여 사용할 수 있도록 제공될 예정이므로, 학습에 사용되는 모든 데이터 세트는 정의된 거버넌스, 위험 및 규정 준수(GRC) 검토 절차를 거칩니다. IBM은 IBM AI 윤리 원칙에 부합하도록, 데이터를 IBM Data Pile에 포함시키기 위한 거버넌스 절차를 개발했습니다. 데이터에 대한 GRC 기준 충족은 학습 데이터의 전체 라이프사이클에 걸쳐 적용됩니다. 저희의 목표는 학습된 기반 모델에서, 그 모델이 학습된 특정 버전의 데이터셋까지 감사 가능한 연결 고리를 구축하는 것입니다.

언론의 많은 관심이(당연히) 생성형 AI가 혐오적이거나 명예훼손적 내용을 만들어낼 위험에 초점을 맞추고 있습니다. IBM은 기업이 이런 위험을 감수할 수 없다는 것을 잘 알고 있습니다. 그래서 Granite 모델은 IBM이 자체적으로 개발한 "HAP 감지기"로 면밀히 검토된 데이터로 학습됩니다. HAP 감지기는 혐오 및 욕설 콘텐츠를 탐지하고 제거하도록 훈련된 언어 모델로, 내부 모델뿐 아니라 공개 모델을 기준으로 벤치마크됩니다. 문서의 각 문장에 점수가 부여된 후, 분석을 통해 문장과 점수의 분포를 확인하여 필터링해야 할 문장의 비율을 결정합니다.

이 외에도 다양한 품질 측정을 적용하고 있습니다. 아웃풋 품질을 개선하기 위해 중복을 찾아 제거하고, 교육에 적합하지 않은 낮은 품질의 문서를 제거하기 위해 문서 품질 필터를 사용합니다. 또한 불법 복제 자료나 기타 불쾌한 자료를 게시하는 것으로 알려진 웹사이트를 모니터링하고 해당 웹사이트를 피하는 등 정기적이고 지속적인 데이터 보호 조치를 취하고 있습니다. 

또한 생성형 AI 기술 환경은 끊임없이 변화하고 있기 때문에 엔드투엔드 프로세스는 지속적으로 진화하고 개선하여 기업이 신뢰할 수 있는 결과를 제공할 것입니다.

비즈니스용 AI에 대한 IBM의 비전의 핵심은 권한 부여라는 개념입니다. 모든 조직은 자체 목표를 달성하기 위해 Granite 모델을 배포할 것이며, 모든 기업은 법률, 사회적 규범, 산업 표준, 시장 요구 사항 또는 아키텍처 요구 사항 등 준수해야 하는 자체 규정을 가지고 있습니다. 저희는 기업이 watsonx 도구를 사용하여 워크로드가 어디에 있든 자체 가치에 따라(한도 내에서) 모델을 개인화할 수 있어야 한다고 믿습니다.

하지만 그게 전부가 아닙니다. Watsonx에서 무엇을 하든 데이터에 대한 소유권은 사용자에게 있습니다. 저희는 사용자의 데이터를 사용하여 모델을 학습시키지 않으며, 사용자는 자신이 구축한 모델을 계속 제어하고 어디든 가져갈 수 있습니다.

초기 Granite 모델은 시작에 불과합니다. 다른 언어로 된 더 많은 모델이 계획되어 있으며, IBM이 자체적으로 학습시키는 추가 모델들도 준비 중입니다. 동시에 watsonx에 오픈소스 모델을 계속 추가하고 있습니다. 최근 IBM이 Meta의 Llama 2-chat 700억 파라미터 모델을 일부 고객에게 조기 액세스로 제공하기 시작했으며, 9월 말에는 더 폭넓게 공개할 예정이라고 발표했습니다. 또한 IBM은 80개 이상의 프로그래밍 언어, Git 커밋, GitHub 이슈, Jupyter Notebook을 포함하는 코드 전용 대규모 언어 모델인 StarCoder도 호스팅할 예정입니다.

IBM은 새 모델 외에도 watsonx.ai 스튜디오에서 새로운 기능을 출시하고 있습니다. 이번 달 말에는 고객이 신뢰할 수 있는 자체 데이터에 대한 모델 학습을 통해 파운데이션 모델을 고유한 다운스트림 작업에 적용할 수 있는 효율적이고 저렴한 방법인 프롬프트 튜닝이 포함된 Tuning Studio의 첫 번째 버전이 출시될 예정입니다. 또한 사용자 지정 데이터 스키마 또는 내부 데이터 세트에서 인공 표 형식의 데이터 세트를 생성하는 데 도움이 되는 합성 데이터 생성기를 출시할 예정입니다. 이 기능을 통해 사용자는 위험을 줄이면서 AI 모델 학습과 미세 조정 또는 시나리오 시뮬레이션을 위한 인사이트를 추출하여 의사 결정을 강화하고 시장 출시 시간을 단축할 수 있습니다.

Granite 파운데이션 모델 및 기타 기능이 watsonx에 추가됨에 따라 비즈니스용 AI의 새롭고 흥미로운 가능성이 열렸습니다. 새로운 모델과 새로운 도구는 새로운 아이디어와 새로운 솔루션을 제공합니다. 그리고 이 모든 것의 가장 좋은 점은 무엇일까요? 이제 시작에 불과하다는 점입니다.