엣지의 파운데이션 모델

파운데이션 모델(FM)은 머신 러닝(ML)과 인공 지능(AI)의 새로운 시대의 시작을 알리며, 다양한 다운스트림 작업에 적용하고 다양한 애플리케이션에 맞게 미세 조정할 수 있는 AI의 빠른 개발을 이끌고 있습니다. 

업무가 수행되는 곳에서 데이터를 처리하는 것이 점점 더 중요해짐에 따라 엔터프라이즈 엣지에서 AI 모델을 제공하면 데이터 주권 및 개인정보 보호 요구 사항을 준수하면서 실시간에 가까운 예측이 가능해집니다. 기업들은 FM을 위한 IBM® watsonx 능력과 엣지 컴퓨팅을 결합하여 운영 엣지에서 FM 미세 조정 및 추론을 위한 AI 워크로드를 실행할 수 있습니다. 이를 통해 기업은 엣지에서 AI 배포를 확장할 수 있어 배포 시간과 비용을 줄이고 빠른 응답 시간을 제공합니다.

엣지 컴퓨팅에 대한 이 블로그 게시물 시리즈의 모든 기사를 확인하세요.

• 1부: "엣지에서의 클라우드"
• 2부: "엣지에서의 아키텍처 설계"
• 3부: "엣지에서의 DevOps "
• 4부: "엣지에서의 보안"
• 5부: "엣지에서의 5G"
• 6부: "엣지에서의 클러스터 "
• 7부: "엣지에서의 자동화"
• 8부: "엣지에서의 네트워크 슬라이싱"
• 9부: "엣지에서의 데이터"
• 10부: "엣지에서의 아키텍처 결정"
• 11부: "엣지에서의 GitOps"
• 12부: "엣지에서의 스토리지 서비스"
• 13부: "엣지에서의 클라우드 서비스"
• 14부: "엣지에서의 데이터 주권"
• 15부: "엣지에서의 커넥티드 제품"
• 16부: "엣지에서의 파운데이션 모델"

레이블이 지정되지 않은 광범위한 데이터 세트를 대규모로 학습하는 파운데이션 모델(FM)은 최첨단 인공 지능(AI) 애플리케이션을 구동하고 있습니다. 광범위한 다운스트림 작업에 맞게 조정할 수 있으며 다양한 애플리케이션에 맞게 미세 조정할 수 있습니다. 단일 영역에서 특정 작업을 실행하는 최신 AI 모델은 FM이 보다 일반적으로 학습하고 여러 영역과 문제에 걸쳐 작동하기 때문에 FM에 자리를 내주고 있습니다. 이름에서 알 수 있듯이 FM은 AI 모델의 많은 응용 분야의 기반이 될 수 있습니다.

FM은 기업이 AI 도입을 확장하는 데 방해가 되는 두 가지 주요 과제를 해결합니다. 첫째, 기업은 방대한 양의 레이블이 지정되지 않은 데이터를 생성하며, 이 중 일부만 AI 모델 학습을 위해 레이블이 지정됩니다. 둘째, 이 라벨링 및 주석 작업은 매우 인간 집약적이며, 주제 전문가(SME)의 시간이 수백 시간이 소요되는 경우가 많습니다. 따라서 사용 사례 전반으로 확장하려면 많은 SME와 데이터 전문가가 필요하기 때문에 비용이 많이 듭니다. FM은 레이블이 지정되지 않은 방대한 양의 데이터를 수집하고 모델 학습에 자체 지도형 기술을 사용함으로써 이러한 병목 현상을 제거하고 기업 전반에 걸쳐 AI를 광범위하게 채택할 수 있는 길을 열었습니다. 모든 비즈니스에 존재하는 이러한 방대한 양의 데이터는 인사이트를 도출하기 위해 활용되기를 기다리고 있습니다.

대규모 언어 모델(LLM)은 이러한 방대한 양의 레이블이 지정되지 않은 데이터로 학습된 신경망 계층으로 구성된 파운데이션 모델(FM) 클래스입니다. 이들은 자가 지도 학습 알고리즘을 사용하여 사람이 언어를 사용하는 방식과 유사한 방식으로 다양한 자연어 처리(NLP) 작업을 수행합니다(그림 1 참조).

파운데이션 모델(FM)을 구축하고 배포하는 데는 여러 단계가 있습니다. 여기에는 데이터 수집, 데이터 선택, 데이터 전처리, FM 사전 학습, 하나 이상의 다운스트림 작업에 대한 모델 튜닝, 추론 제공, 데이터 및 AI 모델 거버넌스 및 수명 주기 관리 등이 포함되며, 이 모든 것을 FMOps라고 설명할 수 있습니다.

이를 지원하기 위해 IBM은 기업 전반에 걸쳐 AI의 영향력을 배가하도록 설계된 IBM watsonx AI 제품 포트폴리오를 통해 기업이 이러한 FM의 힘을 활용하는 데 필요한 도구와 기능을 제공하고 있습니다. IBM watsonx는 다음과 같이 구성되어 있습니다.

1. IBM watsonx.ai는 FM과 기존 머신 러닝(ML)으로 구동되는 새로운 생성형 AI 기능을 AI 라이프사이클 전반에 걸친 강력한 스튜디오에 제공합니다.
2. 개방형 레이크하우스 아키텍처를 기반으로 구축된 IBM watsonx.data는 모든 데이터에 대해 어디서나 AI 워크로드를 확장할 수 있는 적합한 데이터 저장소입니다.
3. IBM watsonx.governance는 책임감 있고 투명하며 설명 가능한 AI 워크플로를 지원하기 위해 구축된 엔드 투 엔드 자동화된 AI 라이프사이클 거버넌스 툴킷입니다.

또 다른 핵심 벡터는 산업 현장, 제조 현장, 소매점, 통신사 엣지 사이트 등 엔터프라이즈 엣지에서 컴퓨팅의 중요성이 점점 더 커지고 있다는 점입니다. 보다 구체적으로, 엔터프라이즈 엣지에서의 AI는 실시간에 가까운 분석을 위해 작업이 수행되는 곳에서 데이터를 처리할 수 있게 해줍니다. 엔터프라이즈 엣지는 방대한 양의 엔터프라이즈 데이터가 생성되는 곳이며, AI가 가치 있고 시의적절하며 실행 가능한 비즈니스 인사이트를 제공할 수 있는 곳입니다.

엣지에서 AI 모델을 제공하면 데이터 주권 및 개인정보 보호 요건을 준수하면서 실시간에 가까운 예측이 가능합니다. 이를 통해 검사 데이터의 수집, 전송, 변환 및 처리와 관련된 종종 발생하는 지연 시간을 크게 줄일 수 있습니다. 엣지에서 작업하면 민감한 엔터프라이즈 데이터를 보호하고 더 빠른 응답 시간으로 데이터 전송 비용을 절감할 수 있습니다.

그러나 엣지에서 AI 배포를 확장하는 것은 데이터(이질성, 볼륨 및 규제)와 제한된 리소스(컴퓨팅, 네트워크 연결, 스토리지 및 IT 기술) 관련 문제로 인해 쉬운 작업이 아닙니다. 이들은 크게 두 가지 범주로 설명될 수 있습니다.

• 배포에 소요되는 시간/비용: 각 배포는 배포 전에 설치, 구성 및 테스트해야 하는 여러 계층의 하드웨어 및 소프트웨어로 구성됩니다. 오늘날 서비스 전문가가 각 위치에 설치하는 데 최대 1~2주가 소요될 수 있어 기업이 조직 전체에서 배포를 얼마나 빠르고 비용 효율적으로 확장할 수 있는지 심각하게 제한합니다.
• 2일차 관리: 배포된 엣지의 수와 각 배포의 지리적 위치로 인해 이러한 배포를 모니터링, 유지 관리 및 업데이트하기 위해 각 위치에서 로컬 IT 지원을 제공하는 데 엄청난 비용이 드는 경우가 많습니다.

IBM은 통합 하드웨어/소프트웨어(HW/SW) 어플라이언스 모델을 엣지 AI 배포에 도입하여 이러한 문제를 해결하는 엣지 아키텍처를 개발했습니다. 이는 AI 배포의 확장성을 지원하는 몇 가지 주요 패러다임으로 구성되어 있습니다.

• 전체 소프트웨어 스택에 대한 정책 기반의 제로 터치 프로비저닝
• 엣지 시스템 상황의 지속적인 모니터링
• 중앙의 클라우드 기반 위치에서 2일차 관리를 위해 수많은 엣지 위치에 소프트웨어, 보안, 구성 업데이트를 원격으로 관리하고 배포할 수 있는 기능

분산형 허브 앤 스포크 아키텍처는 중앙 클라우드 또는 엔터프라이즈 데이터 센터가 허브 역할을 하고 엣지 위치에서 엣지 인 어 박스 어플라이언스가 스포크 역할을 하는 엣지에서 엔터프라이즈 AI 배포를 확장하는 데 활용할 수 있습니다. 하이브리드 클라우드 및 엣지 환경 전반에 걸쳐 확장되는 이 허브 앤 스포크 모델은 FM 운영에 필요한 리소스를 최적으로 활용하는 데 필요한 균형을 가장 잘 보여줍니다(그림 2 참조).

레이블이 지정되지 않은 방대한 데이터 세트에서 자체 지도 기술을 사용하여 이러한 기본 대규모 언어 모델(LLM) 및 기타 유형의 파운데이션 모델을 사전 학습하려면 상당한 컴퓨팅(GPU) 리소스가 필요한 경우가 많으며, 이는 허브에서 수행하는 것이 가장 좋습니다. 사실상 무한한 컴퓨팅 리소스와 클라우드에 저장되는 대규모 데이터 더미를 통해 대규모 매개변수 모델을 사전 학습하고 이러한 기본 파운데이션 모델의 정확도를 지속적으로 개선할 수 있습니다.

반면, 수십 또는 수백 개의 레이블이 지정된 데이터 샘플과 추론 제공만 필요한 다운스트림 작업을 위해 이러한 기본 FM을 조정하는 작업은 엔터프라이즈 엣지에서 몇 개의 GPU만으로 수행할 수 있습니다. 이를 통해 레이블이 지정된 민감한 데이터(또는 기업용 왕관 데이터)를 기업 운영 환경에 안전하게 보관하는 동시에 데이터 전송 비용을 절감할 수 있습니다.

데이터 과학자는 애플리케이션을 엣지에 배포하기 위한 풀 스택 접근 방식을 사용하여 모델의 미세 조정, 테스트 및 배포를 수행할 수 있습니다. 이는 최종 사용자에게 새로운 AI 모델을 제공하기 위한 개발 라이프사이클을 단축하면서 단일 환경에서 수행할 수 있습니다. Red Hat OpenShift Data Science(RHODS)와 최근 발표된 Red Hat OpenShift AI와 같은 플랫폼은 분산 클라우드 및 엣지 환경에서 생산 준비가 된 AI 모델을 빠르게 개발하고 배포할 수 있는 도구를 제공합니다.

마지막으로, 미세 조정된 AI 모델을 엔터프라이즈 엣지에서 제공하면 데이터 수집, 전송, 변환 및 처리와 관련된 종종 발생하는 지연 시간을 크게 줄일 수 있습니다. 클라우드의 사전 학습과 엣지에서의 미세 조정 및 추론을 분리하면 추론 작업과 관련된 시간과 데이터 이동 비용을 줄여 전체 운영 비용을 절감할 수 있습니다(그림 3 참조).

이 가치 제안을 엔드 투 엔드로 입증하기 위해, 토목 인프라를 위한 모범적인 비전 트랜스포머 기반 파운데이션 모델(공공 및 맞춤형 산업별 데이터 세트를 사용하여 사전 학습)을 미세 조정하여 3노드 엣지(스포크) 클러스터에서 추론할 수 있도록 배포했습니다. 소프트웨어 스택에는 Red Hat OpenShift Container Platform과 Red Hat OpenShift Data Science가 포함되었습니다. 이 엣지 클러스터는 클라우드에서 실행되는 RHACM(Red Hat Advanced Cluster Management for Kubernetes) 허브의 인스턴스에도 연결되었습니다.

특정 엣지 클러스터를 소프트웨어 구성 요소 및 구성 집합에 바인딩하는 정책 및 배치 태그를 통해 Red Hat Advanced Cluster Management for Kubernetes(RHACM)를 사용하여 정책 기반 제로 터치 프로비저닝이 수행되었습니다. 풀 스택으로 확장되고 컴퓨팅, 스토리지, 네트워크 및 AI 워크로드를 포괄하는 이러한 소프트웨어 구성 요소는 다양한 OpenShift 운영자, 필수 애플리케이션 서비스 프로비저닝 및 S3 버킷(스토리지)을 사용하여 설치되었습니다.

토목 인프라를 위해 사전 학습된 파운데이션 모델(FM)은 Red Hat OpenShift 내의 Jupyter Notebook을 통해 레이블이 지정된 데이터를 사용하여 콘크리트 교량에서 발견된 6가지 유형의 결함을 분류하여 미세 조정되었습니다. 이 미세 조정된 FM의 추론 제공도 Triton 서버를 사용하여 시연되었습니다. 더 나아가, Prometheus를 통해 하드웨어 및 소프트웨어 구성 요소의 관측 가능성 지표를 클라우드의 중앙 RHACM 대시보드로 집계함으로써 이 엣지 시스템의 상태를 모니터링할 수 있었습니다. 토목 인프라 기업은 이러한 FM을 엣지 위치에 배포하고 드론 이미지를 사용하여 거의 실시간으로 결함을 감지함으로써 인사이트 도출 시간을 단축하고 대량의 고화질 데이터를 클라우드로 전송하는 데 드는 비용을 절감할 수 있습니다.

파운데이션 모델(FM)을 위한 IBM watsonx 기능과 엣지 인 어박스 어플라이언스를 결합하면 기업은 운영 엣지에서 FM 미세 조정 및 추론을 위한 AI 워크로드를 실행할 수 있습니다. 이 어플라이언스는 복잡한 사용 사례를 즉시 처리할 수 있으며 중앙 집중식 관리, 자동화 및 셀프 서비스를 위한 허브-스포크 프레임워크를 구축합니다. Edge FM 배포를 몇 주에서 몇 시간으로 단축하여 반복 가능한 성공, 더 높은 복원력 및 보안을 제공할 수 있습니다.

엣지 컴퓨팅에 대한 이 블로그 게시물 시리즈의 모든 기사를 확인하세요.

• 1부: "엣지에서의 클라우드"
• 2부: "엣지에서의 아키텍처 설계"
• 3부: '엣지에서의 DevOps '
• 4부: "엣지에서의 보안"
• 5부: "엣지에서의 5G"
• 6부: "엣지 클러스터"
• 7부: "엣지에서의 자동화"
• 8부: "엣지에서의 네트워크 슬라이싱"
• 9부: "엣지에서의 데이터"
• 10부: "엣지에서의 아키텍처 결정"
• 11부: "엣지에서의 GitOps"
• 12부: "엣지에서의 스토리지 서비스"
• 13부: "엣지에서의 클라우드 서비스"
• 14부: "엣지에서의 데이터 주권"
• 15부: "엣지에서의 커넥티드 제품"
• 16부: "엣지에서의 파운데이션 모델"