AI 스토리지란 무엇인가요?

AI 혁신은 빠르게 가속화되고 있으며, AI 프로젝트에는 증가하는 데이터 성장을 수용하는 동시에 AI 기반 워크로드가 요구하는 성능, 확장성, 그리고 낮은 지연 시간 액세스를 제공할 수 있는 스토리지 아키텍처가 필요합니다.

Precedence Research의 연구에 따르면 전 세계 AI 기반 스토리지 시장은 2025년 359억 5천만 달러에서 2034년까지 약 2,552억 4천만 달러로 성장할 것으로 예상됩니다. 추정 복합 연간 성장률(CAGR)은 24.42%입니다.¹ 산업 전반에 걸쳐 AI 스토리지 사용 사례가 증가함에 따라 AI와 ML의 통합이 가속화되면서 시장 성장을 주도하고 있습니다.

기업들은 데이터 스토리지 인프라를 현대화하여 AI, ML 및 고급 분석의 비즈니스 잠재력을 활용하고 있습니다. 그러나 여러 지역에 분산된 데이터와 워크로드, AI 학습 및 추론 워크로드에 필요한 시간 증가로 인해 어려움을 겪고 있습니다. 이러한 문제에 그래픽 처리 장치(GPU)와 같은 온디맨드 리소스의 비용과 희소성이라는 문제가 더해집니다. 

IBM 기업가치연구소(IBV)의 연구에 따르면, 임원의 62%가 3년 안에 조직 전체에 AI를 활용할 것으로 예상합니다. 그러나 IT 인프라가 모든 AI 요구 사항을 충족한다고 답한 기업은 8%에 불과했습니다.

미래를 내다보면, 설문 조사에 참여한 사람들 중 단 42%만이 이러한 인프라가 고급 AI 모델의 데이터 양과 컴퓨팅 요구 사항을 처리할 수 있다고 생각합니다. 마찬가지로, 46%만이 실시간 추론을 대규모로 지원할 것으로 예상합니다.

AI 워크로드에는 모델 학습, 미세 조정 및 추론 속도를 저하시키는 데이터 처리 병목 현상을 줄일 수 있는 시스템이 필요합니다. 또한 생성형 AI 및 대규모 언어 모델(LLM) 워크로드와 같이 지속적으로 증가하는 데이터세트를 처리할 수 있는 확장형 스토리지 시스템도 필요합니다.

이러한 요구 사항을 충족하기 위해 AI 스토리지는 애플리케이션 프로그래밍 인터페이스(API)를 통해 오픈 소스 및 독점 ML과 딥 러닝 프레임워크와 원활하게 통합될 수 있습니다. 이 기능은 LLM 교육, 모델 개발을 가속화하고 AI 시스템 전반의 성능을 향상시킵니다.

더 자세한 내용을 알아보려면 "AI를 위한 인프라: 스토리지가 중요한 이유"를 참조하세요.

기존 데이터 스토리지는 일반 비즈니스 앱에 사용되며, AI 스토리지는 복잡하고 데이터 집약적인 AI 모델을 효율적이고 비용 효율적으로 학습하고 실행하기 위한 기반을 제공합니다.

기존 스토리지는 구조화된 데이터와 비정형 데이터를 모두 처리하지만, 예측 가능한 패턴을 가진 일반적인 비즈니스 워크로드를 위해 설계되어 있으며, 분산 시스템에서 모델을 학습하고 대규모로 추론을 실행하는 용도로는 적합하지 않습니다.

AI 스토리지는 AI 인프라 시스템을 학습하고 실행하기 위한 데이터를 저장하고 관리하는 시스템을 의미하며, 여기에는 데이터 레이크, 클라우드 스토리지, 데이터베이스가 포함됩니다. 방대한 양의 비정형 데이터(예: 이미지, 오디오, 비디오, 센서 데이터)를 처리합니다.

이러한 유형의 데이터에는 특히 모델 학습 및 추론 중에 높은 IOPS(초당 입출력 작업 수)와 초저지연 지연 시간을 제공하는 스토리지 시스템이 필요합니다.

요약하자면, 기존 스토리지와 AI 스토리지의 주요 차이점은 워크로드 사양으로 귀결됩니다. 기존 스토리지 시스템은 일관되고 예측 가능한 운영을 위해 설계되었지만, AI 워크로드는 전체 수명 주기 동안 독특하고 까다로운 요구 사항을 가지고 있습니다.

AI 시스템 수명 주기의 각 단계인 데이터 수집, 학습, 추론, 모델 업데이트는 각각 고유한 스토리지 요구 사항을 가지며, 페타바이트 규모의 스토리지 용량과 고속 메모리를 요구합니다.

AI 스토리지는 데이터 파이프라인을 사용하여 수집부터 전처리, 모델 소비에 이르기까지 지속적인 데이터 흐름을 촉진합니다. 이를 위해 오브젝트 스토리지와 병렬 파일 시스템을 포함한 확장형 아키텍처를 사용하여 여러 스토리지 노드 전반에서 데이터를 병렬로 처리합니다. 이 기능을 통해 AI 애플리케이션은 필요한 고속으로 실시간 데이터를 처리할 수 있습니다.

비용과 성능을 균형 있게 맞추기 위해 AI 스토리지에는 일반적으로 스토리지 계층이 포함됩니다. 자주 액세스되는 데이터(핫 티어)는 고속 캐시 및 플래시 스토리지에 저장되는 반면, 중요도가 낮은 데이터(웜 또는 콜드)는 장기 보존을 위해 비용 효율적이고 속도가 느린 스토리지 기술에 저장됩니다.

• 플래시 기반 스토리지: AI 스토리지는 솔리드 스테이트 드라이브(SSD)에 의존합니다. 이러한 SSD는 일반적으로 NAND 플래시 메모리를 사용하는 반도체 기반 스토리지 장치로, 학습과 추론을 위한 데이터 세트를 처리할 때 높은 성능, 낮은 지연 시간, 높은 처리량을 제공합니다.

• 단일 계층 설계: 대부분의 AI 스토리지 솔루션은 단일 계층 아키텍처를 사용하여 자주 액세스하는 데이터를 위한 통합된 통합 환경을 제공합니다. 이 유형의 아키텍처는 짧은 지연 시간과 높은 I/O 성능을 위한 플래시 또는 SSD 스토리지를 지원합니다.

• 고대역폭 메모리(HBM): 데이터 센터 GPU, CPU, 가속기 및 일부 SSD는 기존의 메모리 아키텍처인 동적 랜덤 액세스 메모리(DRAM)보다 낮은 전력 소비로 고성능 데이터 전송을 가능하게 하기 위해 HBM을 사용합니다.

• NVMe (비휘발성 메모리 익스프레스) 기술: NVMe는 고도로 병렬적인 데이터 전송을 위해 설계된 프로토콜로, AI 스토리지에서 중요한 역할을 합니다. NVMe SSD 및 네트워크 스토리지(NVMe-oF)는 AI 워크로드에서 대규모 병렬 처리를 지원하는 데 필요한 속도, 프로그래밍 기능, 용량을 갖추고 있습니다. 

• 데이터 저장소: AI 스토리지는 데이터 플랫폼과 데이터 서비스(예: 데이터 레이크, 웨어하우스, 레이크하우스)를 사용해 원시 및 비정형 데이터를 위한 중앙 집중식 환경을 조성합니다. 이 프로세스는 사일로를 허물고 시스템 간 데이터 이동의 필요성을 없애줍니다.

• 데이터 정리 기술: 데이터 중복 제거, 압축 및 계층화 기술은 조직의 스토리지 공간과 비용을 최소화하는 동시에 고성능 액세스를 유지합니다.

• 확장형 환경: AI 스토리지는 하이브리드 클라우드, 온프레미스(on-prem), 하이퍼스케일 데이터 센터, 엣지 환경과 같은 고성능 스케일아웃 인프라 모델을 사용해 배포됩니다.

AI 스토리지는 AI 워크플로 및 인프라 성능을 최적화하는 데 다음과 같은 주요 이점을 제공합니다.

• GPU 가속 성능: GPU 가속 애플리케이션 및 워크로드를 지원하여 AI 학습 및 추론에 필요한 처리량을 제공합니다.

• 통합 데이터 접근: 기존 스토리지, 클라우드 및 엣지 환경을 포함한 다양한 데이터 소스에서 파일, 볼륨 및 객체에 대한 접근을 제공하여 시스템 간 데이터 이동의 필요성을 없애줍니다.

• 이동 없는 데이터 접근성: 물리적으로 데이터를 이동하지 않고도 여러 플랫폼과 위치에서 데이터에 액세스할 수 있어 중복 및 네트워크 비용을 절감할 수 있습니다.

• 자동화된 데이터 보호: 환경 전반에서 암호화와 같은 정책 및 보호 방법을 사용하는 데이터를 프로비저닝하여 AI 데이터 세트가 수명 주기 내내 보호되도록 보장합니다.

• 하이브리드 클라우드 통합: 데이터 센터의 데이터를 퍼블릭 클라우드 리소스에 연결하여 애플리케이션 협업을 개선하고 AI 워크로드에 더 큰 민첩성을 제공합니다.

• 간소화된 스토리지 관리: 기본 제공되는 확장성, 자동화, 간소화된 운영으로 AI 이니셔티브의 복잡성을 줄여줍니다.

• 비용 최적화: 데이터 사일로와 중복을 제거하는 동시에 컴퓨팅 및 스토리지 리소스를 병합하여 AI 성능 저하 없이 인프라 비용을 낮춥니다.

AI 스토리지는 데이터 집약적인 다양한 AI, ML 및 고성능 컴퓨팅(HPC) 워크플로에서 중요한 역할을 합니다. 다음은 몇 가지 산업별 사용 사례입니다.

• 소매

• 의료 서비스

• 금융

• 엔터테인먼트

• 제조

• 보험

소매업체는 판매 거래, 고객 상호작용, 소셜 미디어 및 IoT 장치에서 생성되는 대량의 데이터와 메타데이터를 관리하기 위해 AI 스토리지를 사용합니다. 이 프로세스를 통해 실시간 재고 최적화, 개인화된 추천 및 수요 예측이 가능합니다.

의료 분야에서 AI 스토리지는 방대한 게놈 데이터 세트, 의료 영상 파일 및 전자 의료 기록을 처리하는 동시에 AI(예: NVIDIA BioNemo, IBM® watsonx)를 통해 신약 발견을 가속화하고 임상 의사 결정 지원을 지원합니다.

은행 및 기타 금융 기관은 확장가능한 AI 스토리지를 사용하여 거래량의 방대한 데이터를 관리합니다. 이를 통해 머신 러닝 알고리즘은 수백만 건의 거래에서 패턴과 이상 징후를 실시간으로 감지하여 사기 탐지 및 맞춤형 뱅킹 서비스를 지원할 수 있습니다.

Netflix 및 Amazon과 같은 스트리밍 서비스는 AI 데이터 스토리지를 사용하여 시청 기록 데이터를 대규모로 처리함으로써 개인화된 콘텐츠를 제공하는 실시간 추천 엔진을 가능하게 합니다.

AI 스토리지는 공장 현장의 센서와 기계에 대한 데이터 관리를 제공합니다. 이 인프라는 예측 유지보수를 가능하게 하고 공급망을 최적화하며 품질 관리를 실시간으로 자동화합니다.

AI 스토리지는 문서, 사진 및 비정형 데이터에 빠르게 액세스할 수 있도록 하여 자동화된 언더라이팅 및 청구 처리를 지원합니다. 이 접근 방식을 사용하면 자연어 처리(NLP) 및 이미지 인식 모델을 통해 위험 평가를 가속화하고 클레임 합의를 신속하게 처리할 수 있습니다.