Baidu는 자율주행차부터 AI, 사물인터넷(IoT)에 이르는 디지털 혁신의 최첨단에 있습니다. 중국 최대 인터넷 검색 엔진을 제공하는 것 외에도 회사의 전략에는 자율 주행, Baidu AI Cloud, Baidu Netdisk 및 비디오 스트리밍 플랫폼이 포함됩니다.

Baidu AI Cloud의 클라우드 스토리지 부서 수석 매니저인 Miao Yu는 다음과 같이 설명합니다. "점차 더 많은 산업에서 디지털 역량을 업그레이드함에 따라 우리의 목표는 교통, 금융, 정부와 같은 산업 분야의 고객에게 클라우드 제품을 제공하는 것이 되었습니다. Baidu AI Cloud의 클라우드 및 인텔리전스 기능을 통해 기업이 비용 효율성을 높이고 새로운 가치원을 창출할 수 있도록 지원할 수 있습니다."

Baidu 플랫폼 전반에서 데이터의 양과 속도, 다양성이 빠르게 증가하고 있습니다. 이 기업이 제공하는 Baidu AI Cloud 및 AI 제품의 폭발적인 인기로 인해 스토리지 요구 사항이 대폭 증가했습니다. 이와 동시에 Baidu의 스마트 시티, 스마트 홈, 차량 자동화 솔루션의 사용률이 급격히 증가하면서 실시간 데이터 액세스 및 장기 데이터 보존에 대한 필요성이 더욱 커지고 있습니다.

"데이터 증가세는 둔화될 기미가 보이지 않습니다."라고 Miao Yu는 설명합니다. "최신 자율주행 차량에는 이전 차량보다 훨씬 더 많은 센서가 장착되어 있으며, 차량당 생성되는 데이터의 양이 하루에 10TB에 달할 수 있습니다. 마찬가지로, 스마트 홈 카테고리의 빠른 성장과 중국에서의 광범위한 라이브 스트리밍 인기로 인해 엄청난 양의 데이터가 발생하여 스토리지 문제가 발생했습니다. 2019년 이후 우리의 데이터 규모는 3배 이상 증가했으며, 현재 약 100EB의 데이터를 저장하고 있습니다."

과거에는 데이터를 장기간 보관하기 위해 디스크 스토리지에 의존했습니다. 그러나 디스크의 최대 용량은 드라이브당 20TB여서 스토리지 밀도가 제한되고 귀중한 업무 공간을 낭비하게 되며 비용이 증가했습니다. 이러한 접근 방식이 최적이 아니라는 것을 인식한 Baidu는 지속적인 데이터 증가를 수용할 수 있는 더욱 탄력적이고 효율적이며 확장 가능한 콜드 데이터 스토리지 플랫폼을 찾게 되었습니다.

무제한 데이터 확장에 대한 고객의 요구를 충족하기 위해 Baidu AI Cloud는 IBM의 전문가들과 협력하여 IBM TS4500 Tape Library와 IBM Storage Scale 및 IBM Storage Defender 솔루션으로 구성된 미래 대비 콜드 데이터 스토리지 아키텍처를 계획, 설계, 구축 및 구성했습니다.

"데이터 사용 시나리오 유형에 따라 스토리지 시스템에 대한 요구 사항이 달라집니다."라고 Miao Yu는 설명합니다. "예를 들어 고성능 컴퓨팅 워크로드에는 높은 처리량과 저지연 읽기 및 쓰기 액세스가 필요합니다. 모니터링 시스템에서 생성된 로그 파일 저장과 같은 다른 사용 시나리오의 경우, 데이터가 저장된 지 몇 년이 지났더라도 데이터를 빠르게 검색할 수 있어야 합니다. 비용 효율성이 뛰어나고 IOPS가 높으며 연중무휴 24시간 가용성을 제공하는 콜드 스토리지 솔루션을 모색한 끝에 IBM과 협력하게 되었습니다."

IBM 솔루션은 Baidu AI Cloud의 기존 분산 스토리지 아키텍처와 통합됩니다. 콜드 데이터 스토리지용 IBM TS4500 Tape Library는 핫 데이터용 레거시 솔리드 스테이트 드라이브와 웜 스토리지용 하드 디스크 드라이브와 함께 사용됩니다. 데이터는 계층형 스토리지 시스템 간에 원활하게 이동하여 고성능 액세스를 가능하게 합니다. 또한 테이프는 디스크보다 훨씬 저렴한 비용으로 30년 이상 보관할 수 있습니다.

"IBM 솔루션에 깊은 인상을 받았습니다."라고 Miao Yu는 말합니다. "IBM Storage Scale을 통해 환경 전반에서 데이터가 자유롭게 이동하도록 하는 동시에 스토리지 아키텍처를 간소화하여 관리와 유지보수를 더 쉽게 수행할 수 있습니다."

새로운 플랫폼이 확장성에 대한 Baidu AI Cloud의 장기적인 요구 사항을 충족하도록 하기 위해 IBM 전문가들은 자동화된 배포 워크플로를 생성했습니다. 이를 통해 20개의 콜드 스토리지 노드를 단일 배치로 프로비저닝할 수 있어 배포 및 확장 속도가 크게 빨라집니다.

또한 IBM은 Baidu가 IBM 테이프 스토리지 솔루션의 데이터를 자체 플랫폼에 더 수월하게 적용하고 통합할 수 있도록 지원하여 Baidu가 문제를 신속하게 식별하고 해결하며 솔루션을 온라인에 구축할 수 있도록 했습니다. 현재까지 Baidu는 양취안 데이터 센터에 14개의 IBM TS4500 Tape Library를 구축하여 2EB 이상의 콜드 데이터를 저장하고 있습니다.

Miao Yu는 다음과 같이 설명합니다. "IBM은 우리의 모든 핵심 선택 기준을 충족하고 이를 능가했으며, 개념 증명에 성공한 후 IBM Storage 솔루션을 갖춘 IBM TS4500 Tape Libraries가 디스크 스토리지와 관련하여 직면한 비용 및 공간 압박을 해결하는 완벽한 방법이라는 확신이 들었습니다. 우리는 다른 프로젝트에서 IBM과 오랫동안 성공적으로 협업해 왔으며, 이를 통해 IBM이 대규모 스토리지 솔루션 배포 문제를 해결할 수 있는 기술적 혁신과 서비스를 보유하고 있다는 확신을 갖게 되었습니다."

Baidu는 디스크를 테이프로 교체함으로써 콜드 스토리지 업데이트 초기에 설정한 성공 기준을 충족하고 그 이상을 달성했습니다.

"원래 99.999999999%의 안정성과 이전 디스크 스토리지 솔루션 대비 50% 이상의 운영 비용 절감을 목표로 하고 있었지만, IBM의 스토리지 솔루션은 이 두 가지 목표를 모두 뛰어넘었습니다."라고 Miao Yu는 말합니다. "IBM 콜드 데이터 스토리지 솔루션은 99.9999999999%의 안정성을 제공하고 운영 비용을 80% 절감하는 등 기대치를 훨씬 뛰어넘는 개선 효과를 달성했습니다."

비용 효율적이고 안정적인 테이프 스토리지와 AI 및 빅데이터 워크로드를 지원하는 고성능 데이터 플랫폼을 통해 Baidu AI Cloud는 빠른 데이터 증가를 수용하고 혁신적인 제품 및 서비스를 확장할 수 있습니다.

"검색, 자율 주행 및 기타 서비스뿐만 아니라 방대한 양의 데이터를 최대 3년 이상 Baidu AI Cloud에 저장하고 필요할 때마다 분석 및 규정 준수에 사용할 수 있도록 해야 합니다."라고 Miao Yu는 설명합니다.

"이제 이 데이터와 기타 주요 데이터를 콜드 스토리지 플랫폼에 안전하고 비용 효율적으로 저장하고 필요에 따라 신속하게 검색할 수 있습니다. 테이프는 동급의 디스크 스토리지보다 전력 소비가 90% 이상 적기 때문에 효율적인 솔루션입니다. 따라서 환경 발자국을 대폭 줄이고 비용을 절감할 수 있습니다."

Miao Yu는 마지막으로 이렇게 말합니다. "IBM TS4500 Tape Library와 IBM Storage Scale 및 IBM Storage Defender 소프트웨어의 결합으로 Baidu AI Cloud는 비용을 절감하고 폭발적인 데이터 증가에 맞춰 빠르게 확장할 수 있게 되었습니다. 앞으로는 Baidu 전체를 위한 통합 테이프 스토리지 관리 플랫폼을 구축할 계획이며, IBM과 협력하여 조직 전체에서 테이프 스토리지의 잠재력을 최대한 활용할 수 있기를 기대합니다."

IBM의 하이퍼스케일 솔루션 영업 담당 수석 어카운트 매니저인 Junhua Jiang은 "Baidu와 협력하여 클라우드 스토리지 아키텍처를 강화하고 Baidu 그룹과 업계 고객을 위한 선도적인 글로벌 데이터 서비스를 만들 수 있기를 기대합니다."라고 말합니다.

2000년에 설립되어 중국 베이징에 본사를 두고 있는 Baidu, Inc.(ibm.com 외부 링크)는 선도적인 AI 회사입니다. Baidu AI Cloud는 스마트 시대를 위한 Baidu의 인프라입니다. 다양한 AI 기술 역량을 갖춘 Baidu AI Cloud는 첨단 기술과 포괄적인 솔루션으로 여러 산업 분야에서 수천 개의 고객사를 지원하고 있습니다.