세계적 수준의 학술 기관인 퀸즐랜드 대학교(UQ)는 고성능 컴퓨팅(HPC) 환경을 위해 데이터 캡처, 저장, 분석 및 관리를 간소화하고자 했습니다. 이 대학은 IBM 비즈니스 파트너인 Sundata와의 협업을 통해 IBM Storage Scale 소프트웨어를 사용하여 통합 데이터 패브릭을 개발해 이미지 집약적 AI 워크로드를 상당히 가속화했습니다.
UQ는 IBM Storage Scale로 구동되고 중앙에서 관리되는 고성능 데이터 패브릭을 구축했으며, 최근에는 가장 빠른 HPC 환경을 지원하기 위해 IBM Storage Scale System(ESS) 솔루션을 추가했습니다.
치료 항체가 혈액 뇌 장벽을 극복하고 알츠하이머병의 속도를 늦추도록 하는 데 초음파 기술을 어떻게 활용할 수 있을까요? 초파리의 신경 회로는 로봇 동작 설계에 관해 우리에게 어떤 점을 가르쳐 줄 수 있을까요? 세포 염증이 암으로 이어지는 이유는 무엇이며, 나노 크기의 살아있는 세포를 실시간으로 이미지화하여 더 많은 정보를 알아내는 방법은 무엇일까요? UQ의 창의적인 연구원들은 이러한 질문과 또 다른 어려운 질문들을 해결하며 종종 세상과 사람들의 삶을 바꿀 수 있는 발견을 이끌어냅니다.
이러한 질문에 초점을 맞춘 연구 팀은 대학에서 가장 빠른 GPU 가속 컴퓨터를 사용하여 최첨단 작업을 수행합니다. 이미징 집약적인 과학 및 AI 워크로드를 위해 특별히 설계된 이 슈퍼컴퓨터에는 대학의 다른 HPC 시스템과 함께 언제 어디서나 사용할 수 있는 매우 빠르고 확장 가능하며 유연한 데이터 스토리지가 필요합니다.
수집에서 인사이트 확보까지 더 빠른 경로를 만들기 위해 UQ의 연구 컴퓨팅 센터(RCC)는 대학 전반에서 데이터 캡처 및 분석을 효과적으로 지원하고 관리할 수 있는 통일된 고성능 스토리지 전략과 아키텍처를 구축하고자 했습니다.
RCC는 기하급수적으로 증가하는 데이터의 양과 속도, 다양성을 수용할 뿐만 아니라 신속한 데이터 액세스를 제공하는 솔루션을 원했습니다. 이 대학의 연구원들은 데스크톱부터 HPC 클러스터에 이르는 다양한 컴퓨터 시스템과 MRI 스캐너, 광학 현미경, DNA 시퀀서 등 방대한 범위의 과학 장비를 사용하여 정형 및 비정형 데이터를 생성한다고 RCC의 디렉터인 David Abramson 교수는 설명합니다. "데이터에 대한 우리의 패러다임은 하나의 논리적 사본을 보관한 다음 다양한 방식으로 렌더링하여 연구자가 필요할 때, 필요한 곳에서 데이터를 사용할 수 있도록 하는 것입니다."라고 그는 말합니다. RCC는 잠재적인 솔루션을 평가하는 한편, 대학의 요구 사항에 따라 미래에도 확장할 수 있는 기술을 모색했습니다.
RCC는 MeDICI(메트로폴리탄 데이터 캐싱 인프라)라는 고성능 데이터 스토리지 패브릭을 구축했습니다. 이 패브릭은 IBM Storage Scale로 구동되며 중앙 집중식으로 관리됩니다. "연구자들이 혁신을 주도하려면 최첨단 연구 컴퓨팅 인프라를 활용하여 시기적절하고 확장 가능하며 한계를 뛰어넘는 방식으로 고품질 연구를 수행할 수 있어야 합니다. IBM과의 파트너십은 이러한 요구 사항을 충족하는 데 도움이 됩니다."라고 UQ의 연구 컴퓨팅 센터 최고 기술 책임자인 Jake Carroll은 설명합니다. "MeDiCI를 통해 우리 대학 및 기타 국제 기관의 연구원과 학생들은 UQ의 모든 컴퓨팅 클러스터에 저장된 데이터로 원활하게 작업하고 협업할 수 있습니다."
"연구원들은 자리에 앉기만 하면 모든 데이터를 볼 수 있습니다. 실제로 원격 데이터 센터에서 광케이블을 통해 엄청난 속도로 데이터가 이동하고 있다는 사실을 깨닫지 못합니다."라고 Abramson은 말합니다.
또한 MeDiCI 생태계는 다양한 플랫폼, 도구 및 데이터를 지원합니다. "IBM Storage Scale 소프트웨어를 사용하면 서로 다른 스토리지 소스의 모든 사일로를 하나의 통합된 지능형 스토리지 인프라로 통합한 다음 적절한 프로토콜로 데이터를 렌더링할 수 있으므로 분석 속도가 빨라지고 리소스 활용도가 높아집니다."라고 Abramson은 말합니다. 또한 MeDiCI는 사용자, 도구 및 데이터 매개변수를 포함한 프로젝트 메타데이터를 자동으로 캡처합니다.
RCC 팀은 MeDiCI 인프라를 지속적으로 발전시켜 왔으며, 가장 최근에는 UQ HPC Wiener(ibm.com 외부 링크)를 위한 스토리지 솔루션으로 배포했습니다. 목표는 플랫폼이 제공하는 증가된 처리량을 고려하여 연구자들이 동일한 기간에 더 많은 작업을 수행할 수 있도록 하는 것입니다. "초당 기가바이트의 관점에서 상당한 대역폭을 유지할 수 있을 뿐만 아니라, 디스크 시스템과 플래시 스토리지로부터 전례 없는 속도로 유입되는 방대한 양의 데이터를 동시에 지원하기 위해 매우 높은 IOPS 요구 사항을 충족하는 솔루션이 필요했습니다."라고 Carroll은 설명합니다.
"IBM Storage Scale의 기능이 거의 독보적이기 때문에 이 소프트웨어[가 있는 하드웨어 플랫폼]을 원했습니다."라고 Carroll은 설명합니다. "IBM Storage Scale System 솔루션을 통해 슈퍼컴퓨터 내부의 고속 병렬 파일 시스템이 제공하는 모든 이점과 함께 AFM 및 IBM Storage Scale의 기타 기능이 제공하는 데이터 관리의 투명성을 누릴 수 있습니다. 이러한 통합은 사용자의 작업 흐름에 적합하며, 과학적 결과물에서는 작업 흐름이 가장 중요합니다. 이것이 바로 우리가 소프트웨어 정의 스토리지를 활용하는 이유입니다."라고 그는 설명합니다.
UQ는 IBM Storage Scale System 솔루션을 통해 최대 40GB의 처리량과 엑사바이트급 스토리지로 확장할 수 있는 기능으로 방대한 양의 데이터를 지원할 수 있으며, 하이브리드 클라우드 모델을 통해 신속한 메타데이터 액세스를 제공합니다. IBM Storage Scale RAID 삭제 코딩 기능을 갖춘 이 솔루션은 높은 수준의 스토리지 안정성, 가용성 및 성능을 지원하도록 설계되었습니다. AFM과 결합하면 RCC가 특정 프로젝트 워크플로우 내에서 데이터 액세스를 간소화하는 동시에 단일 공통 스토리지 아키텍처를 유지할 수 있습니다.
호주의 IBM Systems Lab Services 및 IBM Systems 기술 영업팀은 Sundata 및 RCC와 협력하여 InfiniBand 네트워크에 IBM Storage Scale System GH14S 솔루션을 신속하게 배포하고 이를 엔드투엔드 MeDiCI IT 아키텍처와 통합했습니다. 이 팀은 모든 단계에서 세부 사항에 주의를 기울여 응집력 있게 작업함으로써 단 5일 만에 어레이를 구현했습니다.
RCC는 최근 예측 분석 기능을 갖춘 클라우드 기반 스토리지 관리 및 지원 플랫폼인 IBM Storage Insights를 도입했습니다. 이를 통해 팀은 전체 인프라에 대한 더욱 심층적이고 일관된 가시성을 확보하여 더 빠른 문제 해결을 통해 더 높은 성과를 달성할 수 있게 되었습니다.
IBM은 최근 광범위한 테스트 및 평가를 위해 UQ에 새로운 IBM Storage Scale System 5000을 도입했습니다. Abramson은 IBM이 기존 기술을 확장하는 것으로 명성을 쌓았기 때문에 RCC와 파트너 관계를 맺게 되었다고 말합니다.
"우리는 이 대학에서 Storage Scale을 적용하는 데 있어서 이미 상당한 혁신을 입증했습니다. 이 환경에서 얼마나 잘 작동하는지, 어떤 부분을 개선할 수 있는지에 대한 피드백을 제공할 수 있었습니다."라고 Abramson은 설명합니다. "가장 까다로운 연구 요구 사항에 맞춰 IBM의 다른 첨단 하드웨어를 테스트할 수 있게 되어 매우 기쁩니다."
대학 전반에서 파일에 액세스하기 위한 활성 파일 관리(AFM)와 같은 IBM Storage Scale의 기술이 적용된 통합 데이터 패브릭을 통해 RCC는 데이터 관리를 중앙 집중화하고 IT 비용을 제어하면서 연구자의 시간과 대학 리소스를 최적화할 수 있습니다. UQ 전반에 걸쳐 연구원들은 이제 대규모 데이터 생성을 지원하고 복잡한 워크로드를 실행할 수 있는 포괄적인 컴퓨팅 및 스토리지 기능을 보유하고 있습니다.
IBM Storage Scale System 디바이스에서 제공하는 확장된 대역폭과 IOPS를 통해 Wiener HPC 시스템을 사용하는 연구팀은 전례 없는 속도로 데이터를 처리할 수 있습니다. Carroll은 "머신 러닝과 AI는 가장 중요한 위치에서 슈퍼컴퓨터의 GPU 활용 방식을 강화하는 IBM Storage Scale System GH14S를 통해 연구자들이 같은 시간 내에 더 많은 작업을 수행하고 발견 시간을 단축할 수 있도록 지원합니다."라고 설명합니다. 실제로 새로운 스토리지 어레이는 UQ의 의료 영상 연구원들이 매주 수백 시간의 처리 시간을 절약할 수 있도록 하는 성능 개선을 바탕으로 단 2시간 만에 ROI를 달성했습니다.
예를 들어, UQ의 퀸즐랜드 뇌 연구소(QBI)에서는 알츠하이머병을 연구하는 신경과학자들이 유한 요소 분석으로 알려진 프로젝트 워크로드를 실행하는 데 필요한 시간을 약 74% 단축하여 런타임을 18.72시간으로 줄였습니다. 연구자들은 인간 두개골의 초음파 분포를 더 깊이 이해함으로써 약물 전달을 위한 혈액 뇌 장벽을 극복하는 데 필요한 기술을 개발할 수 있게 되었습니다. "이는 매우 복잡한 작업이며 엄청난 양의 컴퓨팅 파워와 스토리지가 필요합니다."라고 Carroll은 설명합니다.
또 다른 사례에서는 QBI와 초파리의 신경 회로를 연구하는 다른 연구자들이 개별 뉴런 유형에 라벨을 붙이고 조작하는 유전적 방법을 개발했습니다. Wiener를 사용하면 움직이는 작은 곤충을 담은 테라바이트 단위의 고속 비디오를 신속하게 처리하여 더듬이, 복부 및 6개 다리의 관절의 정확한 움직임을 측정할 수 있습니다. 각 뉴런의 역할에 대한 새로운 인사이트를 통해 걷기나 비행 행동과 같은 복잡한 운동 과제를 지배하는 원리를 더 잘 이해할 수 있습니다.
UQ의 분자 생명과학 연구소(Institute for Molecular Bioscience)에서는 세포 염증을 연구하는 연구원들이 격자 광시트 현미경을 사용하여 살아있는 세포 과정의 고해상도 4D 이미지를 캡처합니다. 디콘볼루션 현미경 검사법으로 알려진 수학적 모델링 프로세스를 통해 이러한 이미지는 암이 어떻게 형성되는지 전례 없는 실시간 방식으로 보여줍니다. Wiener 스토리지 솔루션은 디콘볼루션 시간을 70% 이상 줄이는 등 이러한 작업을 가능하게 해줍니다. RCC는 디콘볼루션 작업을 간소화하는 사용자 친화적인 포털을 구축하여 연구자들의 시간을 추가로 절약했습니다.
"우리는 엄청난 범위의 연구 활동을 지원하기 위해 가능한 최고의 인프라를 제공해야 합니다. 또한 데이터의 기하급수적인 증가를 고려할 때 규모의 경제를 달성해야 합니다."라고 Carroll은 말합니다. "IBM과 Sundata는 이를 실현하는 데 도움을 줍니다."
한 세기가 넘는 기간 동안 퀸즐랜드 대학교(UQ)(ibm.com 외부 링크)는 더 나은 세상을 위한 지식 리더십을 제공한다는 점에서 세계적인 명성을 유지하고 있습니다. 가장 권위 있고 널리 인정받는 세계 대학 순위에서 UQ는 세계 최고의 대학 중 하나로 꾸준히 꼽히고 있습니다. 또한 UQ는 호주의 대학 중에서 국가에서 수여하는 교육 관련 상을 가장 많이 수상했습니다. 양질의 교육에 대한 이러한 노력은 UQ의 3개 캠퍼스에서 공부하는 53,600명의 재학생들이 사회에 긍정적인 변화를 일으킬 수 있도록 힘을 실어주고 있습니다. 6개 학부, 8개 연구 기관, 100개 이상의 연구 센터에서 1,500명 이상의 연구원으로 구성된 학제 간 연구 커뮤니티가 제공하는 연구는 전 세계에 영향을 미치고 있습니다.
© Copyright IBM Corporation 2020. IBM Corporation, IBM Systems Hardware, New Orchard Road, Armonk, NY 10504.
2020년 10월 미국에서 제작.
IBM, IBM 로고 및 ibm.com은 전 세계 여러 국가에 등록된 International Business Machines Corp.의 상표입니다. 기타 제품 및 서비스 이름은 IBM 또는 다른 회사의 상표일 수 있습니다. 최신 IBM 상표 목록은 www.ibm.com/kr-ko/legal/copytrade.shtml의 '저작권 및 상표 정보'에서 확인하세요.
이 문서는 최초 발행일 기준 최신 문서로, IBM은 언제든지 해당 내용을 변경할 수 있습니다. IBM 비즈니스 파트너는 자체적으로 가격을 책정하므로 서로 가격이 다를 수 있습니다. IBM이 현재 영업 중인 모든 국가에서 모든 제품이 제공되는 것은 아닙니다.
명시된 성능 데이터 및 고객 사례는 오직 정보 목적으로 제공됩니다. 실제 성능 결과는 특정 구성 및 작동 조건에 따라 다를 수 있습니다. IBM 제품 및 프로그램으로 다른 제품 또는 프로그램의 작동을 평가하고 확인하는 것은 사용자의 책임입니다.본 문서의 정보는 상품성, 특정 목적에의 적합성, 비침해성 보증 또는 조건을 포함하여 명시적 또는 묵시적 보증 없이 '있는 그대로' 제공됩니다. 제품 제공 시의 계약 조건에 따라 해당 IBM 제품을 보증합니다.
실제 사용 가능한 스토리지 용량은 압축되지 않은 데이터와 압축된 데이터 모두에 대해 보고될 수 있으며, 명시된 것보다 적을 수 있습니다.
참고: 이 사례 연구의 리드 스페이스 이미지는 스톡 사진입니다.