데이터 중심 환경에서의 에너지 절약

150년의 역사를 자랑하는 이 기관은 덴마크, 페로 제도, 그린란드를 포함하는 덴마크 왕국의 대기, 육지, 바다의 날씨, 기후, 환경 상태를 모니터링하고 예측합니다. 이를 위해 국가 전역의 기상 관측소와 위성으로부터 데이터를 수집합니다.

하지만 그 영향력은 국경을 뛰어넘습니다. 코펜하겐에 본사를 둔 이 연구소는 대부분의 데이터를 코펜하겐에 저장하지만, 아이슬란드, 네덜란드, 아일랜드와의 파트너십의 일환으로 아이슬란드의 슈퍼컴퓨터를 통해 예측 계산을 수행합니다. 이 협력 관계는 예측 및 기후 정보 공유를 위한 글로벌 접근 방식에 대한 연구소의 노력을 강화합니다.

"전 세계가 친환경 전환기에 있습니다."라고 DMI의 마리안 티링(Marianne Thyrring) 사무총장은 말합니다. "저희는 풍력 발전소, 태양광 발전소 등을 관리하는 데 도움이 되는 데이터를 제공하고 있으며 앞으로도 계속 그럴 것입니다. 반면에 기후 변화도 다가오고 있습니다. 우리가 고대하며 기다리는 변화는 아니죠. 따라서 일기 예보와 관련해 권위 있는 목소리를 내고 시민 보호 기관과 협력하는 것은 저희 업무의 매우 중요한 부분이기도 합니다. 그리고 악천후 상황에서는 중요성이 점점 더 커지는 역할입니다.”

과거에 DMI는 상업용 사용자에게 데이터 요금을 부과했습니다. 하지만 이 연구소는 몇 년 전부터 상업적 사업을 단계적으로 중단하고 공공 서비스에만 집중하기 시작했으며, 개인부터 다른 연구 기관, 기업에 이르기까지 데이터를 요청하는 모든 개인이나 단체에 데이터를 무료로 제공하고 있습니다.

이 결정은 DMI의 두 가지 목적을 뒷받침합니다. “악천후로 인한 위험이 발생했을 때 인명과 재산을 관리하는 공공 기관으로서의 역할에 초점을 맞추기로 전략적 결정을 내렸습니다.”라고 티링이 설명합니다. “또한 저희는 국립기후연구센터(National Center for Climate Research)의 주최자로서 기후 연구와 관련된 기관이기도 합니다.”

사람과 환경이 DMI의 핵심 사명이라면, 데이터는 이 사명을 실현할 수 있게 해주는 원동력입니다. 이 조직의 기후 과학자 팀은 정확하고 시의적절하며 이용 가능한 데이터를 필요로 합니다. 그리고 데이터의 양은 점점 더 빠른 속도로 증가하고 있습니다.

그린란드 빙상에 대한 지구 온난화의 영향을 연구하는 DMI의 선임 기후 과학자 루스 모트람(Ruth Mottram)은 "빙상 중 하나에 대해 기후 모델을 실행할 때마다 DMI가 처음 100년 사이에 생성한 데이터만큼이나 많은 데이터가 생성됩니다."라고 말합니다. "지금은 훨씬 더 많은 데이터를 생산하고 있습니다. 저희는 위성 데이터를 사용하여 작업하며 더 높은 해상도를 갖춘 위성 임무가 점점 더 많아지고 있습니다. 따라서 모델은 지속적으로 개선되고 있으며 모델에 적용하려는 데이터의 양도 증가하고 있어요.”

2020년 말, DMI는 코펜하겐 데이터 센터를 도시의 새로운 위치로 이전할 준비를 하고 있었습니다. 연구소의 오래된 스토리지 시스템을 재평가할 완벽한 기회였습니다.

"저희 스토리지 시스템은 너무 오래되어 미래의 수요를 감당할 수 없었습니다."라고 DMI의 부국장인 토마스 켈버그(Thomas Kjellberg)는 말합니다. "스토리지가 엄청난 에너지를 소비하는 영역인만큼 환경 발자국을 줄이고 싶기도 했고요. 또한 저희는 다양한 사용자가 더 저렴한 비용으로 데이터에 쉽고 효과적으로 액세스할 수 있도록 지원하고 싶었습니다. 그리고 온프레미스뿐만 아니라 클라우드로도 확장할 수 있는 솔루션, 즉 하이브리드 클라우드 솔루션이 필요했습니다.”

데이터를 테이프에 보관하는 기능은 환경적 측면과 비용 측면 모두에서 DMI에 특히 중요했습니다. 디스크에 저장된 데이터와 달리, 테이프에 저장된 데이터는 사용하지 않을 때 전기를 사용하지 않습니다. 켈버그는 "저희는 재예측 및 리모델링을 위해서 많은 데이터를 저장하는데, 이러한 작업은 5~10년 내에 완료될 수 있습니다."라고 말합니다. 따라서 이런 데이터는 에너지 소비가 많은 스토리지에 저장할 필요가 없었죠."

DMI가 평가한 모든 스토리지 공급자 중에서 IBM이 1위를 차지했습니다. IBM은 통합 하드웨어 및 소프트웨어 스토리지 시스템을 턴키 솔루션의 일부로 제공했으며, 전체 구현을 감독하고 그 과정에서 전문가 지원을 제공했습니다.

솔루션의 핵심은 IBM Storage Scale입니다. 이 엔터프라이즈급 파일 스토리지 시스템은 대규모의 복잡한 데이터 워크로드를 처리하는 데 필요한 확장성과 성능을 갖추고 있으며 플래시, 디스크, 테이프, 클라우드 스토리지를 통합 시스템으로 결합할 수 있는 용량을 갖추고 있습니다.

장기 데이터 스토리지의 경우, IBM Storage Archive가 아카이브된 데이터를 테이프에 저장하고,IBM Storage Protect는  데이터를 테이프로 이동하고 사용자가 요청할 때 데이터를 검색합니다. 전체 프로세스는 최종 사용자에게 투명하게 공개되며, 데이터가 어디에 있든 최종 사용자는 단일 인터페이스에서 모든 데이터에 액세스할 수 있습니다.

팀은 2021년 1월부터 본격적으로 업무를 시작했습니다. IBM 프로젝트 관리자가 구현을 처음부터 끝까지 감독했으며 IBM 팀은 전체 과정에서 DMI와 긴밀하게 협력했습니다.

IBM은 사용자의 요구 사항을 파악하고 새 시스템의 기능을 교육하기 위해 IT부터 경영진까지 다양한 DMI 부서의 주요 사용자로부터 의견을 수렴하는 일련의 워크숍을 통해 프로젝트를 시작했습니다. IBM Systems Lab Services 담당자는 이 워크숍에서 파일 시스템의 각 영역에 대한 다양한 데이터 서비스 수준, 디렉토리 구조 및 백업 루틴을 설명하면서 새 시스템에 대한 지침을 제공했습니다.

구현 과정에서 팀은 사용자의 데이터 액세스를 방해하지 않으면서 DMI의 기존 데이터 센터에서 새 데이터 센터로 데이터를 옮길 방법이 필요했습니다. 해결책은 데이터 구현과 물리적 마이그레이션을 두 부분으로 나누어 수행하는 것이었습니다. "이전 위치에 시스템의 절반을 구축하여 기존 테이프 라이브러리에서 새 스토리지 시스템으로 데이터를 옮겼습니다."라고 켈버그는 말합니다. "그런 다음 전체 스토리지 시스템을 새 위치로 옮기고 그곳에 설치했습니다. 그런 다음 새 시스템의 두 번째 부분을 구현했죠."

DMI는 이제 새로운 IBM Storage 시스템을 가동하면서 지속 가능성에 더욱 집중하고 있습니다. “저희는 2023년에 덴마크의 녹색 전환에 더 큰 목소리를 내려고 합니다.”라고 티링은 말합니다. “현재 세계적 사건이 에너지 시장에 미치는 영향으로 인해 유럽의 친환경 전환이 모든 사람의 마음속에 자리잡고 있습니다. 따라서 기후 데이터를 사용하여 에너지 소비를 규제 및 예측하고 효율성을 높이는 것이 정말 중요합니다.

"그러므로 기후 및 위험한 기상 상황 분야에서 데이터와 과학자들의 지식을 훨씬 더 많이 활용하는 것이 저희가 가야 할 다음 단계라고 생각합니다. 물론 강력한 기술 설정 없으면 모든 데이터, 모든 예측 및 모든 기술적 요소를 처리할 수 없습니다."

DMI는 특히 스토리지 솔루션의 클라우드 기능을 확장하고 AI를 연구하는 데 있어 이러한 기술을 구축하기 위해 IBM과 협력하고 있습니다. "저희는 머신 러닝에 많은 투자를 하고 있습니다. 앞으로 머신 러닝 모델 학습을 시작할 때 데이터를 활용할 수 있기 때문에 데이터의 가치가 매우 높아질 것입니다.""라고 모트람은 말합니다. 데이터를 생산할 당시에는 전혀 생각도 못했겠지만, 5년 또는 10년 후에는 이렇게 말할 수 있을 거예요. '이 데이터를 확보해서 다행이다. 정말 유용하게 쓸 수 있었어.'"

통합 스토리지 시스템을 구축한 것도 DMI에 큰 도움이 되고 있습니다. "중요한 점은 데이터가 저장되는 장소와 관련하여 기본 구조를 제어할 수 있는 단일 스토리지 시스템을 가지고 있다는 것입니다."라고 모트람은 말합니다. "이전 시스템에 비해 새 시스템에서 테이프에 저장되는 데이터의 페타바이트당 비용이 감소했습니다. 물론 저희가 앞으로 나아가면서 최종 사용자에게 훌륭하고 신뢰할 수 있는 경험을 계속 제공하는 것이 중요합니다.”

신뢰는 DMI와 IBM의 성공적인 관계에 있어서도 핵심적인 요소입니다. "IBM과 협력하여 이 솔루션을 개발하는 과정은 저희가 많은 것을 배울 수 있는 기회였습니다."라고 티링은 말합니다. IBM은 무척 긍정적인 방식으로 저희와 협력했습니다. IBM은 방대한 양의 데이터를 위한 새로운 방식의 스토리지를 구축하는 데 많은 경험을 가지고 있으며, 공급자의 의견을 경청하면 좋은 결과를 얻을 수 있다는 믿음을 주는 열린 자세를 보여줬습니다.

"저희는 머리를 맞대야만 좋은 해결책을 찾을 수 있는 복잡한 문제를 다루고 있습니다."라고 티링이 결론을 내립니다. "이 스토리지 시스템을 구입하고 나니 앞으로 몇 년 동안 함께 일할 수 있다는 사실이 정말 중요해졌습니다."

1872년에 설립된 DMI는 덴마크, 페로 제도, 그린란드로 구성된 덴마크의 국민에게 기상 서비스를 제공합니다. 이 기관의 주요 업무는 대기, 육지, 바다의 날씨, 기후, 환경 상태를 모니터링하고 예측하는 것입니다. 이 연구소는 덴마크 코펜하겐에 본사를 두고 있습니다.