Conservar la energía en un mundo basado en los datos

El instituto, de 150 años de antigüedad, es responsable de monitorizar y pronosticar las condiciones meteorológicas, climáticas y ambientales en el aire, la tierra y el mar para el Reino de Dinamarca, que incluye Dinamarca, las Islas Feroe y Groenlandia. Con ese fin, recopila datos de estaciones meteorológicas y satélites de todo el reino.

Pero su alcance se extiende mucho más allá de sus fronteras. Si bien el instituto tiene su sede en Copenhague y almacena gran parte de sus datos allí, realiza sus cálculos de pronóstico en una supercomputadora en Islandia como parte de una asociación con Islandia, los Países Bajos e Irlanda. La relación de colaboración refuerza el compromiso del instituto con un enfoque global para compartir información sobre pronósticos y clima.

"El mundo entero está en una transición verde", dice Marianne Thyrring, directora general del DMI. "Proporcionamos datos para ayudar a gestionar granjas eólicas, granjas solares y similares, y continuaremos haciéndolo en el futuro. Por otro lado, el cambio climático está aquí. No es algo que estuviésemos esperando. Por lo tanto, nuestra responsabilidad como voz autorizada en la previsión meteorológica y la colaboración con las agencias de protección civil también es una parte muy, muy importante de nuestras funciones. Y es una función que tiene una importancia creciente cuando se trata de situaciones meteorológicas adversas".

En el pasado, DMI cobraba a los usuarios comerciales por sus datos. Pero hace unos años, el instituto comenzó a eliminar gradualmente su negocio comercial para centrarse únicamente en servir al público, ofreciendo sus datos de forma gratuita a cualquier persona o entidad, desde individuos hasta otros institutos de investigación y corporaciones, que lo solicitara.

La decisión respalda el doble propósito del DMI. "Tomamos la decisión estratégica de centrarnos en nuestro papel como autoridad pública que se ocupa de las personas y los bienes en caso de peligros climáticos adversos", dice Thyrring. "También somos un organismo relevante en la investigación climática, como anfitriones del National Center for Climate Research".

Aunque las personas y el medio ambiente son el núcleo de la misión de DMI, los datos son el motor que hace posible el cumplimiento de esa misión. Dentro de la organización, un equipo de científicos del clima confía en que esos datos sean precisos, oportunos y estén disponibles. Y la cantidad de datos crece a una velocidad cada vez mayor.

"Cada vez que ejecuto un modelo climático sobre una de las capas de hielo, probablemente estoy generando tantos datos como los primeros cien años del DMI", afirma Ruth Mottram, científica climatológica principal del DMI, que estudia el efecto del calentamiento global sobre las capas de hielo de Groenlandia. "Estamos produciendo muchos más datos ahora. Trabajamos con datos satelitales y cada vez hay más misiones satélite con mayor resolución. Por eso los modelos mejoran constantemente y la cantidad de datos que queremos asimilar en ellos también aumenta”.

A finales de 2020, DMI se preparaba para trasladar su centro de datos de Copenhague a una nueva ubicación en la ciudad. Fue la oportunidad perfecta para reevaluar el sistema de almacenamiento obsoleto del instituto.

"Nuestro sistema de almacenamiento era demasiado antiguo para hacer frente a las demandas futuras", dice Thomas Kjellberg, Director General Adjunto de DMI. "Queríamos reducir la huella ambiental del almacenamiento, porque era un área de enorme consumo de energía. También queríamos ayudar a nuestros diversos usuarios con un acceso más fácil y mejor a los datos a un coste menor. Y necesitábamos una solución que pudiera escalar, no solo localmente sino también a la nube: una solución de nube híbrida”.

La capacidad de archivar datos en cinta era especialmente importante para DMI, tanto desde el punto de vista medioambiental como económico. A diferencia de los datos almacenados en discos, los datos almacenados en cinta no utilizan electricidad cuando no están en uso. "Almacenamos una gran cantidad de datos para realizar reprevisiones y remodelaciones, lo que podría realizarse en cinco o diez años", afirma Kjellberg. No necesitamos almacenamiento de alta velocidad y que consuma energía para almacenar esos datos”.

De todos los proveedores de almacenamiento evaluados por DMI, IBM subió a la cima. IBM no sólo ofrecía un sistema de almacenamiento integrado de hardware y software, sino que además lo proporcionaba como parte de una solución llave en mano, en la que IBM supervisaba toda la implantación y proporcionaba asistencia experta durante todo el proceso.

En el núcleo de la solución se encuentra IBM Storage Scale. El sistema de almacenamiento de archivos de nivel empresarial tiene la escalabilidad y el rendimiento necesarios para manejar cargas de trabajo de datos grandes y complejas y la capacidad de combinar almacenamiento flash, disco, cinta y en la nube en un sistema unificado.

Para el almacenamiento de datos a largo plazo, IBM Storage Archive almacena datos archivados en cinta y IBM Storage Protect mueve los datos a la cinta y los recupera cuando un usuario los solicita. Todo el proceso es transparente para los usuarios finales, que acceden a todos los datos, independientemente de dónde residan, desde una única interfaz.

El equipo comenzó a trabajar en serio en enero de 2021. Un gerente de proyecto de IBM supervisó la implementación de principio a fin, y el equipo de IBM colaboró estrechamente con DMI en todo momento.

IBM lanzó el proyecto con una serie de talleres para recopilar información de los usuarios clave en varios departamentos de DMI, desde TI hasta gestión, en un esfuerzo por comprender las necesidades de los usuarios y educarlos en las capacidades del nuevo sistema. Durante los talleres, un representante de IBM Systems Lab Services proporcionó orientación sobre el nuevo sistema, explicando los diversos niveles de servicio de datos, estructuras de directorios y rutinas de copia de seguridad para cada área de los sistemas de archivos.

Durante la implementación, el equipo necesitaba una forma de trasladar los datos del antiguo centro de datos de DMI al nuevo sin interrumpir el acceso de los usuarios a esos datos. La solución fue realizar la implementación de datos y la migración física en dos partes. "Construimos la mitad del sistema en la ubicación antigua, moviendo los datos de la antigua biblioteca de cintas al nuevo sistema de almacenamiento", dice Kjellberg. “Luego trasladamos todo el sistema de almacenamiento a nuestra nueva ubicación y lo instalamos allí. A continuación, implementamos la segunda parte del nuevo sistema”.

Con su nuevo sistema de almacenamiento de IBM en funcionamiento, DMI ahora profundiza su enfoque en la sostenibilidad. "En 2023, estamos muy interesados en tener más voz en la transición ecológica en Dinamarca", afirma Thyrring. "Con el efecto de los acontecimientos mundiales actuales en los mercados energéticos, la transición ecológica en Europa es una prioridad para todos. Por lo tanto, el uso de datos climáticos para regular y predecir el consumo de energía y aumentar su eficiencia es realmente clave.

Por eso, el siguiente paso para nosotros es hacer un uso aún mayor de nuestros datos y el conocimiento de nuestros científicos en las áreas del clima y las situaciones meteorológicas peligrosas. Por supuesto, no podemos gestionar todos los datos, todas nuestras previsiones y todas las piezas técnicas sin una configuración tecnológica sólida".

DMI está trabajando con IBM para basarse en esa tecnología, especialmente en la expansión de las capacidades en la nube de su solución de almacenamiento y profundizando en la IA. "Empezamos a invertir mucho en machine learning", dice Mottram. "Nuestros datos serán muy valiosos porque podemos utilizarlos para comenzar a entrenar modelos de machine learning en el futuro. Hay muchas cosas que no sabemos en el momento en que producimos los datos, pero dentro de cinco o diez años podremos volver atrás y decir: "Es bueno que lo hayamos conseguido". Y resultó útil'".

Tener un sistema de almacenamiento unificado también está cosechando beneficios para DMI. "Lo importante para nosotros es que tenemos un sistema de almacenamiento que mantiene el control de la estructura subyacente en términos de dónde se almacenan los datos", dice Mottram. "Ha habido una reducción en el costo por petabyte de datos que se almacenan en cinta en el nuevo sistema en comparación con el sistema anterior. Por supuesto, a medida que avanzamos, es vital que sigamos brindando a los usuarios finales una experiencia buena y confiable”.

La confianza también es clave en la exitosa relación entre DMI e IBM. "Trabajar con IBM para desarrollar esta solución ha sido un ejercicio de aprendizaje para nosotros", afirma Thyrring. “La forma en que IBM ha trabajado con nosotros ha sido realmente positiva. IBM tiene mucha experiencia en nuevas formas de establecer almacenamiento para grandes cantidades de datos y ha demostrado la apertura que necesitamos para confiar en que los proveedores que escuchan conducirán a cosas buenas.

"Estamos tratando asuntos tan complejos que solo al reunir nuestros cerebros podemos encontrar buenas soluciones", concluye. "Después de comprar este sistema de almacenamiento, es muy importante que sepamos que vamos a trabajar juntos en los próximos años".

Fundada en 1872, DMI presta servicios meteorológicos a los ciudadanos del Reino de Dinamarca, que comprende Dinamarca, las Islas Feroe y Groenlandia. Las responsabilidades del instituto incluyen la monitorización y el pronóstico del tiempo, el clima y las condiciones ambientales en el aire, la tierra y el mar. El instituto tiene su sede en Copenhague, Dinamarca.