La Universidad de Queensland
Tiempo de obtención de información más rápido con almacenamiento de datos de alto rendimiento para investigación de IA
Más información
Dos personas analizando datos en una tableta

La Universidad de Queensland (UQ), una institución de investigación de primer nivel, buscaba simplificar la captura, el almacenamiento, el análisis y la gestión de datos para su entorno de informática de alto rendimiento (HPC). En colaboración con Sundata, socio comercial de IBM, la Universidad desarrolló una estructura de datos unificada con el software IBM Spectrum Scale, lo que aceleró significativamente las cargas de trabajo de IA y uso intensivo de imágenes.

Reto empresarial

Para acelerar la colaboración en la investigación, incluso para proyectos complejos impulsados por IA, UQ necesitaba una solución de almacenamiento que admitiera cientos de terabytes de datos generados diariamente.

Transformación

UQ creó una estructura de datos de alto rendimiento impulsada y gestionada de forma centralizada con IBM Spectrum Scale, añadiendo recientemente una solución IBM Elastic Storage System (ESS) para dar soporte a su entorno HPC más rápido.

Resultados 2 horas para obtener ROI en el almacenamiento definido por software
que ahorra a los investigadores cientos de horas de procesamiento a la semana
Tiempos de ejecución ~74 % más rápidos para análisis de imágenes médicas
para ayudar a acelerar el tiempo de descubrimiento para investigaciones críticas
Aumento exponencial de volúmenes de datos
respaldado por una estructura de almacenamiento rentable y altamente escalable
Historia de un desafío empresarial
A la vanguardia de la investigación impulsada por la IA de la UQ

¿Cómo podemos utilizar las tecnologías de ultrasonido para que los anticuerpos terapéuticos puedan superar la barrera hematoencefálica y frenar la enfermedad de Alzheimer? ¿Qué pueden enseñarnos los circuitos neuronales de las moscas de la fruta sobre el diseño de movimientos robóticos? ¿Por qué la inflamación celular conduce al cáncer y cómo podemos aprender más mediante la obtención de imágenes de células vivas a tamaño nanométrico en tiempo real? En toda la UQ, investigadores creativos abordan estas y otras cuestiones difíciles, lo que a menudo conduce a descubrimientos que pueden cambiar el mundo y la vida de las personas.

Los equipos de investigación dedicados a estas cuestiones utilizan el ordenador más rápido de la Universidad, acelerado mediante GPU, para llevar a cabo su trabajo de vanguardia. Diseñado específicamente para cargas de trabajo de ciencia e IA que requieren un uso intensivo de imágenes, este superordenador, junto con otros sistemas HPC de la Universidad, necesita un almacenamiento de datos extremadamente rápido, escalable y flexible disponible en cualquier momento y lugar.

Para crear un camino más rápido desde la ingesta hasta la información, el Research Computing Centre (RCC) de UQ buscaba implementar una estrategia y una arquitectura de almacenamiento uniformes y de alto rendimiento para respaldar y gestionar eficazmente la captura y el análisis de datos en toda la universidad.

El RCC quería una solución que no solo pudiera adaptarse al crecimiento exponencial del volumen, la velocidad y la variedad de los datos, sino que también proporcionara un acceso rápido a los datos. Los investigadores de la Universidad generan datos estructurados y no estructurados utilizando una variedad de sistemas informáticos, desde computadoras de escritorio hasta clústeres de HPC, y a partir de una enorme gama de instrumentos científicos, como escáneres de resonancia magnética, microscopios ópticos y secuenciadores de ADN, explica el profesor David Abramson, director del RCC. "Nuestro paradigma en torno a los datos consiste en conservar una copia lógica de los mismos y, a continuación, presentarlos de muchas formas distintas para que estén disponibles cuando un investigador los necesite y donde los necesite", afirma. Al evaluar las posibles soluciones, el RCC también buscó tecnologías que pudieran expandirse en línea con las necesidades de la Universidad en el futuro.

Con la solución ESS, obtenemos todas las ventajas de un sistema de archivos paralelos de alta velocidad dentro de un superordenador con la transparencia de gestión de datos que proporciona AFM y otras características de IBM Spectrum Scale. Jake Carroll Director de tecnología, Research Computing Centre La Universidad de Queensland
Historia de transformación
Almacenamiento HPC con acceso bajo demanda

El RCC creó una estructura de almacenamiento de datos de alto rendimiento conocida como MeDiCI (Infraestructura Metropolitan de almacenamiento de datos en caché), impulsada por IBM Spectrum Scale y gestionada de forma centralizada. "Para que los investigadores impulsen la innovación, deben ser capaces de realizar investigaciones de alta calidad de manera oportuna, escalable y progresiva, aprovechando la infraestructura informática de investigación de vanguardia. Nuestra asociación con IBM ayuda a satisfacer estas necesidades", explica Jake Carroll, director tecnológico, Research Computing Centre en UQ. "Con MeDiCI, investigadores y estudiantes de toda la Universidad, y en otros institutos internacionales pueden trabajar sin problemas con datos almacenados en cualquier clúster de computación en UQ y colaborar".

"Cuando los investigadores se sientan, ven todos sus datos. No se dan cuenta de que en realidad se está moviendo a través de cables ópticos a velocidad ciega desde un centro de datos remoto”, dice Abramson.

Además, el ecosistema MeDiCI es compatible con una variedad de plataformas, instrumentos y datos. "El software IBM Spectrum Scale nos permite unificar todos nuestros diferentes silos de fuentes de almacenamiento en una infraestructura de almacenamiento integrada e inteligente y, a continuación, renderizar los datos en cualquier protocolo que sea adecuado, lo que se traduce en una analítica más rápida y una mayor utilidad de los recursos", afirma Abramson. MeDiCI también captura automáticamente los metadatos del proyecto, incluidos los usuarios, los instrumentos y los parámetros de datos.

El equipo de RCC continúa evolucionando la infraestructura de MeDiCI, más recientemente implementándola como una solución de almacenamiento para UQ HPC Wiener (enlace externo a ibm.com). El objetivo es que los investigadores puedan hacer más en el mismo tiempo gracias al mayor rendimiento que ofrece la plataforma. "Necesitábamos una solución que no sólo pudiera soportar un ancho de banda bastante considerable desde el punto de vista de gigabytes por segundo, sino también un requisito de IOPS muy alto para admitir cantidades masivas de datos procedentes de sistemas de disco y almacenamiento flash simultáneamente a un ritmo sin precedentes", explica Carroll.

"Queríamos [una plataforma de hardware con] IBM Spectrum Scale porque su funcionalidad es bastante única", explica Carroll. "Con la solución ESS, obtenemos todos los beneficios de un sistema de archivos paralelos de alta velocidad dentro de una supercomputadora con la transparencia de gestión de datos que proporcionan AFM y otras características de IBM Spectrum Scale. Esa integración encaja en el flujo de trabajo de nuestros usuarios, y en los resultados científicos, el flujo de trabajo es el rey. Es por eso que aprovechamos el almacenamiento definido por software", añade.

Con la solución ESS, UQ puede admitir volúmenes de datos masivos con hasta 40 GB de rendimiento y la capacidad de escalar a exabytes de almacenamiento, y su modelo de nube híbrida proporciona acceso rápido a metadatos. Con la función de codificación de borrado de IBM Spectrum Scale RAID, la solución está diseñada para admitir altos niveles de fiabilidad, disponibilidad y rendimiento de almacenamiento. En combinación con AFM, también permite a la RCC optimizar el acceso a los datos dentro de flujos de trabajo específicos del proyecto a la vez que mantiene una arquitectura de almacenamiento única y común.

Los equipos técnicos de ventas de IBM Systems Lab Services e IBM Systems en Australia trabajaron con Sundata y RCC para implementar rápidamente la solución ESS GH14S en una red InfiniBand e integrarla con la arquitectura de TI MeDiCI integral. Los equipos trabajaron de forma cohesiva y prestaron atención a los detalles en cada etapa, implementando la matriz en cinco días.

El RCC ha implementado recientemente la oferta de IBM Storage Insights , la gestión del almacenamiento basado en la nube y la plataforma de soporte con análisis predictivos. Proporciona al equipo una visibilidad más profunda y coherente en toda la infraestructura, lo que permite un mayor rendimiento mediante una resolución de problemas más rápida.

IBM colocó recientemente un nuevo ESS 5000 en la UQ para realizar pruebas y evaluaciones exhaustivas. Abramson afirma que IBM se ha asociado con RCC porque se ha labrado una reputación por ampliar las tecnologías existentes.

"Ya hemos demostrado una innovación significativa en la aplicación de Spectrum Scale en la Universidad. Hemos podido ofrecer comentarios sobre lo bien que funciona en nuestro entorno y dónde se puede mejorar", explica Abramson. "Estoy muy entusiasmado por poder probar el otro hardware de vanguardia de IBM para satisfacer nuestras necesidades de investigación más exigentes".

Con la solución ESS, obtenemos todas las ventajas de un sistema de archivos paralelo de alta velocidad dentro de un superordenador con la transparencia de gestión de datos que proporcionan AFM y otras funciones de IBM Spectrum Scale. Esa integración se ajusta al flujo de trabajo de nuestros usuarios, y en los resultados científicos, el flujo de trabajo es lo más importante. Por eso aprovechamos el almacenamiento definido por software. Jake Carroll Director de tecnología, Research Computing Centre La Universidad de Queensland
Historia de resultados
Tiempo de detección más rápido

Con una estructura de datos uniforme que cuenta con tecnologías IBM Spectrum Scale, como la gestión activa de archivos (AFM) para acceder a los archivos de toda la universidad, el RCC puede optimizar el tiempo y los recursos universitarios de los investigadores, al tiempo que centraliza la gestión de datos y controla los costes de TI. En toda la UQ, los investigadores disponen ahora de amplias capacidades informáticas y de almacenamiento para soportar la creación de cantidades masivas de datos a escala y ejecutar cargas de trabajo complejas.

Con el ancho de banda ampliado y las IOPS disponibles en el dispositivo ESS, los equipos de investigación que confían en el sistema HPC de Wiener pueden procesar datos a velocidades sin precedentes. "El machine learning y la inteligencia artificial ocupan un lugar central en el ESS GH14S, que potencia el uso de las GPU de nuestro superordenador, lo que permite a los investigadores hacer más en el mismo tiempo y acelera los descubrimientos", afirma Carroll. De hecho, la nueva matriz de almacenamiento proporcionó un ROI en sólo dos horas, gracias a las mejoras de rendimiento que ahorran a los investigadores de imágenes médicas de la UQ cientos de horas de procesamiento cada semana.

En el Instituto Queensland Brain de UQ (QBI), por ejemplo, los neurocientíficos que estudian la enfermedad de Alzheimer redujeron el tiempo necesario para ejecutar su carga de trabajo de proyecto, conocido como análisis de elementos finitos, en aproximadamente un 74 por ciento, reduciendo el tiempo de ejecución hasta 18,72 horas. Con una comprensión más profunda de la distribución de las ondas de ultrasonido en el cráneo humano, los investigadores pueden desarrollar la tecnología necesaria para superar la barrera hematoencefálica para la administración de fármacos. "Es una tarea muy compleja y necesita una enorme cantidad de potencia de computación y almacenamiento", explica Carroll.

En otro caso, QBI y otros investigadores que estudiaban los circuitos neuronales de las moscas de la fruta desarrollaron métodos genéticos para etiquetar y manipular tipos de neuronas individuales. Con Wiener, pueden procesar rápidamente terabytes de videos de alta velocidad de los pequeños insectos en movimiento, midiendo movimientos precisos de las antenas, el abdomen y las articulaciones en seis patas. Con una nueva visión del papel de cada neurona, pueden comprender mejor los principios que rigen tareas motoras complejas, como el comportamiento de caminar y volar.

En el Instituto de Biociencia Molecular de la UQ, los investigadores que estudian la inflamación celular emplean microscopía de lámina de luz de celosía para capturar imágenes 4D de alta resolución de procesos celulares vivos. Vistas mediante un proceso de modelado matemático conocido como microscopía de deconvolución, las imágenes proporcionan una visión sin precedentes en tiempo real de cómo se forma el cáncer. La solución de almacenamiento Wiener contribuye a hacerlo posible, entre otras cosas reduciendo el tiempo de deconvolución en más de un 70 por ciento. El RCC ahorró tiempo adicional a los investigadores al crear un portal fácil de usar para agilizar las tareas de deconvolución.

"Tenemos que proporcionar la mejor infraestructura posible para respaldar una enorme variedad de esfuerzos de investigación. Dado el crecimiento exponencial de los datos, también necesitamos lograr economías de escala", dice Carroll. "IBM y Sundata ayudan a hacerlo posible". 

Logotipo de la Universidad de Queensland de Australia con escudo en violeta
La Universidad de Queensland

Durante más de un siglo,la Universidad de Queensland (UQ) (enlace externo a ibm.com) ha mantenido una reputación global por ofrecer liderazgo en conocimiento para un mundo mejor. Las clasificaciones más prestigiosas y reconocidas de universidades del mundo sitúan sistemáticamente a la UQ entre las mejores universidades del mundo. La UQ también ha ganado más premios nacionales de enseñanza que cualquier otra universidad australiana. Este compromiso con la enseñanza de calidad capacita a nuestros 53 600 alumnos actuales, que estudian en los tres campus de la UQ, para crear un cambio positivo para la sociedad. Nuestra investigación tiene una repercusión mundial, llevada a cabo por una comunidad de investigación interdisciplinaria de más de 1500 investigadores en nuestras seis facultades, ocho institutos de investigación y más de 100 centros de investigación. 

Dé el siguiente paso

Para obtener más información sobre las soluciones IBM Storage, póngase en contacto con su representante de IBM o socio comercial de IBM, o visite el siguiente sitio web: ibm.com/storage

Acerca de Sundata

Fundada en 1986, el socio comercial de IBM, Sundata, ayuda a empresas corporativas, gobiernos e instituciones educativas a alinear su estrategia empresarial con la tecnología. La empresa, un integrador y distribuidor de sistemas de tamaño medio con sede en Brisbane, ofrece una amplia gama de servicios de planificación, instalación, soporte y financiación.

Encuentre más casos prácticos aquí IBM@UQ Centre of Excellence
Legal

© Copyright IBM Corporation 2020. IBM corporation, IBM systems hardware, New Orchard road road, Armonk, NY 10504. 
Producido en los Estados Unidos de América, octubre de 2020.

IBM, el logotipo de IBM, ibm.com, IBM Elastic Storage e IBM Spectrum son marcas comerciales de International Business Machines Corp., registradas en muchas jurisdicciones del mundo. Los demás nombres de productos y servicios pueden ser marcas registradas de IBM u otras empresas. Puede consultar una lista de las actuales marcas registradas de IBM en la web, en el apartado "Información sobre derechos de autor y marcas registradas" en www.ibm.com/es-es/legal/derechos de autor.

Este documento se actualizó por última vez en la fecha inicial de publicación e IBM puede modificarlo en cualquier momento. Los socios comerciales de IBM establecen sus propios precios, que pueden variar. No todas las ofertas están disponibles en todos los países en los que opera IBM.

Los datos de rendimiento y ejemplos de clientes mencionados se presentan únicamente con fines ilustrativos.Los datos reales de rendimiento pueden variar en función de las configuraciones y condiciones de funcionamiento específicas.Es responsabilidad del usuario evaluar y verificar el funcionamiento de cualquier otro producto o programa con los productos y programas de IBM. LA INFORMACIÓN DE ESTE DOCUMENTO SE OFRECE "TAL CUAL ESTÁ" SIN NINGUNA GARANTÍA, NI EXPLÍCITA NI IMPLÍCITA, INCLUIDAS, ENTRE OTRAS, LAS GARANTÍAS DE COMERCIALIZACIÓN, ADECUACIÓN A UN FIN CONCRETO Y CUALQUIER GARANTÍA O CONDICIÓN DE INEXISTENCIA DE INFRACCIÓN.Los productos de IBM están sujetos a garantía según los términos y condiciones de los acuerdos bajo los que se proporcionan.

La capacidad de almacenamiento real disponible puede indicarse tanto para datos comprimidos como sin comprimir y puede variar y ser inferior a la indicada.

Nota: la imagen del espacio principal en el caso práctico es una foto de archivo.