IA integrada escalable, energéticamente eficiente y segura
Rendimiento e innovación con IA
La inteligencia artificial (IA) está transformando los sectores, y las empresas necesitan una infraestructura capaz de gestionar las cargas de trabajo de IA de manera eficiente y segura.
IBM LinuxONE, que incorpora la tecnología del procesador IBM® Telum, integra la aceleración de IA directamente en el chip, lo que permite la inferencia en tiempo real de múltiples modelos de IA con una latencia mínima. Esta capacidad avanzada, combinada con la IA predictiva y los grandes modelos de lenguaje, permite a las empresas analizar los datos dondequiera que se encuentren, lo que acelera los conocimientos y profunda para aplicaciones de misión crítica, como la detección del fraude avanzada, el análisis de riesgos y la interpretación de imágenes médicas.
IA escalable para cargas de trabajo complejas
La tarjeta IBM Spyre Accelerator es un acelerador de IA PCIe Gen 5x de 75 W con 128 GB de memoria LPDDR5, optimizado para IA generativa y LLM multimodal8. Con 32 (+2) núcleos con un scratchpad de 2 MB por núcleo y una utilización de núcleos de >55 %, Spyre escala por tarjeta y cajón, lo que permite a las empresas gestionar de forma eficiente las complejas inferencias de IA en todas las aplicaciones empresariales.
Al añadir las tarjetas IBM Spyre Accelerator a IBM® LinuxONE 5, se habilitan casos de uso adicionales, incluida la IA generativa.
Software y soluciones de IA para IBM LinuxONE
Un conjunto seleccionado de marcos de IA optimizados para IBM LinuxONE Integrated Accelerator for AI, que ofrece un rendimiento mejorado con IBM Elite Support.
Una familia de conjuntos de datos generados artificialmente que mejoran el entrenamiento de modelos de IA y los LLM, ayudando a IBM LinuxONE en finanzas a acceder rápidamente a datos ricos y relevantes para iniciativas de IA.
Se trata de una plataforma abierta para gestionar el ciclo de vida de los modelos de IA predictivos y generativos a gran escala en entornos de nube híbrida.
Un formato de modelo portátil con compatibilidad entre marcos, lo que permite a los desarrolladores de IA crear modelos una vez e implementarlos en varios tiempos de ejecución, herramientas y compiladores.
Un potente marco de código abierto para el desarrollo, entrenamiento e inferencia de modelos, que proporciona un rico ecosistema optimizado para LinuxONE.
Diseñado para el entrenamiento y la inferencia de machine learning a alta velocidad, aprovecha el IBM Integrated Accelerator for AI con el fin de impulsar el rendimiento de los modelos Random Forest, Extra Trees y Gradient Boosting.
Un servidor de modelo de código abierto optimizado para Linux en Z, que admite inferencia de CPU y GPU mientras utiliza SIMD y el acelerador integrado de IBM para IA.
Una herramienta que agiliza la implementación de modelos de deep learning en IBM Z, lo que permite a los científicos de datos optimizar los modelos de IA para entornos de misión crítica.
Aplicaciones ISV
IBM está trabajando con el ecosistema IBM LinuxONE para ayudar a los ISV a ofrecer soluciones a los retos actuales en materia de IA, sostenibilidad y ciberseguridad.
Explore dos soluciones innovadoras diseñadas específicamente para instituciones financieras y sanitarias: Clari5 Enterprise Fraud Management en IBM® LinuxONE 4 Express, que permite la prevención del fraude en tiempo real, y la plataforma Enso Decision Intelligence de Exponential AI en LinuxONE, que ofrece soluciones avanzadas de IA a escala.
Notas a pie de página
1 DESCARGO DE RESPONSABILIDAD: Descargo de responsabilidad: Los resultados de rendimiento se basan en pruebas internas de IBM ejecutadas en hardware de IBM Systems del tipo de máquina 9175. La aplicación OLTP y PostgreSQL se implementaron en hardware de IBM Systems. La configuración de IA del conjunto de detección del fraude con tarjetas de crédito (CCFD) consta de dos modelos (LSTM, TabFormer). En hardware IBM Systems, ejecutando la aplicación OLTP con IBM Z Deep Learning Compiler (zDLC) compilado en jar e IBM Z Accelerated for NVIDIA Triton Inference Server localmente, procesando las operaciones de inferencia de IA en núcleos y el Integrated Accelerator for AI, en comparación con ejecutar la aplicación OLTP localmente y procesar las operaciones de inferencia de IA remotas en un servidor x86 que ejecuta NVIDIA Triton Inference Server con el backend de tiempo de ejecución OpenVINO en la CPU (con AMX). Cada escenario se ejecutó desde Apache JMeter 5.6.3 con 64 usuarios paralelos. Configuración del hardware de IBM Systems: 1 LPAR con Ubuntu 24.04 con 7 núcleos dedicados (SMT), 256 GB de memoria y almacenamiento IBM FlashSystem 9500. Los adaptadores de red estaban dedicados a NETH en Linux. Configuración del servidor x86: 1 servidor x86 con Ubuntu 24.04 con 28 CPU Emerald Rapids Intel Xeon Gold a 2,20 GHz con Hyper-Threading activado, 1 TB de memoria, SSD locales, UEFI con perfil de rendimiento máximo habilitado, control de estado P de la CPU y estados C deshabilitados. Los resultados pueden variar.
2, 3 DESCARGO DE RESPONSABILIDAD: El resultado del rendimiento se extrapola a partir de pruebas internas de IBM ejecutadas en hardware de sistemas de IBM del tipo de máquina 9175. La referencia se ejecutó con 1 subproceso que realizaba operaciones de inferencia local utilizando un modelo sintético de detección del fraude con tarjetas de crédito basado en LSTM para explotar el acelerador integrado para IA. Se utilizó un tamaño de lote de 160. Configuración del hardware de IBM Systems: 1 LPAR con Red Hat Enterprise Linux 9.4 con 6 núcleos (SMT) y 128 GB de memoria. Los resultados pueden variar.