IA integrada escalable, energéticamente eficiente y segura
Rendimiento e innovación impulsados por IA
La inteligencia artificial (IA) está transformando las industrias, y las empresas requieren una infraestructura que pueda manejar las cargas de trabajo de IA de manera eficiente y segura.
IBM LinuxONE, impulsado por el procesador IBM® Telum, integra la aceleración de IA directamente en el chip, lo que permite la inferencia en tiempo real de múltiples modelos de IA con una latencia mínima. Esta capacidad avanzada, en combinación con IA predictiva y modelos de lenguaje grandes permite a las empresas analizar los datos donde residen, para ofrecer insights más rápidos y profundos para aplicaciones de misión crítica, como la detección de fraude, el análisis de riesgos y las imágenes médicas.
IA escalable para cargas de trabajo complejas
La tarjeta IBM Spyre Accelerator es un acelerador de IA PCIe Gen 5x de 75 W con 128 GB de memoria LPDDR5, optimizado para IA generativa y LLM multimodal.8 Con 32 (+2) núcleos con un scratchpad de 2 MB por núcleo y una utilización de núcleos de >55 %, Spyre escala por tarjeta y cajón, lo que permite a las empresas gestionar de forma eficiente las complejas inferencias de IA en todas las aplicaciones empresariales.
Al añadir las tarjetas IBM Spyre Accelerator a IBM® LinuxONE 5, se habilitan casos de uso adicionales, incluida la IA generativa.
Software y soluciones de IA para IBM LinuxONE
Un conjunto curado de marcos de IA optimizados para IBM LinuxONE Integrated Accelerator for IA, que ofrece un rendimiento mejorado con IBM Elite Support.
Una familia de conjuntos de datos generados artificialmente que mejoran el entrenamiento de modelos de IA y los LLM, y ayudan a IBM LinuxONE en finanzas a acceder rápidamente a datos ricos y relevantes para iniciativas de IA.
Una plataforma abierta para gestionar el ciclo de vida de los modelos de IA predictiva y generativa a escala en entornos de nube híbrida.
Un formato de modelo portátil que permite la compatibilidad entre infraestructuras, lo que permite a los desarrolladores de IA crear modelos una vez y desplegarlos en varios tiempos de ejecución, herramientas y compiladores.
Un potente marco de código abierto para el desarrollo, entrenamiento e inferencia de modelos, que proporciona un variado ecosistema optimizado para LinuxONE.
Diseñado para el entrenamiento y la inferencia de machine learning de alta velocidad, aprovecha el IBM Integrated Accelerator for IA para aumentar el rendimiento de los modelos Random Forest, Extra Trees y Gradient Boosting.
Un servidor de modelo de código abierto optimizado para Linux en Z, que admite inferencia de CPU y GPU mientras utiliza SIMD y el acelerador integrado de IBM para IA.
Una herramienta que agiliza el despliegue de modelos de aprendizaje profundo en IBM Z, lo que permite a los científicos de datos optimizar los modelos de IA para entornos de misión crítica.
Aplicaciones ISV
IBM está trabajando con el ecosistema IBM® LinuxONE para ayudar a los ISV a ofrecer soluciones a los retos actuales en materia de IA, sustentabilidad y ciberseguridad.
Explore dos soluciones innovadoras diseñadas específicamente para instituciones financieras y de atención médica: Clari5 Enterprise Fraud Management en IBM® LinuxONE 4 Express, que permite la prevención del fraude en tiempo real, y la plataforma Enso Decision Intelligence de Exponential AI en LinuxONE, que ofrece soluciones avanzadas de IA a escala.
Notas de pie de página
1 DESCARGO DE RESPONSABILIDAD: Descargo de responsabilidad: el resultado de rendimiento se basa en pruebas internas de IBM que se ejecutan en IBM Systems Hardware del tipo de máquina 9175. La aplicación OLTP y PostgreSQL se desplegaron en IBM Systems Hardware. La configuración de IA de Credit Card Fraud Detection (CCFD) consta de dos modelos (LSTM, TabFormer). En Hardware de sistemas de IBM, ejecutar la aplicación OLTP con jar compilado IBM Z Deep Learning Compiler (zDLC) e IBM Z Accelerated for NVIDIA Triton Inference Server localmente y procesar las operaciones de inferencia de IA en núcleos e Integrated Accelerator for AI versus ejecutar la aplicación OLTP localmente y procesar las operaciones remotas de inferencia de IA en un x86 server que ejecuta NVIDIA Triton Inference Server con backend de tiempo de ejecución OpenVINO en CPU (con AMX). Cada escenario se impulsó desde Apache JMeter 5.6.3 con 64 usuarios paralelos. Configuración de hardware de IBM Systems: 1 LPAR que ejecuta Ubuntu 24.04 con 7 núcleos dedicados (SMT), 256 GB de memoria y almacenamiento IBM FlashSystem 9500. Los adaptadores de red se dedicaron a NETH en Linux. Configuración del x86 server: 1 x86 server que ejecuta Ubuntu 24.04 con 28 CPU Emerald Rapids Intel Xeon Gold a 2,20 GHz con Hyper-Threading activado, 1 TB de memoria, SSD locales, UEFI con perfil de rendimiento máximo habilitado, control de estado de CPU P y C-States deshabilitados. Los resultados pueden variar.
2, 3 DESCARGO DE RESPONSABILIDAD: El resultado de rendimiento se extrapoló de las pruebas internas de IBM que se ejecutan en IBM Systems Hardware de tipo de máquina 9175. El punto de referencia se ejecutó con un hilo que realizaba operaciones de inferencia local con un modelo sintético Credit Card Fraud Detection basado en LSTM para explotar el acelerador integrado para IA. Se utilizó un tamaño de lote de 160. Configuración del hardware de IBM Systems: 1 LPAR ejecutando Red Hat Enterprise Linux® 9.4 con 6 núcleos (SMT), 128 GB de memoria. Los resultados pueden variar.