Diseñado para escalar y optimizar la inferencia de la IA generativa
Descripción general
IBM® AI Optimizer for Z ofrece inferencia de IA basada en políticas de alto rendimiento directamente en IBM Z, diseñada para satisfacer las demandas de IA generativa a escala empresarial. Impulsado por el acelerador IBM Spyre, aporta una ejecución de modelos de baja latencia, alto rendimiento y amplia seguridad a la plataforma que ejecuta las cargas de trabajo más críticas del mundo.
A medida que la IA generativa reconfigura la estrategia de negocios, las organizaciones que ejecutan en IBM Z se enfrentan a un mandato claro: escalar la IA de manera eficiente, segura y sin costos descontrolados de infraestructura. AI Optimizer for Z 2.1 aborda esto optimizando la inferencia donde los datos y las transacciones ya están activos, en Z , reduciendo el tiempo de creación de valor y eliminando las ineficiencias que retrasan la adopción de IA.
AI Optimizer for Z está disponible en dos ediciones: Advanced Edition y Essentials Edition.
AI Optimizer for Z 2.1 Essentials Edition amplía las capacidades de automatización con una automatización perfecta de la instalación de IBM watsonx Assistant for Z 3.1 e IBM Software Hub 5.2.
Características clave
- Monitoreo en tiempo real
- Almacenamiento en caché de varios niveles
- Inferencia optimizada
- Registro externo de LLM
- IA generativa para IBM Z
Real-Time Monitoring & Visualizations
Obtenga visibilidad completa de la inferencia de IA generativa en IBM Z con observabilidad de nivel empresarial. Los paneles incorporados de Prometheus y Grafana proporcionan insights detallados sobre:
- Inferencia de latencia y rendimiento
- Utilización de hardware y Spyre
- Uso del modelo y actividad entre aplicaciones
- Identificación de cuellos de botella y anomalías
Esta transparencia ayuda a eliminar el exceso de aprovisionamiento, optimizar la planificación de la capacidad e impulsar inversiones más inteligentes en infraestructura.
Multi-level Caching
AI Optimizer for Z 2.1 introduce un modelo de almacenamiento en caché por etapas para acelerar la inferencia de IA generativa:
- Nivel 1: almacenamiento en caché de valor clave (KV) por despliegue de modelo en varias unidades de hardware, lo que lleva a una utilización optimizada del hardware.
- Nivel 2: almacenamiento en caché compartido en múltiples despliegues de modelos. El almacenamiento en caché reduce el tiempo hasta el primer token (TTFT), mejora el rendimiento y también optimiza la utilización del hardware.
Optimized inferencing (for models on Spyre)
AI Optimizer registra los modelos que se ejecutan en Spyre para su optimización. Los usuarios pueden configurar sus propias estrategias de enrutamiento o confiar en el enrutador inteligente integrado, que considera el rendimiento, la disponibilidad y los patrones de uso. El etiquetado semántico permite agrupar modelos para el enrutamiento alineado con el caso de uso, lo que proporciona más flexibilidad en las solicitudes de inferencia.
External LLM registration
Los modelos desplegados fuera de IBM Z o LinuxONE se pueden registrar, etiquetar, agrupar y supervisar junto con los modelos de la plataforma. Esto proporciona una vista operativa unificada de la inferencia de IA generativa en entornos híbridos, lo que garantiza la coherencia en la gobernanza y el seguimiento del rendimiento.
Streamlined Deployment of Generative AI for IBM Z
AI Optimizer for Z automatiza la instalación y configuración de componentes clave de la IA generativa en IBM Z, como IBM watsonx Assistant for Z, garantizando una configuración rápida y confiable. Valida la infraestructura y proporciona un panel de estado para un monitoreo sencillo. Esto reduce la complejidad y acelera el tiempo hasta la producción.
AI Optimizer en Z y watsonx Assistant for Z
Cuando AI Optimizer for Z se encuentra con IBM watsonx Assistant for Z en IBM Spyre Accelerator, las empresas obtienen lo mejor de ambos mundos: aplicación e inferencia en perfecta armonía. AI Optimizer garantiza que cada consulta, inferencia y llamada de modelo se enrute, almacene en caché y escale para lograr la máxima eficiencia, mientras que el asistente ofrece una interacción natural y conversacional con clientes y empleados. Al ejecutarse con la arquitectura de alto rendimiento y eficiencia energética de Spyre, ambos permiten respuestas más rápidas, menor latencia y visibilidad de extremo a extremo transformando las interacciones con los clientes en experiencias fluidas impulsadas por IA, más inteligentes, rápidas y diseñadas para la escala empresarial.
Simplifique y transforme la manera en que sus usuarios interactúan y gestionan el mainframe con IA.
Acelere la innovación en IA a escala con la infraestructura de IBM.
Recursos
