Modelos fundacionales en el perímetro

Los modelos fundacionales (FM) marcan el inicio de una nueva era en el machine learning (ML) y la inteligencia artificial (IA), lo que está llevando a un desarrollo más rápido de la IA que puede adaptarse a una amplia gama de tareas posteriores y ajustarse para una gran variedad de aplicaciones. 

Con la creciente importancia del procesamiento de datos donde se realiza el trabajo, el servicio de modelos de IA en el perímetro empresarial permite realizar predicciones casi en tiempo real, mientras cumple con los requisitos de soberanía y privacidad de los datos. Al combinar las capacidades de IBM watsonx para FM con la computación perimetral, las empresas pueden ejecutar cargas de trabajo de IA para el ajuste y la inferencia de FM en el perímetro operacional. Esto permite a las empresas escalar los despliegues de IA en el perímetro, reduciendo el tiempo y el costo de despliegue con tiempos de respuesta más rápidos.

Asegúrese de revisar todas las entregas de esta serie de entradas en el blog sobre computación edge:

• Parte 1: “Nube en el perímetro”
• Parte 2: “Arquitectura en el perímetro”
• Parte 3: “DevOps en el perímetro”
• Parte 4: “Seguridad en el perímetro”
• Parte 5: “5G en el perímetro”
• Parte 6: “Clústeres en el perímetro”
• Parte 7: “Automatización en el perímetro”
• Parte 8: “Segmentación de red en el perímetro”
• Parte 9: “Datos en el perímetro”
• Parte 10: “Decisiones arquitectónicas en el perímetro”
• Parte 11: “GitOps en el perímetro”
• Parte 12: “Servicios de almacenamiento en el perímetro”
• Parte 13: “Servicios en la nube en el perímetro”
• Parte 14: “Soberanía de datos en el perímetro”
• Parte 15: “Productos conectados en el perímetro”
• Parte 16: “Modelos fundacionales en el perímetro”

Los modelos fundacionales (FM), que se entrenan en un amplio conjunto de datos sin etiquetar a escala, están impulsando aplicaciones de inteligencia artificial (IA) de última generación. Se pueden adaptar a una amplia gama de tareas posteriores y ajustarse para una variedad de aplicaciones. Los modelos modernos de IA, que ejecutan tareas específicas en un solo dominio, están dando paso a los FM porque aprenden de manera más general y funcionan en todos los dominios y problemas. Como su nombre indica, un FM puede ser la base de muchas aplicaciones del modelo de IA.

Las FM abordan dos desafíos clave que han impedido que las empresas escalen la adopción de la IA. En primer lugar, las empresas producen una gran cantidad de datos sin etiquetar, de los cuales solo una pequeña parte se etiqueta para el entrenamiento de modelos de IA. En segundo lugar, esta tarea de etiquetado y anotación requiere una gran cantidad de humanos y, a menudo, varios cientos de horas de tiempo de un experto en la materia (SME). Esto hace que sea prohibitivo escalar entre los casos de uso, ya que requeriría ejércitos de SME y expertos en datos. Al ingerir grandes cantidades de datos sin etiquetar y emplear técnicas autosupervisadas para el entrenamiento de modelos, los FM eliminaron estos cuellos de botella y dieron paso a la adopción a gran escala de la IA en toda la empresa. Estas enormes cantidades de datos que existen en todas las empresas están esperando ser liberadas para generar insights.

Los modelos de lenguaje grandes (LLM) son una clase de modelos fundacionales (FM) que consisten en capas de redes neuronales que han sido entrenadas sobre estas enormes cantidades de datos sin etiquetar. Utilizan algoritmos de aprendizaje autosupervisado para realizar diversas tareas de procesamiento de lenguaje natural (PLN) de forma similar a como los humanos usan el lenguaje (figura 1).

Hay varios pasos para crear y desplegar un modelo fundacional (FM). Estos incluyen la ingesta de datos, la selección de datos, el preprocesamiento de datos, el preentrenamiento de FM, el ajuste de modelos a una o más tareas posteriores, el servicio de inferencias y la gobernanza de datos y los modelos de IA y la gestión del ciclo de vida, todo lo cual puede describirse como FMOps.

Para ayudar con todo esto, IBM está ofreciendo a las empresas las herramientas y capacidades necesarias para aprovechar el poder de estos FM a través de la cartera de productos de IA IBM watsonx diseñados para multiplicar el impacto de la IA en toda una empresa. IBM watsonx consta de lo siguiente:

1. IBM watsonx.ai incorpora nuevas capacidades de IA generativa, impulsadas por FM y el machine learning (ML) tradicional, en un estudio poderoso que abarca todo el ciclo de vida de la IA.
2. IBM watsonx.data es un almacén de datos adecuado para su propósito construido sobre una arquitectura de lakehouse abierta para escalar cargas de trabajo de IA para todos sus datos, en cualquier lugar.
3. IBM watsonx.governance es un kit de herramientas automatizado de gobernanza del ciclo de vida de la IA de extremo a extremo que está diseñado para permitir flujos de trabajo de IA responsables, transparentes y explicables.

Otro vector clave es la creciente importancia de la computación en el perímetro empresarial, como ubicaciones industriales, plantas de fabricación, almacenes de venta minorista, sitios perimetrales de telecomunicaciones, etc. Más específicamente, la IA en el perímetro empresarial permite el procesamiento de datos donde se realiza el trabajo para su análisis casi en tiempo real. El perímetro empresarial es donde se generan grandes cantidades de datos empresariales y donde la IA puede proporcionar insights empresariales valiosos, oportunos y aplicables en la práctica.

El uso de modelos de IA en el perímetro permite realizar predicciones casi en tiempo real, mientras se cumplen los requisitos de soberanía y privacidad de los datos. Esto reduce significativamente la latencia a menudo asociada con la adquisición, transmisión, transformación y procesamiento de los datos de inspección. Trabajar en el perímetro nos permite proteger los datos confidenciales de la empresa y reducir los costos de transferencia de datos con tiempos de respuesta más rápidos.

Sin embargo, escalar los despliegues de IA en el perímetro no es una tarea fácil en medio de los desafíos relacionados con los datos (heterogeneidad, volumen y normativa) y los recursos limitados (computación, conectividad de red, almacenamiento e incluso habilidades de TI). Estos pueden describirse en términos generales en dos categorías:

• Tiempo y costo de despliegue: cada despliegue consta de varias capas de hardware y software que deben instalarse, configurarse y probarse antes del despliegue. Hoy en día, un profesional de servicios puede tardar hasta una o dos semanas en realizar la instalación en cada ubicación, lo que limita considerablemente la rapidez y la rentabilidad con la que las empresas pueden ampliar los despliegues en toda su organización.
• Gestión del día 2: la gran cantidad de perímetros desplegados y la ubicación geográfica de cada despliegue a menudo podrían hacer que sea prohibitivamente costoso proporcionar soporte de TI local en cada ubicación para monitorear, mantener y actualizar estos despliegues.

IBM desarrolló una arquitectura perimetral que aborda estos desafíos al llevar un modelo de dispositivo integrado de hardware/software (HW/SW) a los despliegues de IA perimetral. Consta de varios paradigmas clave que ayudan a la escalabilidad de los despliegues de IA:

• Aprovisionamiento basado en políticas y sin intervención de la pila completa de software.
• Monitoreo continuo del estado del sistema perimetral
• Capacidades para gestionar y enviar actualizaciones de software/seguridad/configuración a numerosas ubicaciones perimetrales, todo desde una ubicación central basada en la nube para la gestión del día 2.

Se puede utilizar una arquitectura de centro y radio distribuida para escalar los despliegues de IA empresarial en el perímetro, donde una nube central o un centro de datos empresarial actúa como un hub y el dispositivo edge-in-a-box actúa como un radio en una ubicación perimetral. Este modelo de centro y radio, que se extiende a través de entornos de nube híbrida y perimetral, ilustra mejor el equilibrio necesario para utilizar de manera óptima los recursos necesarios para las operaciones de FM (figura 2).

El entrenamiento previo de estos modelos de lenguaje grandes (LLM) básicos y otros tipos de modelos fundacionales mediante técnicas autosupervisadas en vastos conjuntos de datos sin etiquetar a menudo necesita recursos informáticos significativos (GPU) y se realiza mejor en un hub. Los recursos informáticos prácticamente ilimitados y las grandes pilas de datos a menudo almacenadas en la nube permiten el entrenamiento previo de modelos de parámetros de gran tamaño y la mejora continua en la precisión de estos modelos fundacionales básicos.

Por otro lado, el ajuste de estos FM básicos para tareas posteriores, que solo requieren unas pocas decenas o cientos de muestras de datos etiquetados y servicio de inferencia, se puede lograr con solo unas pocas GPU en el perímetro empresarial. Esto permite que los datos etiquetados sensibles (o datos emblemáticos de la empresa) permanezcan de forma segura dentro del entorno operativo empresarial, al tiempo que se reducen los costos de transferencia de datos.

Al utilizar un enfoque de paquete completo para desplegar aplicaciones al perímetro, un científico de datos puede realizar ajustes, pruebas y despliegue de los modelos. Esto se puede lograr en un solo entorno, al tiempo que se reduce el ciclo de vida del desarrollo para ofrecer nuevos modelos de IA a los usuarios finales. Plataformas como Red Hat OpenShift Data Science (RHODS) y la recientemente anunciada Red Hat OpenShift AI proporcionan herramientas para desarrollar y desplegar rápidamente modelos de IA listos para la producción en la nube distribuida y entornos perimetrales.

Por último, usar el modelo de IA ajustado en el perímetro de la empresa reduce significativamente la latencia que a menudo se asocia con la adquisición, transmisión, transformación y procesamiento de datos. Desvincular el entrenamiento previo en la nube del ajuste y la inferencia en el perímetro disminuye el costo operativo general al reducir el tiempo requerido y los costos de movimiento de datos asociados con cualquier tarea de inferencia (figura 3).

Para demostrar esta propuesta de valor de principio a fin, se ajustó y desplegó un modelo fundacional ejemplar basado en transformadores de visión para infraestructura civil (entrenado previamente con conjuntos de datos públicos y personalizados específicos de la industria) para inferencia en un perímetro de tres nodos (radio) clúster. La pila de software incluía Red Hat OpenShift Container Platform y Red Hat OpenShift Data Science. Este clúster perimetral también se conectó a una instancia del hub Red Hat Advanced Cluster Management for Kubernetes (RHACM) que se ejecuta en la nube.

El aprovisionamiento basado en políticas y sin intervención se realizó con Red Hat Advanced Cluster Management for Kubernetes (RHACM) mediante políticas y etiquetas de ubicación, que vinculan clústeres periféricos específicos a un conjunto de componentes y configuraciones de software. Estos componentes de software (que se extienden por todo el paquete completo y cubren la computación, el almacenamiento, la red y la carga de trabajo de IA) fueron instalados mediante varios operadores de OpenShift, el aprovisionamiento de los servicios de aplicaciones necesarios y un bucket S3 (almacenamiento).

El modelo fundacional (FM) previamente entrenado para infraestructura civil se ajustó mediante un Jupyter Notebook dentro de Red Hat OpenShift Data Science (RHODS) utilizando datos etiquetados para clasificar seis tipos de defectos encontrados en puentes de concreto. El servicio de inferencia de este FM ajustado también se demostró mediante un servidor Triton. Además, el monitoreo del estado de este sistema perimetral fue posible mediante la agregación de métricas de observabilidad de los componentes de hardware y software a través de Prometheus al panel central de RHACM en la nube. Las empresas de infraestructura civil pueden desplegar estos FM en sus ubicaciones perimetrales y utilizar imágenes de drones para detectar defectos casi en tiempo real, lo que acelera el tiempo de obtención de insights y reduce el costo de mover grandes volúmenes de datos de alta definición hacia y desde la nube.

La combinación de las capacidades de IBM watsonx para modelos fundacionales (FM) con un dispositivo edge-in-a-box permite a las empresas ejecutar cargas de trabajo de IA para el ajuste e inferencia de FM en el perímetro operativo. Este dispositivo puede manejar casos de uso complejos de forma inmediata y crea la infraestructura de centro y radio para la administración centralizada, la automatización y el autoservicio. Los despliegues perimetrales de FM se pueden reducir de semanas a horas con un éxito repetible, mayor resiliencia y seguridad.

Asegúrese de revisar todas las entregas de esta serie de entradas en el blog sobre computación edge:

• Parte 1: “Nube en el perímetro”
• Parte 2: “Arquitectura en el perímetro”
• Parte 3: “DevOps en el perímetro”
• Parte 4: “Seguridad en el perímetro”
• Parte 5: “5G en el perímetro”
• Parte 6: “Clústeres en el perímetro”
• Parte 7: “Automatización en el perímetro”
• Parte 8: “Corte de red en el perímetro”
• Parte 9: “Datos en el perímetro”
• Parte 10: “Decisiones arquitectónicas en el perímetro”
• Parte 11: “GitOps en el perímetro”
• Parte 12: “Servicios de almacenamiento en el perímetro”
• Parte 13: “Servicios en la nube en el perímetro”
• Parte 14: “Soberanía de datos en el perímetro”
• Parte 15: “Productos conectados en el perímetro”
• Parte 16: “Modelos fundacionales en el perímetro”