Modelos fundacionales en el edge

Los modelos fundacionales (FM) están marcando el comienzo de una nueva era en machine learning (ML) e IA, lo que conduce a un desarrollo más rápido de la IA que puede adaptarse a una amplia gama de tareas posteriores y ajustarse para una variedad de aplicaciones. 

Con la creciente importancia de procesar datos donde se realiza trabajo, servir modelos de IA en el extremo empresarial permite predicciones casi en tiempo real, respetando los requisitos de soberanía y privacidad de los datos. Al combinar las capacidades de IBM watsonx para FM con edge computing, las empresas pueden ejecutar cargas de trabajo de IA para el ajuste e inferencia de FM en el edge operativo. Esto permite a las empresas escalar las implementaciones de IA en el edge, reduciendo el tiempo y el coste de implementación con tiempos de respuesta más rápidos.

Asegúrese de consultar todas las entregas de esta serie de entradas de blog sobre edge computing:

• Parte 1: "Nube en el edge"
• Parte 2: "Arquitectura en el edge"
• Parte 3: "DevOps en el edge"
• Parte 4: "Seguridad en el edge"
• Parte 5: "5G en el edge"
• Parte 6: "Clústeres en el edge"
• Parte 7: "Automatización en el edge"
• Parte 8: "Corte de red en el edge"
• Parte 9: "Datos en el edge"
• Parte 10: "Decisiones arquitectónicas en el edge"
• Parte 11: "GitOps en el edge"
• Parte 12: "Servicios de almacenamiento en el edge"
• Parte 13: "Servicios cloud en el Edge"
• Parte 14: "Soberanía de los datos en el edge"
• Parte 15: "Productos conectados en el edge"
• Parte 16: "Modelos fundacionales en el edge"

Los modelos fundacionales (FM), que se entrenan a escala con un amplio conjunto de datos sin etiquetar, impulsan aplicaciones de inteligencia artificial (IA) de última generación. Pueden adaptarse a una amplia gama de tareas posteriores y ajustarse con precisión para una variedad de aplicaciones. Los modelos modernos de IA, que ejecutan tareas específicas en un único dominio, están dando paso a los FM porque aprenden de forma más general y funcionan en todos los dominios y problemas. Como su nombre indica, un FM puede ser la base de muchas aplicaciones del modelo de IA.

Los FM abordan dos desafíos clave que han impedido a las empresas escalar la adopción de la IA. En primer lugar, las empresas producen una enorme cantidad de datos sin etiquetar, de los que sólo una fracción se etiqueta para el entrenamiento de modelos de IA. En segundo lugar, esta tarea de etiquetado y anotación requiere una gran cantidad de trabajo humano, a menudo varias cientos de horas de trabajo de un experto en la materia (SME). Esto hace que sea prohibitivo desde el punto de vista de los costes escalar a través de los casos de uso, ya que requeriría ejércitos de pymes y expertos en datos. Al ingerir grandes cantidades de datos sin etiquetar y utilizar técnicas autosupervisadas para el entrenamiento de modelos, los FM han eliminado estos cuellos de botella y han abierto la vía para la adopción a gran escala de la IA en toda la empresa. Estas enormes cantidades de datos que existen en todas las empresas están esperando a ser aprovechadas para generar conocimientos.

Los modelos de lenguaje de gran tamaño (LLM) son una clase de modelos fundacionales (FM) que consisten en capas de redes neuronales que se han entrenado con estas cantidades masivas de datos sin etiquetar. Utilizan algoritmos de aprendizaje autosupervisado para realizar una serie de tareas de procesamiento del lenguaje natural (PLN) de forma similar a como los humanos utilizan el lenguaje (véase la figura 1).

Existen varios pasos para construir e implementar un modelo fundacional (FM). Estos incluyen la ingesta de datos, la selección de datos, el preprocesamiento de datos, el preentrenamiento de FM, el ajuste de modelos a una o más tareas posteriores, el servicio de inferencias y el gobierno de datos e modelos de IA y la gestión del ciclo de vida, todo lo cual puede describirse como FMOps.

Para ayudar con todo esto, IBM ofrece a las empresas las herramientas y capacidades necesarias para aprovechar el poder de estos FM a través del portfolio de productos de IA IBM watsonx diseñados para multiplicar el impacto de la IA en toda la empresa. IBM watsonx consta de lo siguiente:

1. IBM watsonx.ai incorpora nuevas capacidades de IA generativa (impulsadas por FM y machine learning [ML]) a un estudio potente que abarca todo el ciclo de vida de la IA.
2. IBM watsonx.data es un almacén de datos adecuado para su propósito construido sobre una arquitectura de lakehouse abierto para escalar cargas de trabajo de IA para todos tus datos, en cualquier lugar.
3. IBM watsonx.governance es un kit de herramientas automatizado de gobierno del ciclo de vida de la IA de extremo a extremo diseñado para permitir flujos de trabajo de IA responsables, transparentes y explicables.

Otro vector clave es la creciente importancia de la informática en el edge empresarial en instalaciones como plantas industriales, centros de fabricación, tiendas minoristas, instalaciones periféricas de telecomunicaciones, etc. Más concretamente, la IA en el edge empresarial permite el procesamiento de datos donde se está trabajando para su análisis casi en tiempo real. El edge empresarial es donde se generan grandes cantidades de datos empresariales y donde la IA puede proporcionar conocimientos valiosos, oportunos y accionables.

Servir modelos de IA en el edge permite hacer predicciones casi en tiempo real y, al mismo tiempo, cumplir con los requisitos de soberanía y privacidad de los datos. Esto reduce significativamente la latencia asociada a menudo con la adquisición, transmisión, transformación y procesamiento de datos de inspección. Trabajar en el edge nos permite proteger datos empresariales sensibles y reducir los costes de transferencia de datos con tiempos de respuesta más rápidos.

Sin embargo, escalar implementaciones de IA en el edge no es una tarea fácil frente a los desafíos relacionados con los datos (heterogeneidad, volumen y normativa) y los recursos limitados (computación, conectividad de red, almacenamiento e incluso habilidades de TI). Estos pueden describirse en términos generales en dos categorías:

• Tiempo/coste de implementación: cada implementación consta de varias capas de hardware y software que deben instalarse, configurarse y probarse antes de implementar. Hoy en día, un profesional de servicios puede tardar hasta una o dos semanas en instalarlo en cada ubicación, lo que limita gravemente la rapidez y la rentabilidad de las empresas para ampliar las implementaciones en toda su organización.
• Gestión del segundo día: el gran número de dispositivos desplegados y la ubicación geográfica de cada implementación pueden hacer que resulte muy costoso proporcionar asistencia de TI local en cada ubicación para monitorizar, mantener y actualizar estas implementaciones.

IBM desarrolló una arquitectura edge que aborda estos retos aportando un modelo de dispositivo integrado de hardware/software (HW/SW) a las implementaciones de IA en el edge. Consta de varios paradigmas clave que contribuyen a la escalabilidad de las implementaciones de IA:

• Aprovisionamiento basado en políticas y sin intervención humana de toda la pila de software.
• Monitorización continua del estado del sistema edge
• Capacidad para gestionar y enviar actualizaciones de software, seguridad y configuración a numerosas ubicaciones edge desde una ubicación central basada en la nube para la gestión del segundo día.

Para escalar las implementaciones de IA empresarial en el edge, se puede utilizar una arquitectura distribuida de tipo "hub and spoke" (centro y radios), en la que una nube central o un centro de datos empresarial actúa como centro, y el dispositivo edge-in-a-box actúa como radio en una ubicación edge. Este modelo de centro y radio, que se extiende a través de entornos de nube híbrida y edge, ilustra mejor el equilibrio necesario para utilizar de forma óptima los recursos necesarios para las operaciones de FM (véase la figura 2).

El preentrenamiento de estos modelos de lenguaje de gran tamaño (LLM) básicos y otros tipos de modelos fundacionales mediante técnicas de autosupervisión en vastos conjuntos de datos sin etiquetar suele requerir importantes recursos informáticos (GPU) y se realiza mejor en un centro. Los recursos informáticos prácticamente ilimitados y las grandes pilas de datos que a menudo se almacenan en la nube permiten el entrenamiento previo de grandes modelos de parámetros y la mejora continua de la precisión de estos modelos fundacionales básicos.

Por otro lado, el ajuste de estos FM básicos para tareas posteriores, que solo requieren unas pocas decenas o cientos de muestras de datos etiquetados y servicio de inferencias, se puede lograr con solo unas pocas GPU en el edge empresarial. Esto permite que los datos etiquetados sensibles (o datos emblemáticos de la empresa) permanezcan de forma segura dentro del entorno operativo empresarial, al tiempo que se reducen los costes de transferencia de datos.

Utilizando un enfoque full stack para implementar aplicaciones en el edge, un científico de datos puede realizar afinaciones, pruebas e implementación de los modelos. Esto se puede lograr en un único entorno y, al mismo tiempo, reducir el ciclo de vida de desarrollo para servir nuevos modelos de IA a los usuarios finales. Plataformas como Red Hat OpenShift Data Science (RHODS) y la recientemente anunciada Red Hat OpenShift AI proporcionan herramientas para desarrollar e implementar rápidamente modelos de IA listos para producción en nube distribuida y entornos edge.

Por último, servir el modelo de IA afinado en el borde de la empresa reduce significativamente la latencia que a menudo se asocia con la adquisición, transmisión, transformación y procesamiento de datos. Desacoplar el preentrenamiento en la nube de la afinación y la inferencia en el edge reduce el coste operativo total al disminuir el tiempo requerido y los costes de movimiento de datos asociados a cualquier tarea de inferencia (véase la figura 3).

Para demostrar esta propuesta de valor de principio a fin, se ajustó y se implementó un modelo fundacional ejemplar basado en transformadores de visión para infraestructura civil (preentrenado usando conjuntos de datos públicos y personalizados específicos de sectores) y se implementó para inferencia en un clúster de tres nodos en el edge. La pila de software incluía Red Hat OpenShift Container Platform y Red Hat OpenShift Data Science. Este clúster edge también estaba conectado a una instancia de Red Hat Advanced Cluster Management for Kubernetes (RHACM) que se ejecutaba en la nube.

El aprovisionamiento basado en políticas y sin intervención se realizó con Red Hat Advanced Cluster Management for Kubernetes (RHACM) mediante políticas y etiquetas de colocación, que vinculan clústeres edge específicos a un conjunto de componentes y configuraciones de software. Estos componentes de software, que se extienden por toda la pila y abarcan la computación, el almacenamiento, la red y la carga de trabajo de IA, se instalaron utilizando varios operadores de OpenShift, el aprovisionamiento de los servicios de aplicaciones necesarios y S3 Bucket (almacenamiento).

El modelo fundacional (FM) preentrenado para la infraestructura civil se ajustó con precisión mediante un Jupyter Notebook dentro de Red Hat OpenShift Data Science (RHODS) que utilizó datos etiquetados para clasificar seis tipos de defectos encontrados en los puentes de concreto. También se demostró la capacidad de inferencia de este MF afinado utilizando un servidor Triton. Además, la monitorización del estado de este sistema edge fue posible gracias a la agregación de métricas de observabilidad desde los componentes de hardware y software vía Prometheus hasta el panel de control RHACM en la nube. Las empresas de infraestructura civil pueden implementar estos FM en sus edge y utilizar imágenes de drones para detectar defectos casi en tiempo real, acelerando el tiempo hasta el conocimiento y reduciendo el coste de mover grandes volúmenes de datos en alta definición hacia y desde la nube.

La combinación de las capacidades de IBM watsonx para modelos fundacionales (FM) con un dispositivo edge-in-a-box permite a las empresas ejecutar cargas de trabajo de IA para el ajuste e inferencia de FM en el edge operativo. Este dispositivo puede gestionar casos de uso complejos desde el primer momento y crea el marco centralizado para la gestión centralizada, la automatización y el autoservicio. Las implementaciones de FM en el edge pueden reducirse de semanas a horas con un éxito repetible, mayor resiliencia y seguridad.

Asegúrese de consultar todas las entregas de esta serie de entradas de blog sobre edge computing:

• Parte 1: "Nube en el edge"
• Parte 2: "Arquitectura en el edge"
• Parte 3: "DevOps en el edge"
• Parte 4: "Seguridad en el edge"
• Parte 5: "5G en el edge"
• Parte 6: "Clústeres en el edge"
• Parte 7: "Automatización en el edge"
• Parte 8: "Corte de red en el edge"
• Parte 9: "Datos en el edge"
• Parte 10: "Decisiones arquitectónicas en el edge"
• Parte 11: "GitOps en el edge"
• Parte 12: "Servicios de almacenamiento en el edge"
• Parte 13: "Servicios cloud en el edge"
• Parte 14: "Soberanía de los datos en el edge"
• Parte 15: "Productos conectados en el edge"
• Parte 16: "Modelos fundacionales en el edge"