¿Qué es una pila de IA?

De manera similar a las pilas de tecnología (o pilas tecnológicas) en el desarrollo de software, una pila de IA organiza los elementos en capas que trabajan juntas para permitir implementaciones de IA eficientes y escalables. Este enfoque por capas desglosa el complejo proceso de creación de soluciones de IA en componentes manejables, lo que permite a los equipos centrarse en aspectos individuales sin perder de vista el panorama general.

Cada capa en la pila representa una función específica, desde la gestión de datos hasta la implementación, lo que facilita la identificación de dependencias, la asignación de recursos y la dirección de desafíos de manera sistemática. Esta vista modular mejora la claridad, especialmente cuando se trabaja en equipos multidisciplinarios, ya que crea una comprensión compartida de cómo interactúan los diversos componentes.

Las diferentes aplicaciones de IA tocarán múltiples capas en la pila de IA. Por ejemplo, Red Hat OpenShift es una plataforma Kubernetes empresarial diseñada para gestionar aplicaciones en contenedores a escala que se utiliza en prácticamente todas las capas de la pila de IA.

Varios actores en el espacio de la IA organizan la pila de IA de manera diferente, organizando los componentes en un orden diferente o enfatizando diferentes componentes o funciones. Esto se debe a que los enfoques de la IA pueden variar, tanto a nivel de caso de uso como a nivel organizativo. Además, el panorama del desarrollo de la IA está en constante evolución.

A continuación, se muestra una versión generalizada de una pila de IA empresarial. Puede obtener más información sobre el enfoque de IBM en relación a la inteligencia artificial generativa (IA gen) y los modelos de lenguaje de gran tamaño (LLM) (piense en el GPT de OpenAI ) revisando la pila tecnológica de IA generativa de IBM.

La capa de infraestructura de IA forma la base sobre la que se construyen e implementan los sistemas de IA. Proporciona la potencia computacional, el almacenamiento físico y las herramientas necesarias para desarrollar, entrenar y operar modelos de IA de manera efectiva. Esta capa es compatible con todo el ciclo de vida de la IA, desde la experimentación inicial hasta la implementación a gran escala, y se compone de algunos componentes clave diferentes.

Computación

Se necesita hardware físico para procesar los datos. Los chips se pueden optimizar para cargas de trabajo de IA: las unidades de procesamiento de alto rendimiento llamadas aceleradores de IA (GPU, CPU y TPU) reducen drásticamente el tiempo de entrenamiento para modelos complejos. Además, la computación distribuida permite el desarrollo de sistemas de vanguardia que consumen muchos recursos, como modelos de lenguaje de gran tamaño.

Las plataformas de servicios en la nube (por ejemplo: AWS, Microsoft Azure, Google Cloud e IBM Cloud) ofrecen la flexibilidad de ampliar o reducir los recursos, lo que las hace accesibles para empresas de todos los tamaños, mientras que la computación edge permite tomar decisiones en tiempo real en entornos remotos o con poco ancho de banda. La capa informática se integra estrechamente con las herramientas de orquestación, optimizando la asignación de recursos y ayudando a garantizar la rentabilidad.

Almacenamiento

Los sistemas de almacenamiento físico deben gestionar grandes cantidades de datos utilizados a lo largo del ciclo de vida de la IA, desde conjuntos de datos sin procesar hasta ponderaciones y registros de modelos. Las soluciones de almacenamiento de alto rendimiento permiten un acceso rápido a los datos, lo cual es esencial para tareas computacionalmente intensivas, como el entrenamiento de modelos de deep learning.

La escalabilidad es otra característica clave, con sistemas de archivos distribuidos como HDFS o sistemas de almacenamiento de objetos (Amazon S3) que soportan las crecientes demandas de datos. Estos sistemas suelen emplear estrategias de almacenamiento por niveles, manteniendo los datos a los que se accede con frecuencia en soportes de alta velocidad, mientras que archivan los datos menos utilizados en soluciones más lentas y rentables.

Los mecanismos de copia de seguridad y recuperación robustos fomentan aún más la resiliencia de los datos, combinando opciones locales y almacenamiento en la nube para protegerse de los fallos.

Networking

La IA a menudo implica mover muchos datos de un lugar a otro con una latencia mínima. Las redes complementan el almacenamiento conectando los distintos componentes de la infraestructura, lo que permite una transferencia de datos y una colaboración fluidas.

Esta es otra parte fundamental de la pila de IA, que se centra en la recopilación, el almacenamiento y la preparación de datos para los modelos de IA. Incluye bases de datos, data lakes y almacenes de datos. Los científicos de datos utilizan diversas herramientas para la ingesta, la limpieza y el preprocesamiento de datos, que también forman parte de esta capa de gestión de datos .

Los datos de alta calidad y bien preparados permiten que los modelos aprendan de manera efectiva, lo que da lugar a mejores predicciones y toma de decisiones. Por el contrario, los datos de mala calidad o sesgados pueden comprometer la precisión y la imparcialidad de los modelos de IA, lo que se traduce en resultados subóptimos. Al invertir en una capa de datos sólida, las organizaciones preparan el escenario para implementaciones exitosas de IA.

Ingesta y almacenamiento de datos

Los datos pueden ingerirse de diversas fuentes, como bases de datos estructuradas, archivos de texto no estructurados, imágenes, dispositivos IoT, interfaces de programación de aplicaciones (API) o interacciones de usuario. La infraestructura de almacenamiento debe ser capaz de gestionar grandes volúmenes de datos diversos manteniendo la fiabilidad y la accesibilidad.

Las tecnologías incluyen bases de datos relacionales (por ejemplo: MySQL y PostgreSQL), bases de datos NoSQL (por ejemplo: MongoDB y Cassandra) y data lakes (por ejemplo: Hadoop) para gestionar datos estructurados y no estructurados.

La ingesta implica importar datos de varias fuentes a sistemas de almacenamiento. Herramientas como Apache Kafka automatizan y gestionan las canalizaciones de ingesta de datos, lo que ayuda a garantizar que los datos fluyan sin problemas en el sistema.

Preprocesamiento de datos

Los datos sin procesar suelen requerir limpieza, normalización y transformación antes de poder ser utilizados en modelos de IA. Esto implica eliminar duplicados, rellenar valores que faltan, normalizar formatos y codificar variables categóricas.

El lenguaje de programación Python cuenta con bibliotecas gratuitas para este fin, y otros, como Pandas, NumPy o herramientas como Apache Spark también se utilizan habitualmente para el preprocesamiento.

Anotación y etiquetado de datos

En el aprendizaje supervisado, a menudo es necesario etiquetar los datos para que el modelo aprenda. Esto implica etiquetar imágenes, categorizar textos o marcar características relevantes. Plataformas como Labelbox, Amazon SageMaker Ground Truth y herramientas de código abierto como LabelImg facilitan los flujos de trabajo de anotación.

Seguridad y cumplimiento de datos

El almacenamiento y el procesamiento de datos deben cumplir con las leyes de privacidad (por ejemplo: RGPD y CCPA). Las técnicas de cifrado, control de acceso y anonimización se emplean a menudo para proteger los datos confidenciales.

Aquí es donde los modelos de IA se diseñan, entrenan y afinan para resolver problemas específicos, determinando las funciones básicas y la inteligencia de un sistema de IA. Se basa en la capa de datos utilizando datos procesados y depurados para entrenar algoritmos capaces de aprender patrones, hacer predicciones o generar resultados.

Esta capa también establece un ciclo de feedback con la capa de datos, lo que permite el reentrenamiento y la mejora a medida que se dispone de nuevos datos. Esta capa es fundamental para el ciclo de vida de la IA, ya que define el rendimiento del sistema en aplicaciones del mundo real.

Marcos y bibliotecas de IA

Los marcos de machine learning (ML) y deep learning simplifican la creación y el entrenamiento de modelos. Entre las herramientas populares se incluyen TensorFlow, PyTorch, Scikit-learn, Keras y XGBoost, cada una adecuada para diferentes tipos de tareas de IA, como visión artificial, procesamiento del lenguaje natural (PLN) o análisis de datos tabulares.

Selección de algoritmos

Elegir el algoritmo de machine learning adecuado es clave para lograr un rendimiento óptimo. Los algoritmos van desde la regresión lineal y los árboles de decisión para tareas sencillas hasta arquitecturas complejas como redes neuronales y transformadores. La selección depende de factores como el tipo de datos, el dominio del problema y las limitaciones computacionales.

Entrenamiento de modelos

El entrenamiento implica introducir datos etiquetados en el modelo para que pueda aprender patrones y relaciones. Este paso requiere importantes recursos computacionales para modelos complejos. El proceso de entrenamiento implica establecer hiperparámetros (por ejemplo: tasa de aprendizaje y tamaño de lote) y optimizar iterativamente el modelo mediante técnicas como el descenso de gradiente.

Ingeniería y ajuste de características

La ingeniería de características transforma los datos sin procesar en entradas significativas para el modelo. Este paso puede incluir el escalado, la codificación, la reducción de la dimensionalidad o la creación de nuevas características derivadas.

Modelos preentrenados y aprendizaje por transferencia

El uso de modelos preentrenados, como BERT y ResNet, puede reducir significativamente el tiempo de desarrollo y los costes computacionales. El aprendizaje por transferencia adapta estos modelos a nuevas tareas con una formación adicional mínima.

Validación y optimización

Una vez desarrollados los modelos, a menudo necesitan optimizarse y afinarse antes de su implementación. Esto podría incluir el ajuste de hiperparámetros, la compresión de modelos y la validación de modelos.

Antes de la implementación, los modelos se evalúan utilizando conjuntos de datos de validación y prueba separados para medir las métricas de rendimiento, incluida la exactitud, la precisión, la recuperación y la puntuación F1. Este paso ayuda a garantizar que el modelo se generalice bien y funcione de forma fiable con datos no vistos.

La capa de implementación de modelos es donde los modelos de machine learning pasan del desarrollo al uso práctico, proporcionando predicciones o inferencias en entornos reales.

La implementación implica empaquetar los modelos en formatos implementables, a menudo utilizando tecnologías de contenerización, lo que promueve la coherencia y la portabilidad en diferentes entornos. A continuación, estos contenedores se gestionan y escalan mediante plataformas de orquestación, lo que permite el equilibrio de carga, la tolerancia a los fallos y la alta disponibilidad.

Los modelos implementados suelen exponerse a través de API o microservicios utilizando marcos como TensorFlow Serving, NVIDIA Triton o soluciones personalizadas, lo que permite una integración perfecta con sistemas empresariales, aplicaciones móviles o plataformas web.

La capa de aplicación es donde los modelos de IA se integran en los sistemas del mundo real para ofrecer conocimientos que se pueden ejecutar y impulsar la toma de decisiones, lo que la convierte en la parte más orientada al usuario de la pila de IA. Esta capa incorpora capacidades de IA en aplicaciones de software, productos y servicios.

En esta etapa, los modelos de IA pasan a formar parte de la lógica empresarial, al automatizar tareas, mejorar los flujos de trabajo o impulsar características inteligentes, como sistemas de recomendación, análisis predictivo, procesamiento del lenguaje natural o visión artificial. Por lo general, se accede a estas capacidades a través de API o se integran en microservicios, lo que fomenta una interacción fluida con otros componentes del ecosistema de aplicaciones.

Un enfoque clave de la capa de aplicación es la usabilidad. La funcionalidad de la IA suele ir acompañada de interfaces de usuario (IU) intuitivas que utilizan visualizaciones y otras presentaciones para comunicar la información de forma clara e interpretable, lo que permite a los usuarios comprender y actuar en función de los conocimientos impulsados por la IA.

Por ejemplo, una IA de detección del fraude podría señalar transacciones sospechosas dentro de una plataforma financiera y generar una notificación a través de la automatización, mientras que una experiencia de usuario de chatbot interactúa con los usuarios en tiempo real.

La capa de observabilidad facilita la supervisión, el seguimiento y la evaluación de los flujos de trabajo de IA. Proporciona la visibilidad y los conocimientos necesarios para entender cómo los modelos de IA funcionan en entornos del mundo real, lo que permite a los equipos identificar y resolver los problemas con rapidez, mantener la salud del sistema y mejorar el rendimiento con el tiempo.

En el núcleo de la capa de observabilidad se encuentran herramientas y marcos que rastrean diversas métricas relacionadas tanto con los modelos de IA como con la infraestructura en la que se ejecutan.

La capa de gobierno es el marco general que ayuda a garantizar que los sistemas de IA se implementan, utilizan y mantienen de forma responsable, ética y en consonancia con las normas organizativas y sociales.

Esta capa es crucial para gestionar los riesgos, promover la transparencia y generar confianza en las tecnologías de IA. Abarca políticas y procesos para supervisar el ciclo de vida de los modelos de IA con regulaciones legales, principios éticos y objetivos organizacionales.

Una función principal de la capa de gobierno es establecer políticas de recopilación y uso de datos junto con marcos de cumplimiento para cumplir con regulaciones como el Reglamento General de Protección de Datos (RGPD), la Ley de Portabilidad y Responsabilidad del Seguro Médico (HIPAA) o las directrices específicas de IA, incluida la Ley de IA de la UE. Estos marcos definen cómo se recopilan, almacenan y utilizan los datos, fomentando la privacidad y la seguridad.

Además, el gobierno incluye la creación de mecanismos de auditabilidad y trazabilidad, lo que permite a las organizaciones registrar y rastrear las decisiones de IA, los cambios de modelo y el uso de datos, lo cual es crítico para la responsabilidad y abordar disputas o errores.

La capa de gobierno también aborda cuestiones de equidad, sesgo y explicabilidad en los sistemas de IA. Implica la aplicación de herramientas y técnicas para detectar y mitigar los sesgos en los datos de entrenamiento o en los resultados de los modelos, ayudando a fomentar que los sistemas de IA funcionen de forma equitativa en poblaciones diversas.

Ver la IA como una pila promueve la escalabilidad, la flexibilidad y la eficiencia. Los equipos pueden trabajar en la actualización de capas específicas para beneficiarse de los últimos avances sin revisar todo el sistema, lo que permite mejoras y adaptaciones iterativas a medida que evolucionan las tecnologías y las necesidades empresariales.

Por ejemplo, puede cambiar de un proveedor de servicios en la nube a otro en la capa de infraestructura o adoptar un nuevo marco de machine learning en la capa de desarrollo de modelos sin interrumpir la aplicación.

Esta perspectiva por capas también facilita la evaluación comparativa y la monitorización de cada etapa del ciclo de vida de la IA, lo que ayuda a garantizar que el rendimiento, el cumplimiento y la fiabilidad se mantengan en cada paso. El enfoque de la pila simplifica la complejidad de la IA, lo que la hace más accesible y práctica para organizaciones de todos los tamaños.