¿Qué es una pila de IA?

De manera similar a las pilas de tecnología (o pilas tecnológicas) en el desarrollo de software, una pila de IA organiza los elementos en capas que trabajan juntas para permitir implementaciones de IA eficientes y escalables. Este enfoque por capas desglosa el complejo proceso de creación de soluciones de IA en componentes manejables, lo que permite a los equipos centrarse en aspectos individuales sin perder de vista el panorama general.

Cada capa en la pila representa una función específica, desde el manejo de datos hasta el despliegue de modelos, lo que facilita la identificación de dependencias, la asignación de recursos y la resolución de dificultades de manera sistemática. Esta vista modular mejora la claridad, especialmente cuando se trabaja en equipos multidisciplinarios, ya que crea una comprensión compartida de cómo interactúan los diversos componentes.

Las diferentes aplicaciones de IA tocarán varias capas de la pila de IA. Por ejemplo, Red Hat OpenShift es una plataforma empresarial de Kubernetes diseñada para gestionar aplicaciones en contenedores a escala que se utiliza en prácticamente todas las capas de la pila de IA.

Diversos colaboradores en el espacio de la IA organizan la pila de IA de manera diferente, organizando los componentes en un orden distinto o enfatizando diferentes componentes o funciones. Esto se debe a que las perspectivas respecto de la IA pueden variar, tanto a nivel de caso de uso como a nivel organizacional. Además, el escenario del desarrollo de la IA está en constante evolución.

A continuación, se muestra una versión generalizada de una pila de IA empresarial. Puede obtener más información sobre la perspectiva de IBM respecto de la inteligencia artificial generativa y los modelos de lenguaje extensos (LLM) (piense en GPT de OpenAI) revisando la pila tecnológica de IA generativa de IBM.

La capa de infraestructura de IA forma la base sobre la que se construyen y despliegan los sistemas de IA. Proporciona la potencia computacional, el almacenamiento físico y las herramientas necesarias para desarrollar, entrenar y operar modelos de IA de manera eficaz. Esta capa sustenta todo el ciclo de vida de la IA, desde la experimentación inicial hasta el despliegue a gran escala, y está formada por diferentes componentes clave.

Es necesario contar con hardware físico para procesar los datos. Los chips se pueden optimizar para cargas de trabajo de IA: las unidades de procesamiento de alto rendimiento llamadas aceleradores de IA—GPU, CPU y TPU— reducen drásticamente el tiempo de entrenamiento de los modelos complejos. Además, la computación distribuida permite el desarrollo de sistemas de vanguardia que requieren un uso intensivo de recursos, como los modelos de lenguaje extensos.

Las plataformas de servicios en la nube (por ejemplo: AWS, Microsoft Azure, Google Cloud e IBM Cloud) brindan la flexibilidad de ampliar o disminuir la escala de los recursos, haciéndolas accesibles para empresas de todos los tamaños, mientras que la computación edge facilita la toma de decisiones en tiempo real en entornos remotos o entornos de bajo ancho de banda. La capa de computación se integra estrechamente con las herramientas de orquestación, optimizando así la asignación de recursos y ayudando a garantizar la rentabilidad.

Los sistemas de almacenamiento físico deben manejar grandes cantidades de datos empleados a lo largo del ciclo de vida de la IA, desde conjuntos de datos sin procesar hasta pesos y registros de los modelos. Las soluciones de almacenamiento de alto rendimiento permiten un acceso rápido a los datos, lo que resulta esencial para tareas de alta carga computacional, como el entrenamiento de modelos de aprendizaje profundo.

La escalabilidad es otra característica clave, con sistemas de archivos distribuidos, como HDFS o de almacenamiento de objetos (Amazon S3) que admiten las crecientes demandas de datos. Estos sistemas a menudo emplean estrategias de almacenamiento por niveles, manteniendo los datos a los que se accede con frecuencia en medios de alta velocidad mientras archivan los datos menos utilizados en soluciones más lentas y rentables.

Los robustos mecanismos de copia de seguridad y recuperación fomentan aún más la resiliencia de los datos, combinando opciones de almacenamiento local y en la nube para proteger contra fallos.

La IA a menudo implica mover muchos datos de un lugar a otro con una latencia mínima. La creación de redes complementa el almacenamiento al conectar los diversos componentes de la infraestructura, lo que permite una transferencia de datos fluida y una colaboración armoniosa.

Se trata de otra parte fundamental de la pila de IA que se centra en recopilar, almacenar y preparar datos para los modelos de IA. Incluye bases de datos, lagos de datos y almacenes de datos. Los científicos de datos emplean diversas herramientas para la ingesta de datos, así como para la limpieza y preprocesamiento de estos, que también forman parte de esta capa de gestión de datos.

Los datos de alta calidad y bien preparados permiten que los modelos aprendan de manera efectiva, lo que conduce a mejores predicciones y decisiones. Por el contrario, los datos de mala calidad o con sesgo pueden comprometer la precisión y la imparcialidad de los modelos de IA, lo que se traduce en resultados subóptimos. Al invertir en una capa de datos sólida, las organizaciones preparan el escenario para implementaciones satisfactorias de IA.

Los datos pueden provenir de varias fuentes, como bases de datos estructuradas, archivos de texto no estructurados, imágenes, dispositivos IoT, interfaces de programación de aplicaciones (API) o interacciones con usuarios. La infraestructura de almacenamiento debe ser capaz de manejar grandes volúmenes de datos diversos y, al mismo tiempo, mantener la confiabilidad y la accesibilidad.

Las tecnologías incluyen bases de datos relacionales (por ejemplo: MySQL y PostgreSQL), bases de datos NoSQL (por ejemplo: MongoDB y Cassandra) y lagos de datos (por ejemplo: Hadoop) para manejar datos estructurados y no estructurados.

La ingesta implica importar datos de diversas fuentes a sistemas de almacenamiento. Herramientas como Apache Kafka automatizan y gestionan los pipelines de ingesta de datos, lo que ayuda a garantizar que los datos fluyan sin problemas en el sistema.

Los datos sin procesar suelen requerir limpieza, normalización y transformación antes de poder utilizarse en modelos de IA. Esto implica eliminar duplicados, llenar valores faltantes, normalizar formatos y codificar variables categóricas.

El lenguaje de programación Python cuenta con bibliotecas gratuitas para este propósito, y otros, como Pandas, NumPy o herramientas como Apache Spark, también se utilizan comúnmente para el preprocesamiento.

En el caso del aprendizaje supervisado, a menudo es necesario etiquetar los datos para que el modelo aprenda. Esto supone etiquetar imágenes, categorizar texto o marcar características relevantes. Plataformas como Labelbox, Amazon SageMaker Ground Truth y herramientas de código abierto, como LabelImg, facilitan los flujos de trabajo de anotaciones.

El almacenamiento de datos y el procesamiento de datos deben cumplir con las leyes de privacidad (por ejemplo: RGPD y CCPA). A menudo se emplean técnicas de cifrado, control de acceso y anonimización para proteger los datos confidenciales.

Aquí es donde se realiza el diseño, el entrenamiento y el ajuste fino de los modelos de IA para resolver problemas específicos, determinando las funciones centrales y la inteligencia de un sistema de IA. Se desarrolla a partir de la capa de datos utilizando datos procesados y depurados para entrenar algoritmos capaces de aprender patrones, hacer predicciones o generar salidas.

Esta capa también establece un bucle de feedback con la capa de datos, lo que permite el reentrenamiento y la mejora a medida que se dispone de nuevos datos. Esta capa es fundamental para el ciclo de vida de la IA, ya que define el rendimiento del sistema en aplicaciones del mundo real.

Los marcos de aprendizaje automático (ML) y aprendizaje profundo simplifican la creación y el entrenamiento de modelos. Las herramientas populares incluyen TensorFlow, PyTorch, Scikit-learn, Keras y XGBoost, cada una adecuada para diferentes tipos de tareas de IA, como visión artificial, procesamiento de lenguaje natural (PLN) o análisis de datos tabulares.

Elegir el algoritmo de aprendizaje automático adecuado es fundamental para lograr un rendimiento óptimo. Los algoritmos van desde la regresión lineal y los árboles de decisión para tareas simples hasta arquitecturas complejas, como redes neuronales y transformadores. La selección depende de factores que incluyen el tipo de datos, el dominio del problema y las restricciones computacionales.

El entrenamiento implica introducir datos etiquetados en el modelo para que este pueda aprender patrones y relaciones. Este paso requiere importantes recursos computacionales para modelos complejos. El proceso de entrenamiento supone establecer hiperparámetros (por ejemplo: tasa de aprendizaje y tamaño de lote) y optimizar iterativamente el modelo mediante técnicas como el descenso de gradiente.

La ingeniería de características transforma los datos sin procesar en entradas significativas para el modelo. Este paso puede incluir el escalado, la codificación, la reducción de la dimensionalidad o la creación de nuevas características derivadas.

El uso de modelos preentrenados, como BERT y ResNet, puede reducir considerablemente el tiempo de desarrollo y los costos computacionales. El aprendizaje por transferencia adapta estos modelos a nuevas tareas con un entrenamiento adicional mínimo.

Una vez desarrollados los modelos, a menudo necesitan optimizarse y someterse a un ajuste fino antes de su despliegue. Esto podría incluir ajuste de hiperparámetros, compresión de los modelos y validación de los modelos.

Antes del despliegue, los modelos se evalúan utilizando conjuntos de datos de validación y prueba separados para medir las métricas de rendimiento, incluida la exactitud, la precisión, el recall y la puntuación F1. Este paso ayuda a garantizar que el modelo se generalice bien y funcione de forma fiable con datos no vistos (datos nuevos para el modelo que no formaron parte del entrenamiento).

La capa de despliegue de modelos es donde los modelos de ML cambian del desarrollo al uso práctico, ofreciendo predicciones o inferencias en entornos reales.

El despliegue implica empaquetar los modelos en formatos que se puedan desplegar, a menudo utilizando tecnologías de contenerización, lo que promueve la coherencia y la portabilidad en diferentes entornos. Posteriormente, estos contenedores se gestionan y escalan mediante plataformas de orquestación, lo que permite el equilibrio de la carga, la tolerancia a los fallos y la alta disponibilidad.

Los modelos desplegados generalmente se exponen a través de API o microservicios que utilizan infraestructuras, como TensorFlow Serving, NVIDIA Triton o soluciones personalizadas, lo que permite una integración perfecta con sistemas empresariales, aplicaciones móviles o plataformas web.

La capa de aplicación es donde los modelos de IA se integran en los sistemas del mundo real para ofrecer insights aplicables en la práctica e impulsar la toma de decisiones, lo que la convierte en la parte de la pila de IA más orientada al usuario. Esta capa integra las capacidades de IA en aplicaciones de software, productos y servicios.

En esta etapa, los modelos de IA pasan a formar parte de la lógica empresarial, automatizando tareas, mejorando flujos de trabajo o potenciando características inteligentes, tales como sistemas de recomendación, análisis predictivos, procesamiento de lenguaje natural o visión artificial. Generalmente, a estas capacidades se accede a través de API o están integradas en microservicios, lo que fomenta una interacción fluida con otros componentes del ecosistema de aplicaciones.

Un enfoque clave de la capa de aplicación es la usabilidad. La funcionalidad de la IA a menudo está envuelta con interfaces de usuario (IU) intuitivas que utilizan visualizaciones y otras presentaciones para comunicar información de manera clara e interpretable, permitiendo a los usuarios comprender y actuar sobre insights impulsados por IA.

Por ejemplo, una IA de detección de fraudes podría marcar transacciones sospechosas dentro de una plataforma financiera y generar una notificación a través de la automatización, mientras que un chatbot mejora la experiencia del usuario al interactuar con los usuarios en tiempo real.

La capa de observabilidad facilita el monitoreo, el seguimiento y la evaluación de los flujos de trabajo de IA. Proporciona la visibilidad y los insights necesarios para comprender cómo funcionan los modelos de IA en entornos del mundo real, lo que permite a los equipos identificar y resolver problemas rápidamente, mantener en buen estado los sistemas y mejorar el rendimiento a lo largo del tiempo.

En el núcleo de la capa de observabilidad se encuentran herramientas e infraestructuras que dan seguimiento a diversas métricas relacionadas tanto con los modelos de IA como con la infraestructura en la que se ejecutan.

La capa de gobernanza es el marco global que ayuda a garantizar que los sistemas de IA se desplieguen, utilicen y mantengan de manera responsable, ética y en consonancia con los estándares organizacionales y sociales.

Esta capa es crucial para gestionar los riesgos, promover la transparencia y generar confianza en las tecnologías de IA. Abarca políticas y procesos para supervisar el ciclo de vida de los modelos de IA con regulaciones legales, principios éticos y objetivos organizacionales.

Una función principal de la capa de gobernanza es establecer políticas de recopilación y uso de datos junto con marcos de conformidad para cumplir con regulaciones como el Reglamento General de Protección de Datos (RGPD), la Ley de Portabilidad y Responsabilidad del Seguro Médico (HIPAA) o pautas específicas respecto de la IA, incluida la Ley de IA de la Unión Europea.. Estos marcos definen cómo se recopilan, almacenan y utilizan los datos, fomentando así la privacidad y la seguridad.

Además, la gobernanza incluye la creación de mecanismos de auditabilidad y trazabilidad, lo que permite a las organizaciones registrar y rastrear las decisiones de IA, los cambios en los modelos y el uso de datos, lo cual es crítico para la rendición de cuentas, así como para resolver disputas o errores.

La capa de gobernanza también aborda cuestiones de equidad, sesgo y explicabilidad en los sistemas de IA. Supone la implementación de herramientas y técnicas para detectar y mitigar los sesgos en los datos de entrenamiento o en las salidas de los modelos, ayudando así a fomentar que los sistemas de IA funcionen de forma equitativa en poblaciones diversas.

Al considerar la IA como una pila se promueve la escalabilidad, la flexibilidad y la eficiencia. Los equipos pueden trabajar en la actualización de capas específicas para beneficiarse de los últimos avances sin revisar todo el sistema, lo que permite mejoras y adaptaciones iterativas a medida que evolucionan las tecnologías y las necesidades empresariales.

Por ejemplo, puede cambiar de un proveedor de nube a otro en la capa de infraestructura  o bien, adoptar un nuevo marco de aprendizaje automático en la capa de desarrollo de modelos sin perturbar la aplicación.

Esta perspectiva por capas también facilita la evaluación comparativa y el monitoreo de cada etapa del ciclo de vida de la IA, lo que ayuda a garantizar que el rendimiento, la conformidad y la fiabilidad se mantengan en cada paso. El método de pila simplifica la complejidad de la IA, haciéndola más accesible y aplicable en la práctica para organizaciones de todos los tamaños.