Las capacidades de la empresa, esenciales para lograr los objetivos estratégicos y los requisitos operativos, se describen en el modelo de capacidades de la arquitectura de IA generativa. Incluye seis categorías principales, que muestran las capacidades únicas y de apoyo necesarias para una aplicación eficaz de la IA generativa, con documentación exhaustiva disponible en otras arquitecturas.
- Las operaciones de IA generativa son las capacidades necesarias para gestionar, implementar y personalizar los modelos de IA generativa para su uso en una empresa. En esta categoría se incluyen capacidades para entrenar y ajustar modelos, gestionar el ciclo de vida de los modelos una vez implementados y para gestionar modelos y conjuntos de datos disponibles para los usuarios dentro de la empresa.
- El desarrollo de aplicaciones de IA generativa son las capacidades necesarias para ajustar los modelos fundacionales generales para su uso en soluciones empresariales y específicas del dominio, y para desarrollar aplicaciones de IA generativas con todas las características. Esto incluye capacidades necesarias para crear e implementar aplicaciones de IA agéntica, así como para probar y ajustar instrucciones.
- El gobierno de la IA generativa es un conjunto de capacidades necesarias para monitorizar y gestionar de forma eficaz los modelos implementados en producción. Estas incluyen capacidades para monitorizar respuestas precisas y adecuadas de los modelos en continua, capacidades para proteger los modelos de entradas inapropiadas y/o maliciosas, y capacidades de gobierno para gestionar riesgos empresariales y ayudar tanto con el cumplimiento normativo como con los requisitos de elaboración de informes.
- La gestión de seguridad de IA generativa se centra en las capacidades necesarias para proteger los sistemas de IA y garantizar su implementación ética y responsable. Esto implica asegurar toda la pila de IA, protegiendo tanto los modelos y su uso, como los datos de los que dependen.
Los restantes grupos de capacidades son capacidades de apoyo para la IA generativa. Las capacidades no son exclusivas de la IA generativa, pero deben estar presentes para apoyarla como capacidad empresarial. Estos grupos son:
La gestión de datos es un grupo de capacidades para almacenar, gestionar y transformar datos en formas que los hagan adecuados para el ajuste y el entrenamiento de modelos de IA generativa. También se incluyen en esta categoría las capacidades para registrar y calificar las respuestas del modelo con fines de auditoría, y como entrada para un mayor ajuste y refinamiento del modelo.
Las capacidades de apoyo constituyen un amplio conjunto de capacidades de aplicaciones, integración y operaciones de TI necesarias para implementar y gestionar con éxito soluciones de IA generativa en una empresa.
Los recursos de IA generativa recopilan las capacidades de hardware y plataformas necesarias para desarrollar, ajustar, implementar y gestionar de forma eficiente y eficaz modelos y soluciones de IA generativa.
Cada categoría de capacidad se compone de uno o más grupos de capacidad. En esta sección se destacan los grupos y las capacidades clave para la IA generativa.
El grupo de capacidades Model Hub encapsula las capacidades necesarias para gestionar modelos importados, así como modelos ajustados o entrenados por la empresa. Estas capacidades permiten a las empresas gestionar los modelos y conjuntos de datos disponibles para su uso dentro de la empresa, y limitar el acceso a modelos y conjuntos de datos a usuarios o grupos específicos dentro de la empresa. La importación de modelos y la importación de datos son capacidades clave para que las empresas puedan controlar la entrada de modelos procedentes del creciente número de repositorios públicos de modelos, como Hugging Face.
Model Hosting Model Hosting ofrece capacidades para implementar modelos generales y ajustados como servicios habilitados para API dentro de una empresa, optimizando la utilización de recursos, permitiendo el refinamiento y el reemplazo independientes y simplificando el gobierno. La clave para ello es la gestión de políticas de acceso al modelo, que garantiza que el acceso al modelo esté restringido a usuarios y grupos autorizados, evitando el uso no autorizado.
La personalización de modelos es un grupo de capacidades que permiten a una empresa ajustar y entrenar modelos de IA generativa para necesidades empresariales específicas. Normalmente, esta capacidad se realizará utilizando una plataforma en la nube, ya que el modelo de pago por uso de la nube se adapta bien a la naturaleza "ráfaga" de las demandas de recursos de ajuste y formación.
El gobierno de modelos y datos es un conjunto crítico de capacidades para que una empresa utilice los modelos de IA generativa a gran escala. Más concretamente, estas capacidades proporcionan a las empresas las perspectivas necesarias para monitorizar y gestionar los riesgos del modelo, como la introducción de sesgos en las respuestas del modelo, y para ayudar a dar dirección a los requisitos regulatorios y de cumplimiento para la transparencia y la equidad del modelo.
La monitorización de modelos es el análogo operativo del gobierno de modelos; mientras que el gobierno de modelos se ocupa de la gestión de modelos y riesgos a largo plazo, las capacidades de monitorización de modelos permiten a las empresas monitorizar y gestionar las operaciones de los modelos en tiempo real. La monitorización de modelos se compone de varias capacidades clave, que incluyen:
- La detección de sesgos es la capacidad de detectar y señalar cuándo las respuestas de un modelo se desvían de las respuestas establecidas/ideales y comienzan a favorecer un conjunto de resultados sobre otro.
- La detección de odio, abuso y blasfemias (HAP) es la capacidad de detectar y filtrar el odio, el abuso y las blasfemias tanto en las instrucciones enviadas por los usuarios como en las respuestas generadas por el modelo. Estas se consideran capacidades "básicas". Las empresas suelen optar por ampliar la lista de temas filtrados para incluir aquellos que no son adecuados para el negocio (por ejemplo, temas de carácter sexual en una oficina de préstamos) o para adaptarse a las normas sociales del público objetivo.
- La monitorización y seguridad inmediatas son una capacidad emergente necesaria para proteger los modelos implementados contra ataques, como la inyección inmediata, diseñados para corromper el modelo o eludir los controles del modelo establecidos por la empresa.
La gestión del cumplimiento de la iA generativa es una categoría de capacidades que tiene como objetivo habilitar los controles necesarios para “asegurar el uso” de la IA a través de la pila de aplicaciones y “asegurar las aplicaciones” en sí, así como cumplir con las normas y directrices éticas para garantizar que los sistemas de IA respetan los valores y derechos humanos.
- Cumplimiento de las aplicaciones de IA. La capacidad de garantizar que las "aplicaciones" de IA cumplan con las directrices, normativas y estándares establecidos. Proporcionar capacidades que permitan controles tales como: gestión del estado y cumplimiento normativo de las aplicaciones de IA, y realización de pruebas de fiabilidad de los sistemas de IA.
- El cumplimiento de los modelos de IA es la capacidad de permitir la gestión y el cumplimiento de los modelos de IA con las directrices, normativas y estándares establecidos. Permite realizar controles clave, como el seguimiento de la desviación del modelo, la gestión de la postura del modelo y el cumplimiento normativo,
- y la gestión de aspectos legales y de cumplimiento normativo. Garantizar que una organización se mantenga al día del panorama normativo (vigilancia normativa) y cumpla con los requisitos legales, las normas y los estándares que rigen el desarrollo, la implementación, la monitorización y el uso de la IA (por ejemplo, cumplimiento continuo y vigilancia normativa).
Gestión de la seguridad de aplicaciones de IA. Esta categoría de capacidades tiene como objetivo habilitar los controles necesarios para “asegurar el uso” de la IA a través de la pila de aplicaciones y “asegurar las aplicaciones” en sí, así como cumplir con las normas y directrices éticas para garantizar que los sistemas de IA respetan los valores y derechos humanos.
- La gestión de amenazas y la protección de las aplicaciones de IA consisten en identificar, evaluar y mitigar los posibles riesgos y vulnerabilidades que podrían afectar a la seguridad, la funcionalidad o la fiabilidad de una aplicación de IA, así como garantizar su capacidad para adaptarse, recuperarse y seguir funcionando de manera eficaz ante acontecimientos inesperados, fallos o interrupciones. También se trata de garantizar la solidez, la seguridad y la fiabilidad de los sistemas de IA durante todo su ciclo de vida.
- La seguridad de la interacción con las aplicaciones de IA comprende los mecanismos para garantizar que las interacciones entre los sistemas de IA y sus usuarios, otros sistemas y el entorno se produzcan de forma segura. (p. ej. manipulación de entradas, restricción de consultas excesivas, prevención de resultados perjudiciales)
- Seguridad de las aplicaciones de IA. La capacidad y las prácticas para garantizar el funcionamiento seguro y fiable de los sistemas de IA. Incluye estrategias para prevenir consecuencias no deseadas, errores y daños causados por aplicaciones de IA (por ejemplo, Documentar esfuerzo de IA fiable, evaluación de equidad).
Gestión de la seguridad de los modelos de IA. Esta categoría de capacidades consiste en habilitar los controles necesarios para "proteger el modelo", así como en el uso de modelos. Implementar buenas prácticas para el entrenamiento, validación y evaluación de modelos para mejorar el rendimiento y la fiabilidad.
- La seguridad de las instrucciones es la capacidad de garantizar que las instrucciones proporcionadas a los modelos de IA no sean maliciosas y estén en consonancia con el comportamiento previsto del modelo, así como en protegerlo contra el acceso no autorizado, la manipulación o los ataques. También es importante verificar que las instrucciones sean seguras y estén protegidas en términos de contenido que puedan revelar inadvertidamente, como información de identificación personal (PII) (por ejemplo, protección contra inyección de instrucciones, prevención de ataques de inferencia/minimización de la respuesta a consultas, prevención de resultados tóxicos)
- La detección de amenazas con modelos de IA es la capacidad de identificar y mitigar los posibles riesgos o vulnerabilidades que podrían comprometer la integridad, la seguridad o el rendimiento de los modelos de IA y la interacción con esos modelos (p. ej., pruebas de seguridad de modelos, mitigación de vulnerabilidades de modelos)
- Gestión de acceso a modelos de IA. Restringir el acceso a modelos de IA generativa, parámetros de modelos, datos de entrenamiento y API para evitar posibles abusos y vectores de ataque. Esta capacidad establece controles de acceso en torno a los modelos que se exponen para uso empresarial, incluso para aplicaciones de IA; asegura los registros de modelos internos y limita el acceso interno a los modelos de producción. Estos controles de acceso deben incluir políticas contextuales que tengan en cuenta quién, qué, cuándo y desde dónde.
Gestión de la seguridad de datos de IA. Esta categoría de capacidades permite implementar controles para "proteger la capa de datos". El objetivo es establecer directrices claras para la recopilación, el almacenamiento y el uso de los datos con el fin de garantizar su calidad y mitigar los sesgos. Aunque la seguridad de los datos no es exclusiva de la IA generativa, nos centraremos únicamente en aquellos ámbitos en los que la IA generativa requiere una atención especial en lo que respecta a los datos.
- La privacidad y confidencialidad de los datos es la capacidad de salvaguardar la información confidencial, garantizando que se maneje adecuadamente y permanezca privada y accesible solo para los sistemas y usuarios autorizados (por ejemplo, protección de la privacidad, seguridad de datos confidenciales, confidencialidad de datos)
La IA agéntica es un grupo de capacidades necesarias para crear e implementar aplicaciones de IA agéntica. Entre ellas se incluyen capacidades básicas como el enrutamiento y la orquestación, y la gestión de herramientas y la llamada a herramientas.
La personalización de la IA generativa es un grupo de capacidades necesarias para "personalizar" un modelo generativo general a las necesidades de la empresa. Los modelos se entrenan sobre una amplia base de conocimientos y carecerán de conocimientos de la jerga y los procesos específicos del sector. Así, la mayoría de las empresas necesitarán hacer uso de capacidades como el prompt engineering, el prompt tuning y el model fine-tuning para crear un modelo que comprenda los términos y procesos del negocio de la empresa.
Las capacidades de aplicación IA generativa permiten a las empresas desarrollar aplicaciones avanzadas de IA generativa. Las capacidades incluyen la capacidad de generar dinámicamente funciones para responder a las consultas de los usuarios; la memoria conversacional, que permite a las aplicaciones de IA generativa retener y hacer referencia a interacciones anteriores de forma conversacional; y el enrutamiento de modelos, que permite a las aplicaciones enrutar dinámicamente las consultas al modelo más adecuado para responder.