Modelo de capacidad de IA generativa

Las capacidades empresariales, esenciales para alcanzar los objetivos estratégicos y los requisitos operativos, se describen en el modelo de capacidades de la arquitectura de IA generativa. Incluye seis categorías principales, que muestran las capacidades únicas y de apoyo necesarias para una implementación eficaz de la IA generativa, con documentación completa disponible en otras arquitecturas.

• Las operaciones de IA generativa son las capacidades necesarias para administrar, desplegar y personalizar modelos de IA generativa para su uso dentro de una empresa. En esta categoría se incluyen capacidades para entrenar y ajustar modelos, gestionar el ciclo de vida de los modelos una vez desplegados y para gestionar modelos y conjuntos de datos disponibles para los usuarios dentro de la empresa.

• El desarrollo de aplicaciones de IA generativa son las capacidades necesarias para ajustar los modelos fundacionales generales para su uso en soluciones específicas de la empresa y del dominio, y para desarrollar aplicaciones de IA generativa con todas las características. Esto incluye capacidades necesarias para crear y desplegar aplicaciones de IA agéntica, así como para probar y ajustar instrucciones.

• La gobernanza de IA generativa es un conjunto de capacidades necesarias para monitorear y gestionar eficazmente los modelos desplegados en producción. Estas incluyen capacidades para monitorear las respuestas continuas precisas y apropiadas de los modelos, capacidades para proteger los modelos de entradas inapropiadas o maliciosas, y capacidades de gobernanza para gestionar los riesgos empresariales y ayudar con el cumplimiento normativo y los requisitos de informes.

• La gestión de la seguridad de la IA generativa se centra en las capacidades necesarias para salvaguardar los sistemas de IA, garantizando su despliegue ético y responsable. Esto implica asegurar toda la pila de IA, protegiendo tanto los modelos y su uso, como los datos de los que dependen.

Los grupos de capacidades restantes son capacidades de apoyo para la IA generativa. Las capacidades no son exclusivas de la IA generativa, pero deben estar presentes para respaldarla como una capacidad empresarial. Estos grupos son:

• La gestión de datos es un conjunto de capacidades para almacenar, gestionar y transformar datos en formatos adecuados para el ajuste y el entrenamiento de modelos de IA generativa. También se incluyen en esta categoría las capacidades para registrar y calificar las respuestas del modelo con fines de auditoría, y como entrada para un mayor ajuste y refinamiento del modelo.
   

• Capacidades de soporte es un conjunto global de capacidades de aplicación, integración y operaciones necesarias para desplegar y gestionar con éxito soluciones de IA generativa en una empresa.
   

• Los recursos de IA generativa capturan las capacidades de hardware y plataforma necesarias para desarrollar, ajustar, desplegar y administrar de manera eficiente y efectiva modelos y soluciones de IA generativa.

Cada categoría de capacidad se compone de uno o más grupos de capacidades. Esta sección destaca los grupos y capacidades clave para la IA generativa.

El grupo de capacidades Model Hub encapsula las capacidades necesarias para gestionar modelos importados, así como modelos ajustados o entrenados por la empresa. Estas capacidades permiten a las empresas gestionar los modelos y conjuntos de datos disponibles para su uso dentro de la empresa, y limitar el acceso a modelos y conjuntos de datos a usuarios o grupos específicos dentro de la empresa. La importación de modelos y la importación de datos son capacidades clave para que las empresas limiten la entrada de modelos del creciente número de repositorios de modelos públicos como Hugging Face.

El alojamiento de modelos ofrece capacidades para desplegar modelos generales y ajustados como servicios habilitados para API dentro de una empresa, optimizando la utilización de recursos, permitiendo el refinamiento y el reemplazo independientes, y simplificando la gobernanza. La clave para esto es la gestión de políticas de acceso al modelo, que garantiza que el acceso al él esté restringido a usuarios y grupos autorizados, evitando el uso no autorizado.

La personalización de modelos es un conjunto de capacidades que permiten a una empresa ajustar y entrenar modelos de IA generativa para necesidades empresariales específicas. Por lo general, esta capacidad se realizará utilizando una plataforma en la nube, ya que el modelo de pago por uso de la nube se adapta bien a la naturaleza "ráfaga" de las demandas de recursos de ajuste y entrenamiento.

Modelo y gobernanza de datos es un conjunto crítico de capacidades para que una empresa haga uso de modelos de IA generativa a gran escala. Específicamente, estas capacidades proporcionan a las empresas los insights que necesitan para monitorear y gestionar los riesgos del modelo, como la introducción de sesgos en las respuestas del modelo, y para ayudar a abordar los requisitos normativos y de cumplimiento para la transparencia y equidad del modelo.

El monitoreo de modelos es el análogo operativo de la gobernanza de modelos; esta última se ocupa de la gestión de modelos y riesgos a largo plazo, mientras que las capacidades de monitoreo de modelos permiten a las empresas monitorear y gestionar las operaciones del modelo en tiempo real. El monitoreo de modelos se compone de varias capacidades clave, que incluyen:

• Detección de sesgos: la capacidad de detectar y señalar cuándo las respuestas de un modelo se desvían de las respuestas establecidas o ideales y comienzan a favorecer un conjunto de resultados sobre otro.

• La detección de odio, abuso e insulto (HAP) es la capacidad de detectar y filtrar el odio, el abuso y los insultas tanto en las instrucciones enviadas por los usuarios como en las respuestas generadas por el modelo. Estas se consideran capacidades "básicas"; las empresas a menudo optarán por ampliar la lista de temas filtrados para incluir temas no apropiados para el negocio, por ejemplo. temas sexualmente sugerentes en una oficina de préstamos, o para adaptarse a las normas sociales de un público objetivo.

• La instrucción de monitoreo y seguridad es una capacidad emergente requerida para proteger los modelos desplegados contra ataques, como la inyección de instrucciones, diseñados para corromper el modelo o eludir los controles del modelo establecidos por la empresa.
  
  

La Gestión de cumplimiento de la IA generativa es una categoría de capacidades que consiste en habilitar los controles necesarios para “asegurar el uso” de la IA a través de la pila de aplicaciones y “asegurar las aplicaciones” en sí mismas. Se adhiere a las normas y directrices éticas para garantizar que los sistemas de IA respeten los valores y derechos humanos.

• Cumplimiento de aplicaciones de IA. La capacidad de permitir la adherencia de las "aplicaciones" de IA a las pautas, regulaciones y estándares establecidos. Proporciona capacidades que permitan controles tales como: gestión de la postura de las aplicaciones de IA, cumplimiento normativo y pruebas de sistemas de IA confiables.

• El cumplimiento del modelo de IA es la capacidad de permitir la gestión y el cumplimiento de los modelos de IA con las pautas, regulaciones y estándares establecidos. Permite controles clave como: Seguimiento de desviaciones del modelo. Gestión y cumplimiento de la postura de los modelos.

• Gestión legal y de cumplimiento. Garantiza que una organización se mantenga al día con el panorama regulatorio (vigilancia regulatoria) y se adhiera a los requisitos legales, reglas y estándares que rigen el desarrollo, despliegue, monitoreo y uso de la IA (por ejemplo, cumplimiento continuo y vigilancia regulatoria)
   

Gestión de la seguridad de aplicaciones de IA. Esta categoría de capacidades consiste en habilitar los controles necesarios para “asegurar el uso” de la IA a través de la pila de aplicaciones y “asegurar las aplicaciones” mismas. Se adhiere a las normas y directrices éticas para garantizar que los sistemas de IA respeten los valores y derechos humanos.

• La gestión y protección de amenazas de aplicaciones de IA es la capacidad de identificar, evaluar y mitigar posibles riesgos y vulnerabilidades que podrían afectar la seguridad, la funcionalidad o la confiabilidad de una aplicación de IA y garantizar su capacidad de adaptarse, recuperarse y seguir funcionando de manera eficaz incluso ante eventos inesperados, fallas o interrupciones. También para garantizar la solidez, seguridad y confiabilidad de los sistemas de IA a lo largo de su ciclo de vida.

• La seguridad de la interacción de aplicaciones de IA son mecanismos para garantizar que las interacciones entre los sistemas de IA y sus usuarios, otros sistemas y el entorno se produzcan de manera segura. (p.ej., manipulación de entradas, restricción de consultas excesivas, prevención de resultados tóxicos)

• Seguridad de las aplicaciones de IA. La capacidad y las prácticas para garantizar el funcionamiento seguro y fiable de los sistemas de IA. Incluye estrategias para prevenir consecuencias no deseadas, errores y daños causados por aplicaciones de IA (por ejemplo, Esfuerzo de documentar la IA confiable, Evaluación de parcialidad).
   

Gestión de seguridad de modelos de IA. Esta categoría de capacidades consiste en habilitar los controles necesarios para "proteger el modelo", así como en el uso de modelos. Implementa las mejores prácticas para el entrenamiento, validación y evaluación de modelos para mejorar el rendimiento y la fiabilidad.

• La Instrucción de seguridad es la capacidad de garantizar que las instrucciones de entrada proporcionadas a los modelos de IA sean seguras, no maliciosas, y estén alineadas con el comportamiento previsto del modelo, además de proteger al modelo del acceso no autorizado, la manipulación o los ataques. Del mismo modo, comprueba que las instrucciones de respuesta sean seguras en cuanto al contenido que puedan revelar inadvertidamente, como información de identificación personal (por ejemplo, protección contra inyección de instrucciones, prevención de ataques de inferencia o minimización de la respuesta a consultas, prevención de resultados tóxicos)

• La detección de amenazas de modelos de IA es la capacidad de identificar y mitigar riesgos potenciales o vulnerabilidades que podrían comprometer la integridad, la seguridad o el rendimiento de los modelos de IA y la interacción con esos modelos (por ejemplo, pruebas de seguridad de modelos, mitigación de vulnerabilidades de modelos)

• Gestión de acceso a modelos de IA. Restringe el acceso a modelos de IA, parámetros de modelos, datos de entrenamiento y API para evitar posibles abusos y vectores de ataque. Esta capacidad establece controles de acceso alrededor de modelos expuestos para uso empresarial, incluyendo aplicaciones de IA; asegura los registros internos de modelos y limita el acceso interno a los modelos de producción. Dichos controles de acceso deben incluir políticas contextuales que tengan en cuenta quién, qué, cuándo y desde dónde.
   

Gestión de seguridad de datos de IA. Esta categoría de capacidades permite controles para "proteger los datos". Establece pautas claras para la recopilación, el almacenamiento y el uso de datos para garantizar la calidad de los datos y mitigar el sesgo. Aunque la seguridad de los datos no es exclusiva de la IA generativa, nos centraremos únicamente en áreas en las que esta requiere especial atención desde el punto de vista de los datos.

• La privacidad y confidencialidad de los datos es la capacidad de salvaguardar la información confidencial, garantizando que se maneje adecuadamente y permanezca privada y accesible solo para sistemas y usuarios autorizados (por ejemplo, protección de la privacidad, seguridad de datos confidenciales, confidencialidad de datos)
   

La IA agéntica es un grupo de capacidades necesarias para crear y desplegar aplicaciones de IA agéntica. Incluye capacidades básicas como enrutamiento y orquestación, y gestión de herramientas y llamada a herramientas.

El Ajuste para la IA generativa es un grupo de capacidades necesarias para "personalizar" un modelo generativo general a las necesidades de la empresa. Los modelos se entrenan sobre una amplia base de conocimientos y carecerán de conocimiento de la jerga y los procesos específicos de la industria. Por lo tanto, la mayoría de las empresas necesitarán hacer uso de capacidades como ingeniería rápida, ajuste rápido y ajuste de modelos para crear un modelo que comprenda los términos y procesos del negocio de la empresa.

Las capacidades de aplicaciones de IA generativa permiten a las empresas desarrollar aplicaciones avanzadas de IA generativa. Las capacidades incluyen la capacidad de generar funciones dinámicamente para responder a las consultas de los usuarios; la memoria conversacional, que permite que las aplicaciones de IA generativa retengan y hagan referencia a interacciones anteriores de manera conversacional; y el enrutamiento de modelos, que permite a las aplicaciones enrutar dinámicamente las consultas al modelo más adecuado para responder.