¿Qué es la gestión de la IA?

Los sistemas de inteligencia artificial se comportan de forma diferente al software tradicional. Un programa de software convencional sigue instrucciones explícitas para producir un resultado determinista: proporcionar la misma entrada en las mismas circunstancias a un programa tradicional siempre producirá el mismo resultado. Un sistema impulsado por IA produce resultados probabilísticos impulsados por algoritmos de machine learning: sus resultados pueden variar incluso si la entrada y las circunstancias se mantienen iguales.

Esa lógica dinámica es excepcionalmente poderosa, pero la imprevisibilidad que conlleva aporta riesgos potenciales. Por ejemplo, las organizaciones se enfrentan a riesgos reputacionales derivados de resultados con sesgo o tóxicos. Las alucinaciones de IA no controladas o desapercibidas presentan su propio amplio conjunto de riesgos, desde simplemente molestar o confundir a los usuarios hasta imprecisiones en escenarios de misión crítica con consecuencias importantes. Los ataques adversariales impulsados por IA o conjuntos de datos comprometidos pueden introducir riesgos de ciberseguridad. No cumplir con las normativas de IA en un entorno que cambia rápidamente conlleva riesgos financieros y legales.

Un AIMS está diseñado para anticipar y tener en cuenta esos riesgos. En términos más tangibles, un AIMS puede entenderse como políticas y protocolos para la incorporación de una gobernanza de la IA sólida en todos los flujos de trabajo relevantes para el uso de herramientas y productos basados en IA por parte de una organización. Esto incluye medidas como evaluaciones de riesgos proactivas estandarizadas, mecanismos de informes, auditorías de rutina y monitoreo en tiempo real de los resultados y el rendimiento del modelo.

Ejecutados bien, los sistemas de gestión de IA no solo mitigan los riesgos, sino que también optimizan la eficiencia operativa y generan confianza entre desarrolladores, usuarios finales y otros stakeholders cuya aceptación es esencial para una adopción eficaz de la IA.

Un sistema integral de gestión de inteligencia artificial debe abordar lo siguiente:

¿Quiénes podrían verse afectados por cuestiones de imparcialidad y sesgo, y de qué manera? ¿Podría su proyecto de IA dar lugar inadvertidamente a la discriminación? Dejando a un lado los requisitos normativos, ¿cuáles son sus responsabilidades éticas en lo que respecta a la privacidad de los datos y a la comunicación precisa de las capacidades y limitaciones del sistema? La transparencia seria en tales cuestiones éticas mantiene la confianza de los stakeholders y mejora la toma de decisiones más adelante.

¿Qué amenazas específicas son inherentes al desarrollo o despliegue de su aplicación de IA? Por ejemplo, el uso de herramientas de IA en el ámbito de atención médica o legal debe tener en cuenta las consecuencias normativas; los errores de la IA en contextos de atención al cliente corren el riesgo de consecuencias reputacionales. Dado que la mitigación de estas amenazas es uno de los propósitos principales de su AIMS, identificar los riesgos específicos de la IA que implica su caso de uso debe ser uno de los primeros y más importantes pasos del proceso.

Una adecuada gobernanza de datos es esencial para mantener la calidad y la seguridad constantes de los datos utilizados para entrenar modelos de IA (y de los datos generados por ellos). Es especialmente importante en ámbitos que implican el cumplimiento de marcos normativos. Por ejemplo, si un usuario afirma su “ derecho al olvido” derivado del RGPD, su sistema debe permitir que los datos de esa persona se localicen y eliminen fácilmente. Los sistemas que operan en contextos de atención médica deben salvaguardar la información confidencial de conformidad con los requisitos de la HIPAA.

Los protocolos y políticas para abordar estas consideraciones deben estar integrados no solo en el desarrollo y despliegue inicial de sistemas de IA, sino también en su mantenimiento continuo. Una gestión adecuada del ciclo de vida de la IA es necesaria para detectar y controlar los riesgos introducidos por la desviación del modelo u otras preocupaciones que puedan surgir con el tiempo.

Una estrategia para interrogar activamente el estado de su sistema de IA a lo largo del tiempo es uno de los medios más importantes para mantener los objetivos que su AIMS debe ayudar a lograr. La estructura específica y el ritmo de las auditorías rutinarias están entre las consideraciones operativas más importantes en la gestión de IA.

¿A quién le corresponde poner en práctica y supervisar todo esto? Es necesario definir claramente las funciones y responsabilidades de cada uno para que una estrategia de gestión de la IA pase de ser algo que suena bien en teoría a convertirse en un mecanismo que proteja de forma efectiva la innovación en materia de IA dentro de su organización.

Establecer estos principios y procesos en las primeras etapas del desarrollo de la IA ayuda a optimizar y agilizar la toma de decisiones en etapas posteriores.

Hay muchas formas de implementar una gestión eficaz de la IA, y algunas organizaciones pueden optar por adoptar enfoques totalmente personalizados para sus iniciativas de gestión de la IA. Pero a muchas les beneficiará adherirse a marcos establecidos, como ISO 42001, el marco de gestión de riesgos de IA del NIST o los principios prescritos por la Ley de IA de la UE o tomar ideas de ellos.

ISO 42001, abreviatura de ISO/IEC 42001:2023, es la primera norma internacional del mundo para establecer, implementar, mantener y continuar mejorando el AIMS. Desarrollada en 2023, el objetivo declarado de ISO 42001 es ofrecer a las organizaciones “la orientación integral que necesitan para usar la IA de manera responsable y efectiva, incluso cuando la tecnología está evolucionando rápidamente”. Las organizaciones pueden solicitar la certificación formal ISO 42001, lo que implica una auditoría de terceros de los sistemas y procesos para evaluar su cumplimiento de las prácticas de IA prescritas en ISO 42001.

Más concretamente, la norma ISO 42001 establece un sistema de gestión (MSS) para la buena gobernanza organizacional de la IA mediante la metodología Planificar-Hacer-Verificar-Actuar.

La etapa Planificar es donde un AIMS define las reglas de participación para su sistema de IA.

• Contexto y alcance: defina exactamente qué hacen y qué no hacen sus herramientas de IA. Por ejemplo, puede especificar que un chatbot de atención al cliente pueda responder consultas de soporte o escalar problemas a un humano, pero no puede autorizar reembolsos directamente. 

• Evaluación de riesgos: identifique las amenazas específicas que plantean ese contexto y ese ámbito. Por ejemplo, el bot de atención al cliente podría alucinar una política de la empresa, causando confusión o expectativas equivocadas. El atlas de riesgos de IA de IBM puede ayudarle a empezar.

• Definición de objetivos: defina indicadores tangibles para determinar qué se considera “éxito”. Esto generalmente dependerá del problema que intente resolver mediante la implementación de herramientas de IA. Si el objetivo de su proyecto de IA es liberar ancho de banda de los empleados para consultas más complejas, por ejemplo, podría definir el éxito como un determinado porcentaje de casos que se resuelven sin necesidad de más intervención humana. 

En la etapa Hacer, los principios y objetivos definidos en la etapa anterior se ponen en práctica en un flujo de trabajo de desarrollo de IA real.

• Las amenazas potenciales deben tenerse en cuenta en las políticas de gobernanza de datos.

• Se deben establecer barreras de seguridad y redundancias para prevenir riesgos conocidos.

• La automatización de la evaluación del rendimiento del sistema, siempre que sea posible, reduce al mínimo el trabajo manual necesario para medir objetivamente el éxito y, posteriormente, mejorar el sistema.

El sistema de IA debe supervisarse activamente. Se debe registrar cada acción realizada por el sistema, a fin de facilitar la explicabilidad de este. Si un resultado determinado del sistema de IA es preocupante o insatisfactorio de alguna manera, solo se puede mejorar si se puede identificar exactamente en qué parte del proceso se han producido errores.

Las auditorías de rutina deben garantizar que los equipos sigan los protocolos de AIMS, y que lo hagan de manera significativa, no solo nominal.

Cuando ocurren incidentes, existe un sistema para detener el trabajo y realizar las mejoras necesarias. Si las auditorías revelan medidas de seguridad insuficientes, problemas imprevistos o vulnerabilidades de seguridad emergentes, se adoptan nuevas medidas para hacerles frente.

El Instituto Nacional de Estándares y Tecnología (NIST) de EE. UU. es una agencia ubicada dentro del Departamento de Comercio de Estados Unidos. El marco de gestión de riesgos de IA (AI RMF) del NIST es un playbook adaptable para el uso responsable de la IA, complementado con una extensa literatura de materiales de apoyo, incluyendo:

• El playbook del AI RMF, que ofrece recomendaciones sobre las medidas que deben adoptarse para alcanzar los resultados establecidos en el propio AI RMF.

• La hoja de ruta del AI RMF, que tiene como objetivo “ayudar a llenar vacíos en conocimiento, práctica u orientación”, con el objetivo de identificar formas de reforzar el AI RMF en sí y la capacidad del NIST para ayudar a las organizaciones del sector público y privado a promulgarlo.

• Tablas de correspondencia del AI RMF, que están diseñadas para ayudar a las organizaciones a relacionar las prácticas existentes con conceptos y términos en una variedad de marcos de gestión de IA, incluida (entre otras) la ISO 42001.

• Casos de uso en el sector público, la industria y el ámbito académico.

El playbook de AI RMF utiliza una metodología Gobernar, Mapear, Medir, Gestionar.

Se crea un “Comité de riesgos de IA”. Este comité define la “tolerancia al riesgo” de la organización y produce un documento de Política de riesgos de IA, que será firmado por los altos ejecutivos, que especifica explícitamente quién es responsable de cualquier falla de la IA.

Una fase de descubrimiento identifica riesgos específicos relacionados tanto con las herramientas de IA como con la forma en que las personas las utilizarán. Este proceso finalmente genera el perfil de riesgo, que detalla cada amenaza identificada.

Cada amenaza mapeada se cuantifica en términos de cómo podría afectar a la empresa o a sus clientes. Esto generalmente implica el trabajo en equipo rojo y el trabajo en equipo de estrés, lo que produce un Informe TEVV (Prueba, Evaluación, Verificación y Validación) que funciona como una “tabla de puntuación” para la precisión y confiabilidad del sistema.

Se abordan y tienen en cuenta los problemas y posibles vulnerabilidades detectados durante la fase de medición.

Mientras que la ISO 42001 y el NIST AI RMF son marcos voluntarios, las disposiciones de la Ley de IA de la UE son prescripciones obligatorias para cualquier organización involucrada en el desarrollo y despliegue de sistemas de IA dentro del mercado de la UE.

Las disposiciones de la Ley de IA de la UE incluyen:

• Documentación técnica obligatoria para el entrenamiento, las pruebas y la evaluación de modelos.

• El suministro de información sobre las capacidades y limitaciones de los modelos de IA pertinentes a cualquier proveedor posterior que vaya a utilizarlos.

• Cumplimiento de la Directiva de Derechos de Autor de la UE

• Resúmenes públicos de datos de entrenamiento

Si un modelo de IA determinado supera las 1025 operaciones de punto flotante (FLOP) en entrenamiento, se considera que presenta riesgos sistémicos y queda sujeto a salvaguardas adicionales.

La UE ofrece herramientas y recursos para ayudar a las empresas a cumplir con la Ley de IA, entre los que se incluyen un verificador de cumplimiento interactivo que indica qué disposiciones se aplican a su negocio, una guía para pequeñas y medianas empresas (PYMES) y una serie de artículos sobre temas específicos.