¿Qué es la gestión de la IA?

Los sistemas de inteligencia artificial se comportan de forma diferente al software tradicional. Un programa de software convencional sigue instrucciones explícitas para producir un output determinista: proporcionar la misma entrada en las mismas circunstancias a un programa tradicional siempre producirá el mismo output. Un sistema impulsado por IA produce outputs probabilísticos impulsados por algoritmos de machine learning: su output puede variar incluso si la entrada y las circunstancias siguen siendo las mismas.

Esa lógica dinámica es excepcionalmente poderosa, pero la imprevisibilidad que conlleva conlleva riesgos potenciales. Por ejemplo, las organizaciones se enfrentan a riesgos reputacionales derivados de outputs sesgados o tóxicos. Las alucinaciones de la IA que pasan desapercibidas o no se controlan plantean una amplia gama de riesgos, que van desde simplemente molestar o confundir a los usuarios hasta provocar inexactitudes en situaciones de misión crítica con graves consecuencias. Los ataques de adversarios con IA o conjuntos de datos comprometidos pueden introducir riesgos de ciberseguridad. No cumplir con las normativas de IA en un entorno que cambia rápidamente conlleva riesgos financieros y legales.

Un AIMS está diseñado para anticipar y tener en cuenta esos riesgos. En términos más tangibles, un AIMS puede entenderse como políticas y protocolos para integrar un gobierno de la IA en cualquier flujo de trabajo relevante para el uso de herramientas y productos basados en IA por parte de una organización. Esto incluye medidas como evaluaciones de riesgo proactivas estandarizadas, mecanismos de información, auditorías rutinarias y monitorización en tiempo real de los outputs y el rendimiento de los modelos.

Bien ejecutados, los sistemas de gestión de la IA no solo mitigan los riesgos, sino que también optimizan la eficacia operativa y fomentan la confianza entre los desarrolladores, los usuarios finales y otros stakeholders, cuya aceptación es esencial para una adopción eficaz de la IA.

Un sistema integral de gestión de la inteligencia artificial debe abordar lo siguiente:

¿A quiénes podrían afectar las cuestiones relacionadas con la equidad y los prejuicios, y de qué manera les afectarían? ¿Podría su proyecto de IA dar lugar a situaciones de discriminación sin que usted se diera cuenta? Dejando de lado los requisitos reglamentarios, ¿cuáles son sus responsabilidades éticas en relación con la protección de datos y la transmisión precisa de las capacidades y limitaciones del sistema? La transparencia sincera en estas cuestiones éticas mantiene la confianza de las partes interesadas y mejora la toma de decisiones en el futuro.

¿Qué amenazas específicas son inherentes al desarrollo o implementación de su aplicación de IA? Por ejemplo, el uso de herramientas de IA en los ámbitos sanitario o legal debe tener en cuenta las consecuencias normativas; Los fallos de IA en contextos de servicio de atención al cliente corren el riesgo de tener consecuencias para la reputación. Dado que la mitigación de estas amenazas es uno de los objetivos principales de su AIMS, identificar los riesgos específicos de IA que implica su caso de uso debe ser uno de los primeros y más importantes pasos del proceso.

Un buen gobierno de datos es esencial para mantener la calidad y la seguridad continuas de los datos utilizados para entrenar los modelos de IA (y de los datos generados por estos). Es particularmente importante en los ámbitos que implican el cumplimiento de los marcos regulatorios. Por ejemplo, si un usuario hace valer su "derecho al olvido" derivado del RGPD, su sistema debe permitir localizar y eliminar fácilmente los datos de esa persona. Los sistemas que operan en contextos sanitarios deben salvaguardar la información confidencial de conformidad con los requisitos de la HIPAA.

Los protocolos y políticas para abordar estas consideraciones deben integrarse no solo en el desarrollo y la implementación inicial de los sistemas de IA, sino también en su mantenimiento continuo. La gestión adecuada del ciclo de vida de la IA es necesaria para detectar y reducir los riesgos que introduce la deriva del modelo u otros problemas que puedan surgir con el tiempo.

Una estrategia para analizar activamente la salud de su sistema de IA a lo largo del tiempo es uno de los medios más importantes para mantener los objetivos que sus AIMS pretenden ayudar a alcanzar. La estructura y el ritmo específicos de las auditorías de rutina son algunos de los aspectos operativos más importantes de la gestión de la IA.

¿De quién es el trabajo de promulgar y supervisar todo esto? Es necesario delimitar claramente las funciones y responsabilidades individuales para que una estrategia de gestión de la IA pase de ser algo que suena bien sobre el papel a algo que salvaguarde activamente la innovación de la IA dentro de su organización.

Establecer estos principios y procesos al principio del proceso de desarrollo de la IA ayuda a optimizar y agilizar la toma de decisiones más adelante.

Hay muchas formas de implementar una gestión eficaz de la IA, y algunas organizaciones pueden optar por adoptar enfoques totalmente personalizados para sus iniciativas de gestión de la IA. Pero a muchos les beneficiará adherirse (o al menos inspirarse en) marcos establecidos como la ISO 42001, el Marco de Gestión de Riesgos de IA del NIST o los principios prescritos por la Ley de IA de la UE.

La ISO 42001 (abreviatura de ISO/IEC 42001:2023) es la primera norma internacional del mundo para establecer, implementar, mantener y continuar mejorando AIMS. Desarrollada en 2023, el objetivo declarado de la ISO 42001 es ofrecer a las organizaciones "la orientación integral que necesitan para utilizar la IA de forma responsable y eficaz, incluso cuando la tecnología evoluciona rápidamente". Las organizaciones pueden solicitar la certificación formal ISO 42001, que implica una auditoría externa de los sistemas y procesos para evaluar su cumplimiento de las prácticas de IA prescritas por la norma ISO 42001.

En concreto, la norma ISO 42001 establece un sistema de gestión (MSS) para una buen gobierno organizativo de la IA mediante la metodología "Plan-Do-Check-Act" ("planificar-hacer-verificar-actuar").

La etapa Plan es donde un AIMS define las reglas de compromiso para su sistema de IA.

• Contexto y alcance: defina exactamente lo que hacen y no hacen sus herramientas de IA. Por ejemplo, puede especificar que un chatbot de atención al cliente pueda responder a las consultas de soporte o escalar los problemas a un humano, pero no autorizar directamente los reembolsos. 

• Evaluación de riesgos: mapee las amenazas específicas que conlleva ese contexto y alcance. Por ejemplo, el bot de atención al cliente podría alucinar una política de la empresa, causando confusión o expectativas equivocadas. El atlas de riesgos de IA de IBM puede ayudarle a empezar.

• Establecimiento de objetivos: defina métricas tangibles para lo que califica como "éxito". Por lo general, esto dependerá del problema que intente resolver mediante la implementación de herramientas de IA. Si el objetivo de su proyecto de IA es liberar a los empleados de tareas rutinarias para que puedan dedicarse a consultas más complejas, por ejemplo, podría definir el éxito como que un determinado porcentaje de casos se resuelva sin necesidad de intervención humana adicional. 

En la etapa Do, los principios y objetivos definidos en la etapa anterior se operacionalizan en un flujo de trabajo real de desarrollo de IA.

• Las amenazas potenciales deben tenerse en cuenta en las políticas de gobierno de datos.

• Deben establecerse medidas de seguridad y sistemas de respaldo para protegerse contra los riesgos conocidos.

• La automatización de la evaluación del rendimiento del sistema, siempre que sea posible, minimiza el trabajo preliminar necesario para medir objetivamente el éxito y mejorar posteriormente el sistema.

El sistema de IA debe supervisarse activamente. Cada acción realizada por el sistema debe registrarse, para facilitar la explicabilidad del sistema. Si un resultado dado del sistema de IA resulta problemático o insatisfactorio de alguna manera, solo puede mejorarse si se puede identificar exactamente en qué parte del proceso se han producido errores.

Las auditorías rutinarias deben garantizar que los equipos sigan los protocolos AIMS, y que lo hagan de manera significativa, no solo nominal.

Cuando se producen incidentes, existe un sistema para detener el trabajo y realizar las mejoras necesarias. Si las auditorías revelan medidas de seguridad insuficientes, problemas imprevistos o vulnerabilidades emergentes, se adoptan nuevas medidas para solucionarlos.

El Instituto Nacional de Estándares y Tecnología (NIST) es una agencia ubicada dentro del Departamento de Comercio de los Estados Unidos. El marco de gestión de riesgos de IA (AI RMF) del NIST es una guía de estrategias adaptable para el uso responsable de la IA, complementada con una amplia literatura de materiales de apoyo que incluyen:

• La guía de estrategias de AI RMF, que proporciona acciones sugeridas para lograr los resultados establecidos en el AI RMF propiamente dicho.

• La hoja de ruta del AI RMF, cuyo objetivo es "ayudar a subsanar las lagunas de conocimiento, práctica u orientación", con el objetivo de identificar formas de reforzar el propio AI RMF y la capacidad del NIST para ayudar a las organizaciones de los sectores público y privado a promulgarlo.

• Las tablas de correspondencias de AI RMF, diseñadas para ayudar a las organizaciones a relacionar sus prácticas actuales con los conceptos y términos de diversos marcos de gestión de la IA, entre los que se incluye (entre otros) la norma ISO 42001.

• Casos de uso en el gobierno, los sectores y el mundo académico.

La guía de estrategias de AI RMF utiliza una metodología "Govern, Map, Measure, Manage" ("gobierno, mapeo, medición y gestión").

Se crea un “Comité de Riesgos de IA”. Este comité define la "tolerancia al riesgo" de la organización y produce un documento de política de riesgos de IA, que debe ser firmado por los ejecutivos del equipo directivo, que especifica explícitamente quién es responsable de cualquier fallo de la IA.

Una fase de descubrimiento identifica los riesgos específicos relativos tanto a las herramientas de IA como a la forma en que las personas las utilizarán. Este proceso finalmente produce el perfil de riesgo, detallando cada amenaza identificada.

Cada amenaza mapeada se cuantifica en términos de cómo podría afectar a la empresa o a sus clientes. Esto suele implicar red teaming y stress teaming, lo que produce un informe TEVV ("Test, Evaluation, Verification and Validation") que funciona como un cuadro de mando para la precisión y fiabilidad del sistema.

Se abordan y tienen en cuenta los problemas y posibles vulnerabilidades detectados durante la fase de medición.

Mientras que la ISO 42001 y el RMF de IA del NIST son marcos voluntarios, las disposiciones de la Ley de IA de la UE son prescripciones obligatorias para cualquier organización implicada en el desarrollo y la implementación de sistemas de IA en el mercado de la UE.

Las disposiciones de la Ley de IA de la UE incluyen:

• Documentación técnica obligatoria para el entrenamiento, las pruebas y la evaluación de modelos.

• El suministro de información sobre las capacidades y limitaciones de los modelos de IA pertinentes a cualquier proveedor intermedio que la utilice.

• Cumplimiento de la Directiva de la UE sobre derechos de autor

• Resúmenes públicos de datos de entrenamiento

Si un modelo de IA determinado supera las 1025 operaciones de coma flotante (FLOP) durante el entrenamiento, se considera que presenta riesgos sistémicos y queda sujeto a medidas de seguridad adicionales.

La UE proporciona herramientas y recursos para ayudar a las empresas a cumplir la Ley de IA, incluido un comprobador de cumplimiento interactivo que especifica qué disposiciones se aplican a su empresa, una guía para pequeñas y medianas empresas (pymes) y una serie de artículos sobre temas específicos.