¿Qué es una auditoría de IA?

Una auditoría de IA es un examen estructurado y basado en pruebas de cómo se diseñan, entrenan e implementan los sistemas de inteligencia artificial (IA).

Las auditorías de IA pueden considerarse una "revisión del estado de salud" exhaustiva para los sistemas de IA. Si bien una auditoría tradicional se centra en los estados financieros o en los controles de TI, una auditoría de IA profundiza en los fundamentos de todo el ciclo de vida de la IA. Esto incluye la recopilación y la calidad de los datos, la arquitectura y la explicabilidad del modelo y el proceso de toma de decisiones una vez que el sistema entre en funcionamiento.

Este proceso de auditoría evalúa si el uso de la IA por parte de una organización está alineado con sus marcos de gobierno y gestión de riesgos y sus estándares éticos. Hace preguntas como:

• ¿Los datos personales y los datos de entrenamiento se recopilan legalmente y se almacenan de forma segura?
• ¿Los algoritmos introducen sesgos o crean nuevas vulnerabilidades?
• ¿Existen controles de acceso y métricas para mitigar los riesgos a lo largo del tiempo?

Una auditoría de IA muestra un panorama claro del funcionamiento interno de un sistema de IA y establece la fiabilidad. Para las partes interesadas y los reguladores, proporciona pruebas tangibles de que esta tecnología emergente se utiliza de forma responsable.

Los sistemas de IA influyen en decisiones de alto riesgo cada día, como la aprobación de hipotecas, el triaje de pacientes y la moderación de contenido en redes sociales. Aunque estos sistemas ofrecen rapidez y automatización, también pueden introducir posibles daños. Un modelo defectuoso puede reforzar el sesgo; una posición de seguridad débil puede desencadenar una vulneración de datos; la toma de decisiones mal informada puede erosionar la confianza de los stakeholders.

Los reguladores están respondiendo. La Ley de Inteligencia Artificial de la Unión Europea (Ley de IA de la UE) define varios niveles de riesgo (riesgo limitado y mínimo, riesgo alto y riesgo inaceptable) y exige normas de auditoría rigurosas.

Del mismo modo, el Marco de Gestión de Riesgos de la IA del Instituto Nacional de Estándares y Tecnología (NIST) establece expectativas de transparencia y responsabilidad de la IA. Se espera que los auditores internos y los equipos de seguridad de la información demuestren el cumplimiento y que sus sistemas de IA son fiables desde el diseño hasta la implementación.

Por lo tanto, una auditoría de IA es una herramienta tanto defensiva como estratégica. Puede ayudar a las organizaciones a identificar vulnerabilidades antes de que se agraven, reforzando las prácticas e iniciativas de gobierno de datos. Y al promover una documentación clara y flujos de trabajo repetibles, las auditorías de IA ayudan a las organizaciones a cumplir con los requisitos normativos y a generar confianza entre clientes e inversores.

Una auditoría exhaustiva de la IA examina tres áreas interdependientes, cada una con su propio conjunto de pruebas y métricas:

• Datos
• Modelo
• Implementación

Los auditores evalúan cómo se recopilan, etiquetan y gestionan los datos. Revisan la precisión y la calidad de los conjuntos de datos y comprueban si hay sesgos ocultos o datos "obsoletos" que puedan sesgar los outputs. Los controles de privacidad y protección de datos son críticos: los datos personales deben cumplir con el Reglamento General de Protección de Datos (RGPD) o estándares comparables, mientras que los metadatos deben poder rastrearse durante todo el ciclo de vida de la IA.

Las comprobaciones típicas incluyen revisiones de evaluación de calidad de los datos y evaluaciones que aseguran que los periodos de retención, los controles de acceso y los permisos estén documentados y aplicados.

Luego, los auditores investigan los algoritmos por sí mismos. Las preguntas clave incluyen: ¿Qué técnicas de machine learning se utilizan? ¿Hasta qué punto es explicable la lógica de la decisión? ¿Se definen las métricas y los umbrales para supervisar la deriva o el comportamiento inesperado?

A menudo realizan análisis del índice de errores en todos los grupos demográficos, hacen pruebas de resistencia o realizan ejercicios de trabajo en equipo rojo para exponer las vulnerabilidades. Las pruebas de fiabilidad también pueden ayudar a identificar posibles daños antes de la implementación.

Por último, los auditores examinan el entorno operativo. Verifican que las estructuras de gobierno y los flujos de trabajo de seguimiento se mantengan vigentes tras el lanzamiento.

Las evaluaciones habituales incluyen evaluaciones de conformidad para el cumplimiento normativo (por ejemplo, la Ley de IA de la UE), monitorización continua en tiempo real del rendimiento y simulaciones de respuesta a incidentes para ayudar a garantizar que la organización pueda detectar y contener amenazas emergentes. Los auditores también pueden confirmar que los outputs se someten a la supervisión humana cuando es necesario.

Un número cada vez mayor de leyes y normas en todo el mundo están dando forma a la auditoría de la IA. Ya hay varios en vigor, mientras que muchos otros avanzan rápidamente hacia la implementación. Entre las normativas más destacadas figuran:

• La Ley de Inteligencia Artificial de la UE: en la Unión Europea, la Ley de IA de la UE está en vigor desde agosto de 2024 y clasifica los sistemas de IA por nivel de riesgo, requiriendo una extensa documentación, pruebas y supervisión humana para aplicaciones de alto riesgo.

• Marco de gestión de riesgos de la IA: desarrollado por el NIST en 2023, este marco voluntario guía a las organizaciones a la hora de identificar, evaluar y gestionar los riesgos de la IA a lo largo de todo el ciclo de vida. Aunque se ha rescindido la orden ejecutiva que ordenaba a las agencias federales que institucionalizaran el marco, la norma en sí sigue sirviendo de orientación.

• Directiva sobre la toma de decisiones automatizada: la directiva federal de Canadá, en vigor desde 2020, obliga a los departamentos a completar una evaluación del impacto algorítmico e informar públicamente los resultados de los sistemas de IA de alto impacto.

• Marco de gobierno de la IA: publicado por primera vez en 2019 y actualizado en 2024, el marco de Singapur ofrece directrices detalladas sobre transparencia, participación de stakeholders y supervisión humana. Lo utilizan muchas organizaciones del sector privado.

• Pautas de gobierno de la IA: actualizadas en 2023, las pautas japonesas exigen evaluación, explicabilidad y auditorías independientes de terceros, haciendo hincapié en la responsabilidad a lo largo del ciclo de vida de la IA.

• Principios de IA: adoptados por más de 40 países miembros de la Organización para la Cooperación y el Desarrollo Económicos (OCDE) desde 2019, estos principios no vinculantes promueven la equidad, la transparencia y una seguridad sólida. Sirven como un punto de referencia global para las normativas nacionales emergentes.

También están surgiendo varios marcos nacionales procedentes de países como Brasil, Emiratos Árabes Unidos y Corea del Sur. Estas iniciativas impulsan los proyectos de gobierno de la IA y publican directrices detalladas que enfatizan el uso ético, la protección de la privacidad y la rendición de cuentas de los stakeholders.

Las regulaciones a nivel sectorial añaden otra capa de responsabilidad. En Estados Unidos, las organizaciones sanitarias deben cumplir con la Ley de Portabilidad y Responsabilidad del Seguro Médico (HIPAA), incluidas sus Normas de Privacidad y Seguridad, que exigen estrictas medidas de seguridad para cualquier dato de pacientes utilizado en sistemas de IA.

Las instituciones financieras siguen los estándares de gestión de riesgos de los modelos, como la guía SR 11-7 de la Reserva Federal y los requisitos de validación de modelos de la Oficina del Contralor de la Moneda, que exigen pruebas independientes y la monitorización continua de los modelos de IA.

Los marcos de trabajo traducen los requisitos regulatorios en normas prácticas de auditoría. Las organizaciones suelen combinar elementos de varios marcos para crear un enfoque de auditoría adaptado a su sector y entorno normativo.

Entre los marcos comunes se incluyen:

• COBIT: el marco de objetivos de control para la información y las tecnologías relacionadas (COBIT) proporciona un enfoque orientado al control que integra la auditoría de la IA en los programas empresariales de gobierno de TI y seguridad de la información. Esto ayuda a garantizar una supervisión coherente en todos los departamentos.

• COSO ERM: el Marco de Gestión de Riesgos Empresariales del Comité de Organizaciones Patrocinadoras de la Comisión Treadway (COSO ERM) ayuda a las organizaciones a integrar los riesgos relacionados con la IA en estrategias más amplias de gestión de riesgos y en la supervisión a nivel del consejo de administración, vinculando así las tecnologías emergentes con los objetivos corporativos.

• Marco de rendición de cuentas sobre IA de la GAO: el marco de rendición de cuentas sobre inteligencia artificial de la Oficina de Rendición de Cuentas del Gobierno de los Estados Unidos (GAO) ofrece directrices para evaluar el gobierno, la calidad de los datos y el seguimiento del rendimiento, lo que lo hace útil tanto para las auditorías del sector público como del privado.

• Marco de auditoría de la IA del IIA: el Marco de auditoría de la inteligencia artificial del Instituto de Auditores Internos (IIA) adapta las normas de auditoría tradicionales a las características específicas de los sistemas de IA, haciendo hincapié en las normas éticas y la transparencia en la toma de decisiones.

• Marco modelo de gobierno de la IA de la PDPC: el Marco modelo de gobierno de la IA de la Comisión de Protección de Datos Personales de Singapur (PDPC) ofrece orientaciones detalladas sobre la participación de los stakeholders y el tratamiento responsable de los datos para las organizaciones que operan en varias jurisdicciones.

Una auditoría eficaz de IA combina buenas prácticas con una hoja de ruta disciplinada y paso a paso. Aunque existen innumerables estrategias para auditar la IA, un enfoque podría seguir estos pasos: 

Cree una estructura de gobierno que defina las funciones de los equipos de auditoría, los auditores internos, los científicos de datos y las partes interesadas empresariales. Involucre a la función de auditoría interna tan pronto como se propongan proyectos de IA, de modo que las medidas de evaluación de riesgos y gobierno de datos estén integradas desde el principio.

Catalogue todos los modelos de IA en uso o en desarrollo, incluidos los modelos de IA generativa, los chatbots y las herramientas de automatización. Documente las fuentes de datos de entrenamiento y las métricas de calidad de los datos para crear la base para la evaluación de riesgos y la monitorización futura.

Realice una evaluación formal de riesgos que tenga en cuenta los posibles daños, como el sesgo, la vulneración de datos o el uso indebido de datos personales. Valide los métodos de recopilación de datos, compruebe las medidas de protección de la privacidad y asegúrese de que los conjuntos de datos cumplan las normas reglamentarias en cuanto a métricas como el periodo de conservación y la precisión.

Elija los marcos de auditoría que se alineen con su sector y su entorno normativo. Por ejemplo, algunas organizaciones combinan el enfoque de control de COBIT con la visión de riesgo empresarial de COSO, y luego agregan elementos GAO o IIA para la responsabilidad y PDPC para la transparencia de los stakeholders. Utilice herramientas de auditoría que apoyen pruebas de explicabilidad, auditorías algorítmicas y métricas en tiempo real.

Desarrolle plantillas para la recopilación de pruebas, los controles de acceso y la elaboración de informes. Defina métricas para el rendimiento del modelo y las estrategias de mitigación. Asegúrese de que los flujos de trabajo de auditoría incluyan puntos de control para la aprobación por parte de la auditoría interna y la revisión por parte de los stakeholders.

Lleve a cabo la auditoría, documente los hallazgos y comunique los resultados a los directivos y a las autoridades reguladoras, según sea necesario. Establezca una monitorización continua para rastrear tanto la calidad de los datos como el riesgo operativo. Las métricas y los paneles de control pueden dar a los equipos de auditoría visibilidad en tiempo real de las vulnerabilidades y permitir una mitigación rápida.

Las disciplinas de auditoría están evolucionando al ritmo de las tecnologías de IA. De cara al futuro, las organizaciones pueden esperar ver:

Independientemente de cómo se desarrolle el futuro, la auditoría ya no es un ejercicio de cumplimiento de una sola vez. Se está convirtiendo en un proceso continuo e inteligente que puede ayudar a las empresas a implementar tecnologías de IA de forma segura y con confianza.