¿Qué es una auditoría de IA?

Una auditoría de IA es un examen estructurado y basado en evidencia de cómo se diseñan, entrenan y despliegan los sistemas de inteligencia artificial (IA).

Las auditorías de IA pueden considerarse una “verificación de estado” integral de los sistemas de IA. Mientras que una auditoría tradicional se centra en los estados financieros o en los controles de TI, una auditoría de IA se adentra en los fundamentos de todo el ciclo de vida de la IA. Esto incluye la recopilación y calidad de datos, la arquitectura y laexplicabilidad del modelo, y el proceso de toma de decisiones una vez que el sistema entra en funcionamiento.

Este proceso de auditoría evalúa si el uso de la IA por parte de una organización está alineado con su marco de gobernanza, marco de gestión de riesgos y estándares éticos. Hace preguntas como:

• ¿Los datos personales y los datos de formación se recopilan legalmente y se almacenan de forma segura?
• ¿Los algoritmos introducen sesgo o crean nuevas vulnerabilidades?
• ¿Existen controles de acceso y métricas para mitigar los riesgos a lo largo del tiempo?

Una auditoría de IA pinta una imagen clara del funcionamiento interno de un sistema de IA, estableciendo la fiabilidad. Para los stakeholders y reguladores, proporciona una prueba tangible de que esta tecnología emergente se está empleando de forma responsable.

Los sistemas de IA influyen en decisiones de alto riesgo cada día, como la aprobación de hipotecas, el triaje de pacientes y la moderación de contenido en redes sociales. Si bien estos sistemas ofrecen velocidad y automatización, también pueden introducir posibles perjuicios. Un modelo defectuoso puede reforzar el sesgo; una postura de seguridad débil puede desencadenar una filtración de datos; la toma de decisiones mal informada puede erosionar la confianza de los stakeholders.

Los reguladores están respondiendo. La Ley de Inteligencia Artificial de la Unión Europea (Ley de IA de la UE) define varios niveles de riesgo —riesgo limitado y mínimo, riesgo alto y riesgo inaceptable— y exige normas de auditoría rigurosas.

De igual manera, el Marco de Gestión de Riesgos de IA del Instituto Nacional de Estándares y Tecnología (NIST) establece expectativas de transparencia y rendición de cuentas de IA. Se espera que los auditores internos y los equipos de seguridad de la información demuestren que cumplen con las normas y que sus sistemas de IA son confiables desde el diseño hasta el despliegue.

Por lo tanto, una auditoría de IA es una herramienta tanto defensiva como estratégica. Puede ayudar a las organizaciones a identificar vulnerabilidades antes de que escalen, fortaleciendo las prácticas e iniciativas de gobernanza de datos. Además, al promover una documentación clara y flujos de trabajo repetibles, las auditorías de IA ayudan a las organizaciones a cumplir con los requerimientos de cumplimiento normativo y a generar confianza entre clientes e inversores.

Una auditoría integral de IA examina tres áreas interdependientes, cada una con su propio conjunto de pruebas y métricas:

• Datos
• Modelo
• Despliegue

Los auditores evalúan cómo se recopilan, etiquetan y gestionan los datos. Revisan la precisión y la calidad del conjunto de datos y analizan si hay sesgos ocultos o datos “obsoletos” que podrían sesgar los resultados. Los controles de privacidad y protección de datos son críticos: los datos personales deben cumplir con el Reglamento General de Protección de Datos (GDPR) o estándares comparables, mientras que los metadatos deben ser rastreables a lo largo de todo el ciclo de vida de la IA.

Las comprobaciones típicas incluyen la puntuación de calidad de los datos y las evaluaciones de imparcialidad que aseguran que los periodos de retención, los controles de acceso y los permisos se documenten y apliquen.

Luego, los auditores sondean los algoritmos ellos mismos. Las preguntas clave incluyen: ¿Qué técnicas de machine learning se emplean? ¿Hasta qué punto es explicable la lógica de la decisión? ¿Se definen métricas y umbrales para monitorear la deriva o el comportamiento inesperado?

A menudo ejecutan análisis de tasas de error en todos los grupos demográficos, aplican pruebas de estrés o realizan ejercicios de trabajo en equipo rojo para exponer vulnerabilidades. Las pruebas de fiabilidad también pueden ayudar a identificar posibles daños antes del despliegue.

Finalmente, los auditores examinan el entorno operativo. Verifican que las estructuras de gobernanza y los flujos de trabajo de monitoreo permanezcan en su lugar después del lanzamiento.

Las evaluaciones comunes incluyen evaluaciones de conformidad para el cumplimiento normativo (por ejemplo, la Ley de IA de la UE), monitoreo continuo del rendimiento en tiempo real y simulaciones de respuesta a incidentes para ayudar a garantizar que la organización pueda detectar y contener amenazas emergentes. Los auditores también pueden confirmar que los productos se sometan a una revisión humana en el bucle cuando sea necesario.

Un número creciente de leyes y estándares en todo el mundo están dando forma a la auditoría de IA. Varios ya están en vigor, mientras que muchos otros están avanzando rápidamente hacia la implementación. Entre las regulaciones notables se incluyen:

• La Ley de Inteligencia Artificial de la UE: En la Unión Europea, la Ley de IA de la UE está en vigor desde agosto de 2024 y clasifica los sistemas de IA por nivel de riesgo, requiriendo una extensa documentación, pruebas y supervisión humana para aplicaciones de alto riesgo.

• Marco de Administración de Riesgos de IA: Desarrollado por NIST en 2023, este marco voluntario guía a las organizaciones en la identificación, evaluación y administración de riesgos de IA a lo largo de todo el ciclo de vida. Si bien se rescindió la orden ejecutiva que ordenaba a las agencias federales que institucionalizaran la infraestructura, el estándar en sí sigue sirviendo como guía.

• Directiva sobre la toma de decisiones automatizada: La directiva federal de Canadá, vigente desde 2020, obliga a los departamentos a completar una Evaluación de Impacto Algorítmico y notificar públicamente los resultados de los sistemas de IA de alto impacto.

• Marco de Gobernanza de la IA: Lanzado por primera vez en 2019 y actualizado en 2024, el marco de Singapur proporciona orientación detallada sobre transparencia, participación de los stakeholders y supervisión humana. Lo emplean muchas organizaciones del sector privado.

• Directrices de Gobernanza de la IA: Actualizadas en 2023, las directrices de Japón exigen evaluación de riesgos, explicabilidad y auditorías independientes de terceros, enfatizando la responsabilidad en todo el ciclo de vida de la IA.

• Principios de IA: Adoptados por más de 40 países miembros de la Organización para la Cooperación y el Desarrollo Económicos (OCDE) desde 2019, estos principios no vinculantes promueven la equidad, la transparencia y la seguridad sólida. Sirven como un punto de referencia global para las normativas nacionales emergentes.

También están surgiendo varios marcos nacionales procedentes de países como Brasil, Emiratos Árabes Unidos y Corea del Sur. Estas iniciativas impulsan los proyectos de ley de gobernanza de la IA y publican directrices detalladas que enfatizan el uso ético, la protección de la privacidad y la rendición de cuentas de los stakeholders.

Las regulaciones a nivel de industria agregan otra capa de responsabilidad. En Estados Unidos, las organizaciones de atención médica deben cumplir con la Ley de Portabilidad y Responsabilidad del Seguro Médico (HIPAA), incluidas sus Reglas de Privacidad y Seguridad, que requieren estrictas medidas de seguridad para cualquier dato de los pacientes utilizado en los sistemas de IA.

Las instituciones financieras siguen los estándares de gestión del riesgo modelo, como la guía SR 11-7 de la Reserva Federal y los requisitos de validación del modelo de la Oficina del Contralor de la Moneda, los cuales exigen pruebas independientes y el monitoreo continuo de los modelos de IA.

Los marcos traducen los requisitos normativos en estándares prácticos de auditoría. Las organizaciones a menudo combinan elementos de varios marcos para crear un enfoque de auditoría adaptado a su industria y entorno regulatorio.

Los marcos comunes incluyen:

• COBIT: El marco de Objetivos de Control para Tecnologías de la Información y Tecnologías Relacionadas (COBIT) proporciona un enfoque orientado al control que integra la auditoría de IA en programas de gobernanza de TI y seguridad de la información empresariales. Esto ayuda a garantizar una supervisión coherente en todos los departamentos.

• COSO ERM: El Comité de Organizaciones Patrocinadoras del Marco de Gestión de Riesgos Empresariales de la Comisión Treadway (COSO ERM) ayuda a las organizaciones a integrar el riesgo de IA en estrategias más amplias de gestión de riesgos y supervisión a nivel de consejo directivo, conectando la tecnología emergente con los objetivos corporativos.

• Marco de Rendición de Cuentas de la GAO sobre IA: El Marco de Rendición de Cuentas de la Oficina de Rendición de Cuentas Gubernamental de los Estados Unidos (GAO, por sus siglas en inglés) sobre inteligencia artificial ofrece orientación para evaluar la gobernanza, la calidad de los datos y el seguimiento del rendimiento, lo que lo hace útil tanto para auditorías del sector gubernamental como del privado.

• Marco de Auditoría de IA del IIA: El Marco de Auditoría de Inteligencia Artificial del Instituto de Auditores Internos (IIA) adapta los estándares tradicionales de auditoría a las características únicas de los sistemas de IA, haciendo hincapié en los estándares éticos y la transparencia en la toma de decisiones.

• Marco de Gobernanza de la IA del modelo PDPC: El marco de gobernanza de la IA del modelo de la Comisión de Protección de Datos Personales de Singapur (PDPC) proporciona orientación detallada sobre la participación de los stakeholders y el manejo responsable de los datos personales para las organizaciones que operan en múltiples jurisdicciones.

Una auditoría eficaz de IA combina las mejores prácticas con una hoja de ruta disciplinada y paso a paso. Si bien existen innumerables estrategias para auditar la IA, un enfoque podría seguir estos pasos: 

Crear una estructura de gobierno que defina las funciones de los equipos de auditoría, auditores internos, científicos de datos y stakeholders del negocio. Involucrar la función de auditoría interna tan pronto como se propongan proyectos de IA, para que las medidas de evaluación de riesgos y gobernanza de datos estén integradas desde el principio.

Catalogar cada modelo de IA en uso o en desarrollo, incluyendo modelos generativos de IA, chatbots y herramientas de automatización. Documentar las fuentes de datos de capacitación y las métricas de calidad de los datos para crear la base para la evaluación de riesgos y el monitoreo futuro.

Realizar una evaluación formal de riesgos que tenga en cuenta posibles daños como sesgo, filtración de datos o mal uso de datos personales. Validar los métodos de recolección de datos, verificar las protecciones de privacidad y asegurar que los conjuntos de datos cumplan con los estándares regulatorios en métricas como la retención y la precisión.

Elija los marcos de auditoría que se alineen con su industria y entorno regulatorio. Por ejemplo, algunas organizaciones combinan el enfoque de control de COBIT con la visión de riesgo empresarial de COSO, luego agregan elementos GAO o IIA para la rendición de cuentas y PDPC para la transparencia de los stakeholders. Emplea herramientas de auditoría que apoyen pruebas de explicabilidad, auditorías algorítmicas y métricas en tiempo real.

Desarrolle plantillas para la recopilación de pruebas, los controles de acceso y la elaboración de informes. Defina métricas para el rendimiento del modelo y las estrategias de mitigación. Asegúrese de que los flujos de trabajo de auditoría incluyan puntos de comprobación para la aprobación de la auditoría interna y la revisión de los stakeholders.

Realice la auditoría, documente los hallazgos y comparta los resultados con ejecutivos y reguladores según sea necesario. Establezca monitoreo continuo para rastrear tanto la calidad de los datos como el riesgo operacional. Las métricas y los paneles pueden dar a los equipos de auditoría visibilidad en tiempo real de las vulnerabilidades y permitir una mitigación rápida.

Las disciplinas de auditoría están evolucionando al ritmo de las tecnologías de IA. De cara al futuro, las organizaciones pueden esperar ver:

Independientemente de cómo se desarrolle el futuro, la auditoría ya no es un ejercicio de cumplimiento de una sola vez. Se está convirtiendo en un proceso continuo e inteligente que puede ayudar a las empresas a desplegar tecnologías de IA de forma segura y con confianza.