¿Qué es la gobernanza de la IA?

Una gobernanza de la IA eficaz incluye mecanismos de supervisión que abordan riesgos, como sesgos, infracción de la privacidad y uso indebido, al tiempo que fomentan la innovación y generan confianza. Un enfoque centrado en la IA ética para la gobernanza de la IA requiere la intervención de una amplia gama de stakeholders, incluidos los desarrolladores de IA, los usuarios, los responsables de las políticas y los especialistas en ética, para garantizar que los sistemas relacionados con la IA se desarrollen y utilicen de forma que se ajusten a los valores de la sociedad.

La gobernanza de la IA aborda los defectos inherentes derivados del elemento humano en la creación y el mantenimiento de la IA. Debido a que la IA es un producto de código de alta ingeniería y aprendizaje automático (ML) creado por personas, es susceptible a sesgos humanos y errores que pueden resultar en discriminación y otros daños a las personas.

La gobernanza proporciona un enfoque estructurado para mitigar estos riesgos potenciales. Este enfoque puede incluir políticas estables en materia de IA, regulación y gobernanza de datos. Estos ayudan a garantizar que los algoritmos de machine learning se monitoreen, evalúen y actualicen para evitar decisiones erróneas o dañinas, y que los conjuntos de datos estén bien capacitados y mantenidos.

La gobernanza también tiene como objetivo establecer la supervisión necesaria para alinear los comportamientos de la IA con las normas éticas y las expectativas de la sociedad y para protegerse de posibles impactos adversos.

La gobernanza de la IA es esencial para alcanzar un estado de cumplimiento, confianza y eficiencia en el desarrollo y aplicación de tecnologías de IA. Con la creciente integración de la IA en las operaciones organizacionales y gubernamentales, su potencial de impacto negativo se ha vuelto más visible. De hecho, en una investigación inédita del IBM Institute for Business Value, el 80 % de los líderes empresariales ven la explicabilidad, la ética, el sesgo o la confianza de la IA como un obstáculo importante para la adopción de la IA generativa.

Los errores de alto perfil, como el incidente del chatbot Tay, donde un chatbot AI aprendió un comportamiento tóxico de las interacciones públicas en las redes sociales, y las decisiones con sesgo de las sentencias del software COMPAS, pusieron de manifiesto la necesidad de una gobernanza estable para prevenir daños y mantener la confianza pública.

Estos casos demuestran que la IA puede causar importantes daños sociales y éticos sin una supervisión adecuada, lo que pone de relieve la importancia de la gobernanza en la gestión de los riesgos asociados a la IA avanzada. Al proporcionar directrices y marcos, el gobierno de la IA tiene como objetivo equilibrar la innovación con la seguridad, lo que ayuda a garantizar que los sistemas de IA no violen la dignidad humana o los derechos.

La transparencia en la toma de decisiones y la explicabilidad también son críticos para garantizar que los sistemas de IA se utilicen de forma responsable y para generar confianza. Los sistemas de IA toman decisiones todo el tiempo, desde decidir qué anuncios mostrar hasta determinar si aprobar un préstamo. Es esencial comprender cómo toman decisiones los sistemas de IA para hacerlos responsables de sus decisiones y ayudar a garantizar que las tomen de manera justa y ética.

Además, la gobernanza de la IA no se trata solo de ayudar a garantizar el cumplimiento de una sola vez; también se trata de mantener estándares éticos a lo largo del tiempo. Los modelos de IA pueden desviarse, lo que lleva a cambios en la calidad de salida y la confiabilidad. Las tendencias actuales en la gobernanza van más allá del mero cumplimiento legal hacia garantizar la responsabilidad social de la IA, salvaguardando así contra daños financieros, legales y reputacionales, al tiempo que promueven el crecimiento responsable de la tecnología.

Los ejemplos de gobernanza de la IA incluyen una variedad de políticas, marcos y prácticas que las organizaciones y los gobiernos implementan para ayudar a garantizar el uso responsable de las tecnologías de la IA. Estos ejemplos demuestran cómo se produce el gobierno de la IA en diferentes contextos:

Reglamento General de Protección de Datos (RGPD): el GDPR es un ejemplo de gobernanza de la IA, especialmente en el contexto de la protección de datos personales y la privacidad. Aunque el RGPD no se centra exclusivamente en la IA, muchas de sus disposiciones son muy pertinentes para los sistemas de IA, especialmente los que procesan datos personales de individuos dentro de la Unión Europea.

La Organización para la Cooperación y el Desarrollo Económicos (OCDE): los Principios de IA de la OCDE, adoptados por más de 40 países, destacan una gestión responsable de una IA confiable, que incluye transparencia, equidad y responsabilidad en los sistemas de IA.

Consejos de ética de IA: muchas empresas han establecido consejos o comités de ética para supervisar las iniciativas de IA, asegurándose de que se alineen con los estándares éticos y los valores sociales. Por ejemplo, desde 2019, el Consejo de Ética de IA de IBM ha revisado los nuevos productos y servicios de IA para garantizar que se alineen con los principios de IA de IBM. Estos consejos a menudo incluyen equipos multifuncionales con antecedentes legales, técnicos y de políticas.  

En una organización de nivel empresarial, el CEO y la alta dirección son los responsables, en última instancia, de garantizar que su organización aplique una gobernanza sólida de IA a lo largo del ciclo de vida de la IA. Los asesores legales y generales son críticos para evaluar y mitigar los riesgos legales, asegurando que las aplicaciones de IA cumplan con las leyes y regulaciones pertinentes. Según un informe del IBM Institute for Business Value, el 80 % de las organizaciones tienen una parte separada de su función de riesgos dedicada a los riesgos asociados con el uso de IA o IA generativa.

Los equipos de auditoría son esenciales para validar la integridad de los datos de los sistemas de IA y confirmar que los sistemas funcionan según lo previsto sin introducir errores ni sesgos. El director financiero monitorear las participaciones financieras, gestiona los costos asociados con las iniciativas de IA y mitiga cualquier riesgo financiero. 

Sin embargo, la responsabilidad de la gobernanza de la IA no recae en una sola persona o departamento; es una responsabilidad colectiva en la que cada líder debe priorizar la responsabilidad y ayudar a garantizar que los sistemas de IA se utilicen de manera responsable y ética en toda la organización.

El director ejecutivo (CEO) y los altos directivos son responsables de establecer el tono general y la cultura de la organización. Al priorizar la gobernanza de la IA, envía a todos los empleados un mensaje claro de que todos deben usar la IA de manera responsable y ética. El director ejecutivo (CEO) y los altos cargos también pueden invertir en formación sobre gobernanza de la IA para los empleados, desarrollar activamente políticas y procedimientos internos y crear una cultura de comunicación abierta y colaboración.

La gobernanza de la IA es esencial para gestionar los rápidos avances en la tecnología de IA, especialmente con la aparición de la IA generativa. La IA generativa, que incluye tecnologías capaces de crear nuevos contenidos y soluciones, como texto, imágenes y código, tiene un gran potencial en muchos casos de uso.

Desde la mejora de los procesos creativos en diseño y medios hasta la automatización de tareas en el desarrollo de software, la IA generativa está transformando la forma en que operan las industrias. Sin embargo, con su amplia aplicabilidad surge la necesidad de una sólida gobernanza de la IA.

Los principios de la gobernanza de la IA responsable son esenciales para que las organizaciones se protejan a sí mismas y a sus clientes. Estos principios pueden orientar a las organizaciones en el desarrollo y la aplicación éticos de las tecnologías de IA, entre los que se incluyen:

• Empatía: las organizaciones deben comprender las participaciones sociales de la IA, no solo los aspectos tecnológicos y financieros. Deben anticipar y abordar el impacto de la IA en todos los stakeholders.
  
  
• Control de sesgos: es esencial examinar rigurosamente los datos de entrenamiento para evitar la incorporación de sesgos del mundo real en los algoritmos de IA, ayudando a garantizar procesos de toma de decisiones justos y sin sesgo.
  
  
• Transparencia: debe haber claridad y apertura en la forma en que los algoritmos de la IA operan y toman decisiones, con organizaciones dispuestas a explicar la lógica y el razonamiento detrás de los resultados impulsados por IA.
  
  
• Responsabilidad: las organizaciones deben establecer y adherirse proactivamente a normas estrictas para gestionar los cambios significativos que la IA puede traer consigo, manteniendo la responsabilidad por los impactos de la IA.

Aunque las normativas y las fuerzas del mercado estandarizan muchas métricas de gobernanza, las organizaciones aún deben determinar cómo equilibrar mejor las medidas para su negocio. La medición de la eficacia de la gobernanza de la IA puede variar según la organización; cada organización debe decidir a qué áreas de atención debe dar prioridad. Con áreas de interés como la calidad de los datos, la seguridad de los modelos, el análisis costo-valor, la supervisión de sesgos, la responsabilidad individual, la auditoría continua y la adaptabilidad para ajustar en función del dominio de la organización, no es una decisión única.

El gobierno de la IA no tiene "niveles" universalmente estandarizados del modo en que, por ejemplo, la ciberseguridad podría tener niveles definidos de respuesta a las amenazas. En su lugar, la gobernanza de la IA cuenta con enfoques y marcos estructurados desarrollados por diversas entidades que las organizaciones pueden adoptar o adaptar a sus necesidades específicas.

Las organizaciones pueden utilizar varios marcos y directrices para desarrollar sus prácticas de gobernanza. Algunos de los marcos más utilizados son el Marco de Gestión de Riesgos de la IA del NIST, los Principios de la OCDE sobre Inteligencia Artificial y las Directrices Éticas de la Comisión Europea para una IA confiable. Estos marcos proporcionan orientación para una serie de temas, como la transparencia, la responsabilidad, la equidad, la privacidad, la seguridad y la protección.

Los niveles de gobernanza pueden variar en función del tamaño de la organización, la complejidad de los sistemas de IA en uso y el entorno normativo en el que opera la organización.

Una visión general de estos enfoques:

El concepto de gobernanza de la IA resulta cada vez más vital a medida que la automatización, impulsada por la IA, se impone en sectores que van desde la atención médica y las finanzas hasta el transporte y los servicios públicos. Las capacidades de automatización de la IA pueden mejorar significativamente la eficiencia, la toma de decisiones y la innovación, pero también introducen retos relacionados con la responsabilidad, la transparencia y las consideraciones éticas.

La gobernanza de la IA implica establecer estructuras de control sólidas que contengan políticas, directrices y marcos para abordar estos retos. Implica establecer mecanismos para supervisar y evaluar continuamente los sistemas de IA, asegurándose de que cumplan las normas éticas establecidas y las regulaciones legales.

Las estructuras de gobernanza eficaces en la IA son multidisciplinarias e involucran a los stakeholders de diversos campos, como la tecnología, el derecho, la ética y los negocios. A medida que los sistemas de IA se vuelven más sofisticados y se integran en aspectos críticos de la sociedad, el papel de la gobernanza de la IA a la hora de guiar y dar forma a la trayectoria del desarrollo de la IA y a su impacto en la sociedad se vuelve cada vez más crucial.

Las mejores prácticas de gobernanza de la IA implican un enfoque que va más allá del mero cumplimiento para abarcar un sistema más sólido de supervisión y gestión de las aplicaciones de IA. Para los negocios de nivel empresarial, la solución de gobernanza de la IA debe permitir una amplia supervisión y control de los sistemas de IA. He aquí un ejemplo de hoja de ruta a tener en cuenta:

1. Panel visual: utilice un panel que proporcione actualizaciones en tiempo real sobre la salud y el estado de los sistemas de IA, y que ofrezca una visión clara para realizar evaluaciones rápidas.
    

2. Métricas de puntuación de estado: implemente una puntuación de estado general para los modelos de IA utilizando métricas intuitivas y fáciles de entender para simplificar la supervisión.
    

3. Monitoreo automatizado: emplee sistemas de detección automática de sesgos, desviaciones, rendimiento y anomalías para ayudar a garantizar que los modelos funcionen correcta y éticamente.
    

4. Alertas de rendimiento: establezca alertas para cuando un modelo se desvíe de sus parámetros de rendimiento predefinidos, lo que permitirá intervenir a tiempo.
    

5. Métricas personalizadas: defina métricas personalizadas que se alineen con los indicadores clave de rendimiento (KPI) y los umbrales de la organización para ayudar a garantizar que los resultados de la IA contribuyan a los objetivos empresariales.
    

6. Registros de auditoría: mantenga registros y pistas de auditoría de fácil acceso para la rendición de cuentas y para facilitar la revisión de las decisiones y comportamientos de los sistemas de IA.
    

7. Compatibilidad con herramientas de código abierto: elija herramientas de código abierto compatibles con varias plataformas de desarrollo de machine learning para beneficiarse de la flexibilidad y el soporte de la comunidad.
    

8. Integración perfecta: ayuda a garantizar que la plataforma de gobernanza de la IA se integre perfectamente con la infraestructura existente, incluidos los ecosistemas y las bases de datos, para evitar los silos y permitir flujos de trabajo eficientes.
    

Al seguir estas prácticas, las organizaciones pueden establecer un marco sólido de gobernanza de la IA que apoye el desarrollo, el despliegue y la gestión de la IA responsable, ayudando a garantizar que los sistemas de IA sean cumplidores y se alineen con las normas éticas y los objetivos de la organización.

Varios países han adoptado prácticas de gobernanza y reglamentos de IA para evitar los prejuicios y la discriminación. Es importante recordar que la regulación siempre está cambiando y las organizaciones que gestionan sistemas de IA complejos deben vigilar de cerca la evolución de los marcos legales regionales.

La Ley de Inteligencia Artificial de la Unión Europea, también conocida como Ley de IA de la UE o Ley de IA, es una ley que rige el desarrollo o uso de la inteligencia artificial (IA) en la Unión Europea (UE). La ley adopta un enfoque de regulación basado en el riesgo, aplicando diferentes reglas a la IA según los riesgos que plantean.

Considerada el primer marco regulatorio integral del mundo para la IA, la Ley de IA de la UE prohíbe algunos usos de IA de manera estricta e implementa estrictos requisitos de gobernanza, gestión de riesgos y transparencia para otros.

La ley también crea reglas para modelos de inteligencia artificial de propósito general, como el modelo fundacional de código abierto IBM Granite y Llama 3 de Meta. Las sanciones pueden oscilar entre 7.5 millones de EUR o el 1.5 % de la facturación anual mundial y 35 millones de EUR o el 7 % de la facturación anual mundial, según el tipo de incumplimiento.

El SR-11-7 es el estándar de gobierno del modelo regulatorio de EE. UU. para un modelo de gobierno efectivo y sólido en la banca.¹ La normativa exige que los responsables de los bancos apliquen iniciativas de gestión del riesgo de los modelos en toda la empresa y mantengan un inventario de los modelos implementados para su uso, en desarrollo para su implementación o recientemente retirados.

Los líderes de las instituciones también deben demostrar que sus modelos están logrando el propósito de negocio que se pretendía resolver, y que están actualizados y no se desviaron. El desarrollo y la validación del modelo deben permitir que cualquier persona que no esté familiarizada con un modelo comprenda las operaciones, las limitaciones y los supuestos clave del modelo.

La Directiva de Canadá sobre la toma de decisiones automatizada describe cómo el gobierno de ese país utiliza la IA para guiar las decisiones en varios departamentos.² La directiva utiliza un sistema de puntuación para evaluar la intervención humana, los comentarios, el monitoreo y la planificación de contingencias necesarios para una herramienta de IA construida para servir a los ciudadanos.

Las organizaciones que crean soluciones de IA con una puntuación alta deben realizar dos comentarios independientes por pares, ofrecer un aviso público en lenguaje sencillo, desarrollar una intervención humana a prueba de fallas y establecer cursos de capacitación recurrentes para el sistema. Dado que la Directiva de Canadá sobre la toma de decisiones automatizada es una guía para el propio desarrollo de la IA en el país, la regulación no afecta directamente a las empresas como lo hace la SR-11-7 en los Estados Unidos.

En abril de 2021, la Comisión Europea presentó su paquete sobre IA, que incluía declaraciones sobre el fomento de un enfoque europeo de la excelencia, la confianza y una propuesta de marco jurídico sobre IA.³

Las declaraciones declaran que, si bien la mayoría de los sistemas de IA entran en la categoría de "riesgo mínimo", los sistemas de IA identificados como de "alto riesgo" deberán cumplir con requisitos más estrictos, y los sistemas considerados de "riesgo inaceptable" serán prohibidos. Las organizaciones deben prestar mucha atención a estas reglas o arriesgarse a recibir multas.

En 2023, China emitió sus Medidas Provisionales para la Administración de Servicios de Inteligencia Artificial Generativa. Según la ley, la provisión y el uso de servicios de IA generativa deben “respetar los derechos e intereses legítimos de otros” y están obligados a “no poner en peligro el estado físico y mental de otros, y no infringir los derechos de imagen, derechos de reputación de otros , derechos de honor, derechos de privacidad y derechos de información personal”.

Otros países de la región Asia-Pacífico han publicado varios principios y directrices para gobernar la IA. En 2019, el gobierno de Singapur publicó un marco con pautas para abordar cuestiones de ética de IA en el sector privado y, más recientemente, en mayo de 2024, publicó un marco de gobierno para IA generativa. India, Japón, Corea del Sur y Tailandia también están explorando directrices y legislación para la gobernanza de la IA.³