Puesta en práctica de los principios de la IA responsable para la defensa
La inteligencia artificial (IA) está transformando la sociedad, incluido el carácter mismo de la seguridad nacional. Reconociendo esto, el Departamento de Defensa (DoD) lanzó el Centro Conjunto de Inteligencia Artificial (JAIC) en 2019, el predecesor de la Oficina Principal de Inteligencia Digital y Artificial (CDAO), para desarrollar soluciones de IA que generen una ventaja militar competitiva, condiciones para humanos- la adopción de la IA y la agilidad de las operaciones del Departamento de Defensa. Sin embargo, los obstáculos para escalar, adoptar y aprovechar todo el potencial de la IA en el Departamento de Defensa son similares a los del sector privado.
Una encuesta reciente de IBM encontró que las principales barreras que impiden una implementación exitosa de la IA incluyen habilidades y experiencia limitadas en IA, complejidad de los datos y preocupaciones éticas. Además, según el IBM Institute of Business Value, el 79 % de los ejecutivos afirma que la ética de la IA es importante para su enfoque de IA en toda la empresa, aunque menos del 25 % ha puesto en práctica principios comunes de la ética de la IA. Ganarse la confianza en los resultados de los modelos de IA es un desafío sociotécnico que requiere una solución sociotécnica.
Los líderes de defensa centrados en hacer operativa la curación responsable de la IA deben ponerse de acuerdo primero sobre un vocabulario compartido, una cultura común que guíe el uso seguro y responsable de la IA, antes de implementar soluciones tecnológicas y barreras de seguridad que mitiguen el riesgo. El Departamento de Defensa puede sentar una base sólida para lograrlo mejorando la alfabetización en IA y asociándose con organizaciones de confianza para desarrollar una gobernanza alineada con sus objetivos y valores estratégicos.
Es importante que el personal sepa cómo implementar la IA para mejorar la eficiencia de la organización. Pero es igualmente importante que tengan un conocimiento profundo de los riesgos y limitaciones de la IA y de cómo implementar las medidas de seguridad y las barreras éticas adecuadas. Estas son las apuestas de base para el Departamento de Defensa o cualquier agencia de gobierno.
Una ruta de aprendizaje de IA personalizada puede ayudar a identificar las lagunas y la formación necesaria para que el personal obtenga los conocimientos que necesita para sus funciones específicas. La alfabetización en IA en toda la institución es esencial para que todo el personal evalúe, describa y responda rápidamente a amenazas virales y peligrosas de rápido movimiento, como la desinformación y los deepfakes.
IBM aplica la alfabetización en IA de forma personalizada dentro de nuestra organización, ya que la definición de la alfabetización esencial varía en función del puesto de una persona.
Como líder en inteligencia artificial fiable, IBM tiene experiencia en el desarrollo de marcos de gobierno que guían el uso responsable de la IA en consonancia con los valores de las organizaciones clientes. IBM también tiene sus propios marcos para el uso de la IA dentro de la propia IBM, informando posiciones políticas como el uso de la tecnología de reconocimiento facial.
Las herramientas de IA se utilizan ahora en la seguridad nacional y para ayudar a proteger contra las vulneraciones de datos y los ciberataques. Pero la IA también apoya otros objetivos estratégicos del Departamento de Defensa. Puede amplificar al personal, ayudar a que sean más eficaces y ayudarles a reciclarse. Puede ayudar a crear cadenas de suministro resilientes para apoyar a soldados, marineros, aviadores e infantes de marina en roles de guerra, ayuda humanitaria, mantenimiento de la paz y socorro en casos de desastre.
La CDAO incluye cinco principios éticos de responsabilidad, equidad, trazabilidad, fiabilidad y gobernabilidad como parte de su kit de herramientas de IA responsable. Basados en el marco ético existente del ejército estadounidense, estos principios se basan en los valores militares y ayudan a mantener su compromiso con la IA responsable.
Debe haber un esfuerzo concertado para hacer realidad estos principios mediante la consideración de los requisitos funcionales y no funcionales en los modelos y los sistemas de gobierno en torno a esos modelos. A continuación, proporcionamos recomendaciones generales para la operacionalización de los principios éticos de la CDAO.
1. Responsable
"El personal del DoD ejercerá los niveles adecuados de juicio y cuidado, sin dejar de ser responsable del desarrollo, implementación y uso de las capacidades de la IA".
Todo el mundo está de acuerdo en que los modelos de IA deben ser desarrollados por personal cuidadoso y considerado, pero ¿cómo pueden las organizaciones capacitar a las personas para que hagan este trabajo? Recomendamos:
- Fomentar una cultura organizativa que reconozca la naturaleza sociotécnica de los retos de la IA. Esto debe comunicarse desde el principio, y debe haber un reconocimiento de las prácticas, los conjuntos de habilidades y la consideración que deben ponerse en los modelos y su gestión para monitorizar el rendimiento.
- Detallar las prácticas éticas a lo largo del ciclo de vida de la IA, correspondientes a los objetivos empresariales (o misión), preparación y modelado de datos, evaluación e implementación. El modelo CRISP-DM es útil aquí. El método de ciencia de datos a escala de IBM, una extensión de CRISP-DM, ofrece gobierno en todo el ciclo de vida de los modelos de IA informado por la entrada de colaboración de científicos de datos, psicólogos industriales y organizativos, diseñadores, especialistas en comunicación y otros. El método combina las buenas prácticas en ciencia de datos, gestión de proyectos, marcos de diseño y gobierno de la IA. Los equipos pueden ver y comprender fácilmente los requisitos en cada etapa del ciclo de vida, incluida la documentación, con quién necesitan hablar o colaborar y los próximos pasos.
- Proporcionar metadatos de modelos de IA interpretables (por ejemplo, como fichas informativas) que especifiquen las personas responsables, los puntos de referencia de rendimiento (en comparación con humanos), los datos y métodos utilizados, los registros de auditoría (fecha y por quién) y el propósito y los resultados de la auditoría.
Nota: Estas medidas de responsabilidad deben ser interpretables por personas no expertas en IA (sin "explicaciones matemáticas").
2. Equitativo
"El Departamento tomará medidas deliberadas para minimizar el sesgo involuntario en las capacidades de la IA".
Todo el mundo está de acuerdo en que el uso de los modelos de IA debe ser justo y no discriminatorio, pero ¿cómo ocurre esto en la práctica? Recomendamos:
- Establecer un centro de excelencia para ofrecer a equipos diversos y multidisciplinares una comunidad de formación aplicada para identificar posibles impactos dispares.
- Utilizar herramientas de auditoría para reflejar el sesgo exhibido en los modelos. Si la reflexión se alinea con los valores de la organización, la transparencia en torno a los datos y métodos elegidos es clave. Si la reflexión no se alinea con los valores de la organización, es una señal de que algo debe cambiar. Descubrir y mitigar el posible impacto dispar causado por el sesgo implica mucho más que examinar los datos con los que se entrenó el modelo. Las organizaciones también deben examinar a las personas y los procesos implicados. Por ejemplo, ¿se han comunicado claramente los usos apropiados e inapropiados del modelo?
- Medir la equidad y hacer que los estándares de equidad sean que se puede ejecutar al proporcionar requisitos funcionales y no funcionales para diferentes niveles de servicio.
- Utilizar marcos de design thinking para evaluar los efectos no deseados de los modelos de IA, determinar los derechos de los usuarios finales y operacionalizar los principios. Es esencial que los ejercicios de design thinking incluyan a personas con experiencias vividas muy variadas,cuanto más diversas, mejor.
3. Trazabilidad
"Las capacidades de IA del Departamento se desarrollarán e implementarán de manera que el personal pertinente posea una comprensión adecuada de la tecnología, los procesos de desarrollo y los métodos operativos aplicables a las capacidades de IA, incluso con metodologías, fuentes de datos y procedimientos de diseño y documentación transparentes y auditables".
Operacionalice la trazabilidad proporcionando directrices claras a todo el personal que utilice IA:
- Deje siempre claro a los usuarios cuándo interactúan con un sistema de IA.
- Proporcione una base de contenido para los modelos de IA. Capacite a los expertos en dominios para seleccionar y mantener fuentes de datos fiables utilizadas para entrenar modelos. El output del modelo se basa en los datos con los que se entrenó.
IBM y sus socios pueden proporcionar soluciones de IA con contenido integral y auditable imprescindible para casos de uso de alto riesgo.
- Capture metadatos clave para hacer que los modelos de IA sean transparentes y realice un seguimiento del inventario de modelos. Asegúrese de que estos metadatos sean interpretables y de que la información correcta esté expuesta al personal adecuado. La interpretación de datos requiere práctica y es un esfuerzo interdisciplinario. En IBM, nuestro grupo de Diseño para la IA tiene como objetivo educar a los empleados sobre el papel fundamental de los datos en la IA (entre otros fundamentos) y dona marcos a la comunidad de código abierto.
- Haga que estos metadatos sean fácilmente localizables por las personas (en última instancia, en la fuente de output).
- Incluya el human-in-the-loop, ya que la IA debería amplificar y ayudar a los humanos. Esto permite a los humanos proporcionar comentarios sobre el funcionamiento de los sistemas de IA.
- Cree procesos y marcos para evaluar el impacto dispar y los riesgos de seguridad mucho antes de implementar o adquirir el modelo. Designe personas responsables para mitigar estos riesgos.
4. Fiable
"Las capacidades de IA del Departamento tendrán usos explícitos y bien definidos, y la seguridad y la eficacia de dichas capacidades estarán sujetas a pruebas y garantías dentro de esos usos definidos a lo largo de todo su ciclo de vida".
Las organizaciones deben documentar casos de uso bien definidos y luego probar el cumplimiento. Operacionalizar y escalar este proceso requiere una fuerte alineación cultural para que los profesionales se adhieran a los más altos estándares incluso sin una supervisión directa constante. Las buenas prácticas incluyen:
- Establecer comunidades que reafirmen constantemente por qué son esenciales resultados justos y fiables. Muchos profesionales creen sinceramente que simplemente con tener las mejores intenciones, no puede haber un impacto dispar. Esto es un error. La formación aplicada por parte de líderes comunitarios altamente comprometidos que hacen que las personas se sientan escuchadas e incluidas es crítico.
- Construir fundamentos de pruebas de fiabilidad en torno a las directrices y estándares para los datos utilizados en el entrenamiento de modelos. La mejor manera de hacerlo realidad es ofrecer ejemplos de lo que puede suceder cuando falta este escrutinio.
- Limite el acceso de los usuarios al desarrollo del modelo, pero recopile diversas perspectivas al inicio de un proyecto para mitigar el sesgo de introducción.
- Realice comprobaciones de privacidad y seguridad a lo largo de todo el ciclo de vida de la IA.
- Incluya medidas de precisión en las auditorías programadas regularmente. Sea inequívocamente franco sobre cómo se compara el rendimiento del modelo con el de un ser humano. Si el modelo no proporciona un resultado preciso, detalle quién es responsable de ese modelo y qué recursos tienen los usuarios. (Todo esto debe integrarse en los metadatos interpretables y localizables).
5. Gobernable
"El Departamento diseñará y diseñará capacidades de IA para cumplir con sus funciones previstas, al tiempo que posee la capacidad de detectar y evitar consecuencias no deseadas, y la capacidad de desconectar o desactivar los sistemas implementados que demuestran un comportamiento no deseado".
La operacionalización de este principio requiere:
- La inversión en modelos de IA no se detiene en la implementación. Dedique recursos para asegurar que los modelos sigan comportándose como se desea y se espera. Evalúe y mitigue el riesgo a lo largo del ciclo de vida de la IA, no solo después de la implementación.
- Designar a una parte responsable que tenga un mandato financiado para realizar el trabajo de gobierno. Deben tener poder.
- Invierta en comunicación, creación de comunidades y formación. Aproveche herramientas como watsonx.governance para monitorizar los sistemas de IA.
- Capture y gestione el inventario de modelos de IA como se describe anteriormente.
- Implemente medidas de ciberseguridad en todos los modelos.
IBM ha estado a la vanguardia del avance de los principios de IA fiables y ha sido líder de opinión en el gobierno de los sistemas de IA desde su nacimiento. Seguimos principios arraigados de confianza y transparencia que dejan claro que el papel de la IA es amplificar, no sustituir, la experiencia y el juicio humanos.
En 2013, IBM se embarcó en el viaje de la explicabilidad y la transparencia en IA y machine learning. IBM es líder en ética de la IA, nombró a un líder mundial en ética de la IA en 2015 y creó un consejo de ética de la IA en 2018. Estos expertos trabajan para ayudar a garantizar que nuestros principios y compromisos se respeten en nuestros compromisos comerciales globales. En 2020, IBM donó sus kits de herramientas de IA responsable a la Fundación Linux para ayudar a construir el futuro de una IA justa, segura y fiable.
IBM lidera los esfuerzos globales para dar forma al futuro de la IA responsable y las métricas, estándares y buenas prácticas de IA ética:
- Compromiso con la administración del presidente Biden en el desarrollo de su Orden Ejecutiva de IA
- Divulgación/presentación de más de 70 patentes para una IA responsable
- El CEO de IBM, Arvind Krishna, copreside el comité directivo de la Global IA Action Alliance lanzado por el Foro Económico Mundial (WEF),
- Alliance se centra en acelerar la adopción de una inteligencia artificial inclusiva, transparente y fiable a nivel mundial
- Coautor de dos artículos publicados por el WEF sobre IA generativa para desbloquear valor y desarrollar sistemas y tecnologías seguros.
- Copresidente del comité de IA de confianza Linux Foundation AI
- Contribuyó al marco de gestión de riesgos de IA del NIST; colaborar con el NIST en el área de métricas, estándares y pruebas de IA
Curar una IA responsable es un reto multifacético porque exige que los valores humanos se reflejen de forma fiable y coherente en nuestra tecnología. Pero vale la pena el esfuerzo. Creemos que las directrices anteriores pueden ayudar al Departamento de Defensa a poner en funcionamiento una IA fiable y a cumplir su misión.
Para obtener más información sobre cómo IBM puede ayudarle, visite AI Governance Consulting | IBM
Más recursos: