¿Qué es la IA explicable?

La IA explicable se utiliza para describir un modelo de IA, su impacto esperado y sus posibles sesgos. Ayuda a caracterizar la precisión del modelo, la imparcialidad, la transparencia y los resultados en la toma de decisiones impulsada por la IA. La IA explicable es crucial para que una organización genere confianza al poner en producción modelos de IA. La explicabilidad de la IA también ayuda a las organizaciones a adoptar un enfoque responsable del desarrollo de la IA.

A medida que la IA se vuelve más avanzada, los humanos se enfrentan al desafío de comprender y rastrear cómo el algoritmo llegó a un resultado. Todo el proceso de cálculo se convierte en lo que comúnmente se conoce como una “caja negra” imposible de interpretar.

Estos modelos de caja negra se crean directamente a partir de los datos. Y, ni siquiera los ingenieros o científicos de datos que crean el algoritmo pueden entender o explicar qué ocurre exactamente en su interior o cómo el algoritmo de IA ha llegado a un resultado concreto.

Entender cómo un sistema habilitado por IA ha llevado a un output específico tiene muchas ventajas. La explicabilidad puede ayudar a los desarrolladores a garantizar que el sistema funcione según lo esperado, puede ser necesaria para cumplir los estándares regulatorios o puede ser importante para que los afectados por una decisión puedan impugnarla o modificarla¹.

Es crucial que una organización conozca a fondo los procesos de toma de decisiones de la IA a través de la monitorización de modelos y la responsabilidad de la IA, y que no confíe ciegamente en ellos. La IA explicable puede ayudar a los humanos a entender y explicar algoritmos de machine learning (ML), deep learning y redes neuronales.

Los modelos de ML (machine learning) suelen considerarse cajas negras imposibles de interpretar.² Las redes neuronales utilizadas en el deep learning son algunas de las más difíciles de entender para un humano. El sesgo, generalmente basado en la raza, el sexo, la edad o el lugar de residencia, ha sido durante mucho tiempo un riesgo en el entrenamiento de modelos de IA.

Además, el rendimiento del modelo de IA puede variar o degradarse porque los datos de producción difieren de los datos de entrenamiento. Esto hace que sea crucial para una empresa monitorizar y gestionar continuamente modelos para promover la explicabilidad de la IA mientras mide el impacto comercial del uso de dichos algoritmos.

La IA explicable también ayuda a promover la confianza del usuario final, la auditabilidad del modelo y el uso productivo de la IA. También mitiga los riesgos de conformidad, legales, de seguridad y de reputación de la IA de producción.

La IA explicable es uno de los requisitos clave para implantar una IA responsable, una metodología para la aplicación a gran escala de métodos de IA en organizaciones reales con equidad, explicabilidad de los modelos y responsabilidad.³ Para ayudar a adoptar la IA de forma responsable, las organizaciones deben integrar principios éticos en las aplicaciones y procesos de IA mediante la creación de sistemas de IA basados en la confianza y la transparencia.

Gracias a la IA explicable y al machine learning interpretable, las organizaciones pueden acceder al proceso de toma de decisiones subyacente de la tecnología de IA y tener el poder de realizar ajustes. La IA explicable puede mejorar la experiencia del usuario de un producto o servicio al ayudar al usuario final a confiar en la buena toma de decisiones de la IA. ¿Cuándo dan los sistemas de IA suficiente confianza en la decisión como para fiarse de ella, y cómo puede el sistema de IA corregir los errores que surjan⁴?

A medida que la IA avanza, los procesos de ML aún deben entenderse y controlarse para garantizar que los resultados de los modelos de IA sean precisos. Veamos la diferencia entre IA y XAI, los métodos y técnicas utilizados para convertir la IA en XAI y la diferencia entre interpretar y explicar los procesos de IA.

¿Cuál es exactamente la diferencia entre la IA "normal" y la IA explicable? La IA explicable implementa técnicas y métodos específicos para garantizar que cada decisión tomada durante el proceso de ML pueda ser rastreada y explicada.

La IA, por su parte, suele llegar a un resultado utilizando un algoritmo de ML, pero los arquitectos de los sistemas de IA no terminan de comprender cómo el algoritmo ha llegado a ese resultado. Esto dificulta la verificación de la exactitud y conduce a la pérdida de control, responsabilidad y auditabilidad.

La configuración de las técnicas XAI consta de tres métodos principales. La precisión de las predicciones y la trazabilidad responden a las necesidades tecnológicas, mientras que la comprensión de las decisiones responde a las necesidades humanas. La IA explicable, especialmente el machine learning explicable, será esencial para que los futuros combatientes comprendan, confíen adecuadamente y gestionen con eficacia una generación emergente de socios de máquinas artificialmente inteligentes⁵.

La precisión es un componente clave del éxito del uso de la IA en las operaciones diarias. Realizando simulaciones y comparando los resultados de XAI con los del conjunto de datos de entrenamiento, puede determinarse la precisión de la predicción. La técnica más utilizada para ello son las explicaciones locales interpretables del modelo (LIME, Local Interpretable Model-Agnostic Explanations), que explican la predicción de los clasificadores mediante el algoritmo de ML.

La trazabilidad es otra técnica clave para lograr la XAI. Esto se consigue, por ejemplo, limitando la forma en que pueden tomarse las decisiones y estableciendo un alcance más limitado para las reglas y características del ML. Un ejemplo de técnica XAI de trazabilidad es DeepLIFT (Deep Learning Important FeaTures), que compara la activación de cada neurona con su neurona de referencia y muestra un vínculo trazable entre cada neurona activada, e incluso muestra dependencias entre ellas.

Este es el factor humano. Mucha gente no confía en la IA, pero para trabajar con ella de forma eficiente, necesitan aprender a hacerlo. Esto se consigue educando al equipo que trabaja con la IA para que pueda entender cómo y por qué la IA toma decisiones.

La interpretabilidad es el grado en que un observador puede comprender la causa de una decisión. Es el porcentaje de éxito que los humanos pueden predecir en lo que respecta a los resultados de la IA, mientras que la explicabilidad va un paso más allá y analiza cómo la IA ha llegado a dichos resultados.

La IA explicable y la IA responsable tienen objetivos similares, pero enfoques diferentes. Estas son las principales diferencias entre la IA explicable y la responsable:

• La IA explicable examina los resultados de la IA después de calcularlos.
• La IA responsable analiza la IA durante las fases de planificación para hacer que el algoritmo de IA sea responsable antes de que se computen los resultados.
• La IA explicable y la responsable pueden trabajar juntas para crear una IA mejor.

Con la IA explicable, una empresa puede solucionar problemas y mejorar el rendimiento de los modelos al tiempo que ayuda a las partes interesadas a comprender los comportamientos de los modelos de IA. Investigar los comportamientos de los modelos mediante el seguimiento de su estado de implementación y de su imparcialidad, calidad y desviación es esencial para escalar la IA.

La evaluación continua de los modelos permite a las empresas comparar las predicciones de los modelos, cuantificar su riesgo y optimizar su rendimiento. Mostrar valores positivos y negativos en los comportamientos del modelo, con datos utilizados para generar explicaciones, acelera las evaluaciones de los modelos. Una plataforma de datos e IA puede generar atribuciones de características para predicciones de modelos y permitir a los equipos investigar visualmente su comportamiento con gráficos interactivos y documentos exportables.

Para impulsar resultados deseables con IA explicable, tenga en cuenta los siguientes aspectos:

Imparcialidad y eliminación de sesgos: gestione y monitorice la imparcialidad. Analice su implementación en busca de posibles sesgos.

Mitigación de la desviación de modelos: analice su modelo y haga recomendaciones basadas en el resultado más lógico. Avise cuando los modelos se desvíen de los resultados previstos.

Gestión del riesgo de los modelos: cuantifique y mitigue el riesgo de los modelos. Reciba alertas cuando un modelo funcione de manera inadecuada. Comprenda qué es lo que hace que las desviaciones persistan.

Automatización del ciclo de vida: cree, ejecute y gestione modelos como parte de los servicios integrados de datos e IA. Unifique las herramientas y procesos en una plataforma para monitorizar modelos y compartir resultados. Explique las dependencias de los modelos de machine learning.

Preparación para multinube: implemente proyectos de IA en nubes híbridas, incluidas nubes públicas, privadas y en las instalaciones. Fomente la confianza gracias a la IA explicable.

• Sanidad: Acelerar el diagnóstico, el análisis de imágenes, la optimización de recursos y el diagnóstico médico. Mejorar la transparencia y la trazabilidad en la toma de decisiones para la atención al paciente. Racionalizar el proceso de aprobación farmacéutica con IA explicable.

• Servicios financieros: Mejorar la experiencia del cliente con un proceso transparente de aprobación de préstamos y créditos. Evaluaciones rápidas del riesgo de crédito, de gestión de patrimonios y del riesgo de delitos financieros. Acelerar la resolución de posibles reclamaciones y problemas. Incrementar la confianza en la tarificación, las recomendaciones de productos y los servicios de inversión.

• Justicia penal: optimice los procesos de predicción y evaluación de riesgos. Acelere las resoluciones utilizando IA explicable en el análisis de ADN, análisis de la población reclusa y previsión de la delincuencia. Detecte posibles sesgos en los datos y algoritmos de entrenamiento.