¿Qué es human-in-the-loop?

El machine learning (ML) ha avanzado mucho en los últimos años, pero incluso los modelos de deep learning más avanzados pueden tener dificultades con la ambigüedad, los sesgos o los casos extremos que se desvían de sus datos de entrenamiento. El feedback humano puede ayudar a mejorar los modelos y a actuar como salvaguarda cuando los sistemas de IA no funcionan correctamente. HITL incorpora el conocimiento humano en el "bucle" ("loop"), es decir, en el ciclo continuo de interacción y feedback entre los sistemas de IA y los seres humanos.

El objetivo de HITL es permitir que los sistemas de IA alcancen la eficiencia de la automatización sin sacrificar la precisión, los matices y el razonamiento ético de la supervisión humana.

El machine learning human-in-the-loop (o con intervención humana) permite a las personas supervisar y aportar información a los flujos de trabajo de la IA. Estas son los principales beneficios del human-in-the-loop:

• Precisión y fiabilidad

• Toma de decisiones éticas y responsabilidad

• Transparencia y explicabilidad

El objetivo de automatizar los flujos de trabajo es minimizar la cantidad de tiempo y esfuerzo que los humanos dedican a gestionarlos. Sin embargo, los flujos de trabajo automatizados pueden fallar de muchas maneras. A veces, los modelos se enfrentan a casos extremos para los que no han sido entrenados. El enfoque HITL permite a los seres humanos corregir entradas incorrectas, lo que brinda al modelo la oportunidad de mejorar con el tiempo. Los seres humanos pueden identificar comportamientos anómalos gracias a su experiencia en la materia, que luego puede incorporarse a la comprensión del modelo.

En aplicaciones de alto riesgo, los seres humanos pueden imponer alertas, revisiones y medidas de seguridad para ayudar a garantizar que las decisiones autónomas se verifiquen. Pueden detectar outputs sesgados o engañosos y evitar así consecuencias negativas posteriores. El feedback humano continuo ayuda a los modelos de IA a adaptarse a entornos cambiantes.

El sesgo es una preocupación constante en el machine learning y, aunque se sabe que la inteligencia humana es bastante sesgada en ocasiones, la intervención humana puede ayudar a identificar y mitigar el sesgo integrado en los datos y los propios algoritmos, lo que fomenta la equidad en los resultados de la IA.

Cuando un humano participa en la aprobación o anulación de los outputs de la IA, la responsabilidad no recae únicamente en el modelo o sus desarrolladores.

Algunas decisiones requieren un razonamiento ético que puede exceder las capacidades de un modelo. Por ejemplo, las recomendaciones de una plataforma algorítmica de contratación podrían perjudicar a determinados grupos históricamente marginados. Aunque los modelos de ML han avanzado mucho en los últimos años en su capacidad para incorporar matices en su razonamiento, a veces la supervisión humana sigue siendo el enfoque más adecuado. El sistema HITL permite a los seres humanos, que comprenden mejor las normas, el contexto cultural y las zonas grises éticas, detener o anular los outputs automatizados en caso de dilemas complejos.

Un enfoque que incluya la intervención humana puede proporcionar un registro de los motivos por los que se ha revocado una decisión, con un historial de auditoría que favorece la transparencia y las revisiones externas. Esta documentación permite una defensa jurídica más sólida, auditorías de cumplimiento y revisiones internas de rendición de cuentas.

Algunas normativas sobre IA exigen ciertos niveles de HITL. Por ejemplo, el artículo 14 de la Ley de IA de la UE establece que "los sistemas de IA de alto riesgo se diseñarán y desarrollarán de tal manera, incluyendo herramientas adecuadas de interfaz hombre-máquina, que puedan ser supervisados eficazmente por personas físicas durante el período en que estén en uso".

Según la normativa, esta supervisión debe prevenir o minimizar los riesgos para la salud, la seguridad o los derechos fundamentales mediante métodos que incluyen el funcionamiento manual, la intervención, la anulación y la monitorización en tiempo real. Las personas encargadas de llevarla a cabo deben ser "competentes", comprender las capacidades y limitaciones del sistema, estar capacitadas para utilizarlo de manera adecuada y tener autoridad para intervenir cuando sea necesario. El objetivo de esta supervisión es fomentar la prevención de daños y el funcionamiento adecuado.

Al detectar los errores antes de que causen daños, la tecnología HITL actúa como una red de seguridad, especialmente en sectores de alto riesgo o regulados, como la sanidad o las finanzas. Los enfoques HITL ayudan a mitigar el efecto "caja negra", en el que no está claro el razonamiento subyacente a los resultados de la IA. La incorporación de la supervisión y el control humanos en los procesos de desarrollo e implementación permite a los profesionales identificar y mitigar los riesgos técnicos, éticos, legales y operativos.

El enfoque HITL es excelente para mejorar el rendimiento de los sistemas de machine learning, pero no está exento de inconvenientes.

• Escalabilidad y coste

• Error humano e inconsistencia

• Privacidad y seguridad

La anotación humana puede ser lenta y costosa, sobre todo en el caso de grandes conjuntos de datos o bucles de feedback iterativos. A medida que aumenta el volumen de datos o la complejidad del sistema, la intervención humana puede convertirse en un cuello de botella. Por ejemplo, etiquetar millones de imágenes para un modelo de visión artificial con alta precisión puede requerir miles de horas de trabajo humano. En algunos ámbitos, como la medicina o el derecho, es necesario contar con la participación de expertos, lo que resulta aún más costoso. Un tumor mal etiquetado en una imagen médica podría dar lugar a un error grave.

Aunque los seres humanos pueden proporcionar una mayor precisión, en algunos aspectos pueden estar más sesgados y ser más propensos a cometer errores que las máquinas. Los seres humanos pueden interpretar los datos o las tareas de forma diferente, sobre todo en ámbitos en los que no hay una respuesta claramente correcta o incorrecta. Los anotadores humanos pueden cansarse, distraerse o confundirse al etiquetar los datos. Además, tienen diferentes puntos de vista sobre problemas subjetivos, lo que puede dar lugar a incoherencias en el etiquetado.

Involucrar a personas en los procesos de revisión interna puede plantear problemas de privacidad. Incluso los anotadores bienintencionados podrían filtrar o hacer un uso indebido de los datos confidenciales a los que acceden durante el proceso de feedback.

La introducción de feedback humanos específico y de alta calidad antes, durante y después del entrenamiento crea un ciclo de feedback que acelera el aprendizaje y hace que los modelos de machine learning sean más robustos, interpretables y adaptados a las necesidades del mundo real. A continuación, se muestran algunas formas de integrar la interacción humana en los flujos de trabajo de la IA.

• Aprendizaje supervisado

• RLHF

• Aprendizaje activo

Las aplicaciones de aprendizaje supervisado requieren que los científicos de datos etiqueten correctamente los datos. Este proceso de etiquetado de datos da como resultado conjuntos de datos que luego se utilizan para entrenar un algoritmo de machine learning. Se trata de un flujo de trabajo en el que la intervención humana es esencial.

Por ejemplo, en un contexto de procesamiento del lenguaje natural, un enfoque supervisado podría implicar que los seres humanos etiqueten el texto como "spam" o "no spam" para enseñar a una máquina a realizar correctamente esa distinción. En un caso de uso de visión artificial, un enfoque supervisado podría consistir en que los seres humanos etiqueten una serie de imágenes como "coche", "autobús" o "motocicleta", para que un modelo pueda realizar tareas de detección de objetos.

Por ejemplo, el aprendizaje por refuerzo a partir del feedback humano (RLHF) utiliza un "modelo de recompensa" entrenado con feedback humano directo para optimizar el rendimiento de un agente de inteligencia artificial mediante el aprendizaje por refuerzo. El RLHF es especialmente adecuado para tareas con objetivos complejos, mal definidos o difíciles de especificar.

En el aprendizaje activo, el modelo identifica las predicciones inciertas o de baja confianza y solicita la intervención humana solo cuando es necesario. Así, se concentra el esfuerzo de etiquetado en los ejemplos más difíciles o ambiguos, lo que conduce a un aprendizaje más rápido y preciso.