¿Qué es human-in-the-loop?

El machine learning (ML) ha logrado avances asombrosos en los últimos años, pero incluso los modelos aprendizaje profundo más avanzados pueden tener problemas de ambigüedad, sesgo o casos extremos que se desvían de sus datos de entrenamiento. La retroalimentación humana puede ayudar a mejorar los modelos y servir como protección cuando los sistemas de IA funcionan a niveles insuficientes. HITL inserta la visión humana en el “bucle”, el ciclo continuo de interacción y retroalimentación entre los sistemas de IA y los humanos.

El objetivo de HITL es permitir que los sistemas de IA alcancen la eficiencia de la automatización sin sacrificar la precisión, los matices y el razonamiento ético de la supervisión humana.

El machine learning human-in-the-loop (o con intervención humana) permite a las personas supervisar y aportar información a los flujos de trabajo de la IA. Estas son los principales beneficios del human-in-the-loop:

• Precisión y fiabilidad

• Toma de decisiones éticas y responsabilidad

• Transparencia y explicabilidad

El objetivo de automatizar los flujos de trabajo es minimizar la cantidad de tiempo y esfuerzo que los humanos tienen que dedicar a gestionarlos. Sin embargo, los flujos de trabajo automatizados pueden salir mal de muchas maneras. A veces, los modelos se encuentran con casos extremos para los que su entrenamiento no los ha equipado. Un enfoque permite a los humanos corregir entradas incorrectas, lo que le da al modelo la oportunidad de mejorar con el tiempo. Los humanos pueden identificar comportamientos anómalos utilizando su experiencia en la materia, que luego pueden incorporarse a la comprensión del modelo.

En aplicaciones de alto riesgo, los humanos pueden imponer alertas, comentarios humanos y mecanismos de seguridad para ayudar a garantizar que se verifiquen las decisiones autónomas. Pueden detectar resultados con sesgo o engañosos, evitando resultados negativos posteriores. La retroalimentación humana continua ayuda a los modelos de IA a adaptarse a entornos cambiantes.

El sesgo es una preocupación constante en el machine learning y, aunque la inteligencia humana es conocida por ser bastante con sesgo a veces, una capa adicional de participación humana puede ayudar a identificar y mitigar el sesgo que está incrustado en los propios datos y algoritmos , lo que fomenta la equidad en los resultados de la IA.

Cuando un humano participa en la aprobación o anulación de los resultados de la IA, la responsabilidad no recae únicamente en el modelo o sus desarrolladores.

Algunas decisiones requieren un razonamiento ético que puede estar más allá de las capacidades de un modelo. Por ejemplo, las recomendaciones de una plataforma de contratación algorítmica podrían poner en desventaja a ciertos grupos históricamente marginados. Si bien los modelos de aprendizaje automático (ML) han logrado grandes avances en los últimos años en su capacidad para incorporar matices en su razonamiento, a veces la supervisión humana sigue siendo el mejor Approach®. HITL permite a los humanos, que tienen una mejor comprensión de las normas, el contexto cultural y las áreas grises éticas, pausar o anular los resultados automatizados en caso de dilemas complejos.

Un enfoque de participación humana puede proporcionar un registro de por qué se anuló una decisión con una pista de auditoría que respalde la transparencia y los comentarios. Esta documentación permite una defensa legal más sólida, auditorías de cumplimiento y comentarios internos de responsabilidad.

Algunas regulaciones de IA exigen ciertos niveles de HITL. Por ejemplo, el artículo 14 de la Ley de IA de la UEdice que “Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de tal manera, incluso con herramientas de interfaz hombre-máquina adecuadas, que puedan ser monitorear eficazmente por personas físicas durante el periodo en que estén en uso”.

Según el reglamento, esta supervisión debe prevenir o minimizar los riesgos para el estado, la seguridad o los derechos fundamentales, con métodos que incluyen la operación manual, la intervención, la anulación y la supervisión en tiempo real. Las personas implicadas deben ser "competentes" para ello, comprender las capacidades y limitaciones del sistema, estar formadas en su uso correcto y tener autoridad para intervenir cuando sea necesario. Esta supervisión tiene por objeto fomentar la evitación de daños y el buen funcionamiento.

Al detectar errores antes de que causen daño, HITL actúa como una red de seguridad, especialmente en sectores de alto riesgo o regulados como la salud o las finanzas. Los enfoques de HITL ayudan a mitigar el efecto de caja negra donde el razonamiento detrás de los resultados de la IA no está claro. La incorporación de la supervisión y el control humanos en los procesos de desarrollo y despliegue ayuda a los profesionales a identificar y mitigar el riesgo, ya sea un riesgo técnico, ético, legal u operativo.

HITL es un gran enfoque para mejorar el rendimiento de los sistemas de machine learning, pero no está exento de inconvenientes.

• Escalabilidad y costo

• Error humano e inconsistencia

• Privacidad y seguridad

La anotación humana puede ser lenta y costosa, especialmente para conjuntos de datos grandes o ciclos de retroalimentación iterativos. A medida que aumenta el volumen de datos o la complejidad del sistema, depender de los humanos puede convertir en un cuello de botella. Etiquetar millones de imágenes para un modelo de visión por computadora con alta precisión, por ejemplo, puede requerir miles de horas de trabajo humano. Algunos campos, como la medicina o el derecho, pueden requerir expertos en la materia incluso más costosos. Un tumor mal etiquetado en una tomografía computarizada médica podría provocar un error grave.

Aunque los humanos pueden proporcionar una mayor precisión, en algunos aspectos pueden ser más sesgosos y propensos a cometer errores que las máquinas. Los humanos pueden interpretar datos o tareas de manera diferente, especialmente en dominios sin una respuesta clara correcta o incorrecta. Los anotadores humanos, al ser humanos, pueden cansar, distraer o confundir al etiquetar datos. También tienen varias perspectivas sobre problemas subjetivos, que pueden conducir a inconsistencias en el etiquetado.

La participación de personas en los procesos de revisión interna puede plantear problemas de privacidad, e incluso los anotadores bienintencionados podrían filtrar o emplear de forma indebida datos confidenciales a los que acceden durante el feedback.

La introducción de feedback humano específico y de alta calidad antes, durante y después del entrenamiento crea un ciclo de feedback que acelera el aprendizaje y hace que los modelos de machine learning sean más sólidos, interpretables y alineados con las necesidades del mundo real. Estas son algunas formas en que la interacción humana puede integrarse en los flujos de trabajo de IA.

• Aprendizaje supervisado

• rlhf

• Aprendizaje activo

Las aplicaciones deaprendizaje supervisado requieren que los científicos de datos etiqueten correctamente los datos. Esta anotación de datos da como resultado conjuntos de datos que luego se utilizan para entrenar un algoritmo de machine learning. Este es un flujo de trabajo donde la entrada humana es esencial y ante todo.

Por ejemplo, un enfoque supervisado en un contexto de procesamiento de lenguaje natural podría implicar que los humanos etiqueten el texto como "spam" o "no spam" para enseñar a una máquina a hacer tales distinciones con éxito. En un caso de uso de visión artificial, un enfoque supervisado podría implicar que los humanos etiqueten una serie de imágenes como "automóvil", "autobús" o "motocicleta", para que un modelo pueda realizar tareas de detección de objetos.

En otro ejemplo, el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) utiliza un “modelo de recompensa” entrenado con retroalimentación humana directa, que luego se utiliza para optimizar el desempeño de un agente de inteligencia artificial a través del aprendizaje por refuerzo. El RLHF es especialmente adecuado para tareas con objetivos complejos, mal definidos o difíciles de especificar.

En el aprendizaje activo, el modelo identifica las predicciones inciertas o poco fiables y aplicar la intervención humana sólo cuando es necesario. Esto concentra el esfuerzo de etiquetado en los ejemplos más difíciles o ambiguos, lo que permite un aprendizaje más rápido y preciso.