O que é human in the loop?

O aprendizado de máquina (ML) obteve avanços surpreendentes nos últimos anos, mas mesmo os modelos mais avançados de deep learning podem enfrentar ambiguidade, viés ou casos extremos que se desviam de seus dados de treinamento. O feedback humano pode ajudar a melhorar os modelos e servir como uma proteção para quando os sistemas de IA funcionam em níveis insuficientes. O HITL insere o insight humano no "circuito", o ciclo contínuo de interação e feedback entre os sistemas de IA e os seres humanos.

O objetivo do HITL é permitir que os sistemas de IA alcancem a eficiência da automação sem sacrificar a precisão, as nuances e o raciocínio ético da supervisão humana.

O aprendizado de máquina human in the loop permite que humanos supervisionem e forneçam entradas nos fluxos de trabalho de IA. Aqui estão os principais benefícios do human in the loop:

• Exatidão e confiabilidade

• Tomada de decisão ética e responsabilidade

• Transparência e explicabilidade

O objetivo de automatizar fluxos de trabalho é minimizar a quantidade de tempo e esforço que os seres humanos têm que gastar para gerenciá-los. No entanto, fluxos de trabalho automatizados podem dar errado de várias maneiras. Às vezes, os modelos encontram casos extremos que seu treinamento não os capacitou para lidar. Uma abordagem HITL permite que seres humanos corrijam entradas incorretas, dando ao modelo a oportunidade de melhorar ao longo do tempo. Os seres humanos podem ser capazes de identificar comportamentos anômalos usando seu conhecimento especializado no assunto, que podem, então, ser incorporados à compreensão do modelo.

Em aplicações de alto risco, seres humanos podem impor alertas, avaliações humanas e sistemas de segurança para ajudar a garantir que as decisões autônomas sejam verificadas. Eles podem detectar saídas com viés ou enganosas, evitando resultados negativos subsequentes. O feedback humano contínuo ajuda os modelos de IA a se adaptar a ambientes em mudança.

O viés é uma preocupação constante no aprendizado de máquina e, embora a inteligência humana seja conhecida por ser bastante enviesada às vezes, uma camada adicional de envolvimento humano pode ajudar a identificar e mitigar o viés incorporado nos próprios dados e algoritmos, o que incentiva a justiça nos resultados da IA.

Quando um ser humano está envolvido na aprovação ou substituição da saída da IA, a responsabilidade não recai apenas sobre o modelo ou seus desenvolvedores.

Algumas decisões exigem raciocínio ético que pode estar além dos recursos de um modelo. Por exemplo, as recomendações de uma plataforma de contratação algorítmica podem prejudicar certos grupos historicamente marginalizados. Embora os modelos de ML tenham feito grandes avanços nos últimos anos em sua capacidade de incorporar nuances em seu raciocínio, às vezes a supervisão humana ainda é a melhor abordagem. O HITL permite que seres humanos, que têm melhor compreensão das normas, do contexto cultural e das áreas éticas obscuras, pausem ou substituam as saídas automatizadas no caso de dilemas complexos.

Uma abordagem human in the loop pode fornecer um registro do motivo pelo qual uma decisão foi anulada com uma trilha de auditoria que apoia a transparência e as avaliações externas. Essa documentação permite uma defesa jurídica, auditoria de conformidade e avaliações internas de responsabilidade mais robustas.

Algumas regulamentações de IA exigem certos níveis de HITL. Por exemplo, o Artigo 14 da Lei de IA da UEdiz que “Os sistemas de IA de alto risco devem ser projetados e desenvolvidos de tal forma, inclusive com ferramentas apropriadas de interface homem-máquina, que possam ser efetivamente supervisionados por pessoas físicas durante o período em que estiverem em uso”.

De acordo com a regulamentação, essa supervisão deve evitar ou minimizar riscos à saúde, à segurança ou aos direitos fundamentais, com métodos que incluem operação manual, intervenção, anulação e monitoramento em tempo real. Os seres humanos envolvidos devem ser "competentes" para fazê-lo, entendendo os recursos e limitações do sistema, treinados no uso adequado e com autoridade para intervir quando necessário. Essa supervisão visa incentivar a prevenção de danos e o funcionamento adequado.

Ao detectar erros antes que causem danos, o HITL atua como uma rede de segurança, especialmente em setores regulamentados ou de alto risco, como saúde ou finanças. As abordagens do HITL ajudam a mitigar o efeito de "caixa-preta", em que o raciocínio por trás da saída da IA não é claro. A incorporação de supervisão e controle humanos aos processos de desenvolvimento e implementação ajuda os profissionais a identificar e mitigar os riscos, sejam eles técnicos, éticos, legais ou operacionais.

O HITL é uma ótima abordagem para aprimorar o desempenho dos sistemas de aprendizado de máquina, mas também tem suas desvantagens.

• Escalabilidade e custo

• Erro humano e inconsistência

• Privacidade e segurança

A anotação humana pode ser lenta e cara, especialmente para grandes conjuntos de dados ou ciclos de feedback iterativos. À medida que o volume de dados ou a complexidade do sistema aumentam, depender de seres humanos pode se tornar um gargalo. Rotular milhões de imagens para um modelo de computer vision com alta precisão, por exemplo, pode exigir milhares de horas de trabalho humano. Alguns domínios, como medicina ou direito, podem exigir especialistas no assunto ainda mais caros. Um tumor mal rotulado em um exame de imagem médico pode resultar em um erro grave.

Embora os seres humanos possam fornecer maior exatidão, de certa forma eles podem ser mais enviesados e propensos a erros do que as máquinas. Os seres humanos podem interpretar dados ou tarefas de maneira diferente, especialmente em domínios sem uma resposta certa ou errada. Os anotadores humanos, sendo humanos, podem ficar cansados, distraídos ou confusos ao rotular dados. Eles também têm várias perspectivas sobre problemas subjetivos, o que pode levar a inconsistências na rotulagem.

Envolver seres humanos em processos de avaliação internos pode levantar preocupações quanto à privacidade, e até mesmo anotadores bem-intencionados podem vazar ou usar involuntariamente dados confidenciais que acessam durante o feedback.

A introdução de feedback humano direcionado e de alta qualidade antes, durante e depois do treinamento cria um ciclo de feedback que acelera o aprendizado e torna os modelos de aprendizado de máquina mais robustos, interpretáveis e alinhados com as necessidades do mundo real. Aqui estão algumas maneiras pelas quais a interação humana pode ser incorporada aos fluxos de trabalho de IA.

• Aprendizado supervisionado

• RLHF

• Aprendizagem ativa

As aplicações de aprendizado supervisionado exigem que os cientistas de dados rotulem os dados corretamente. Esses resultados de anotação de dados resultam em conjuntos de dados usados para treinar um algoritmo de aprendizado de máquina. Esse é um fluxo de trabalho em que as entradas humanas são essenciais e importantes.

Por exemplo, uma abordagem supervisionada em um contexto de processamento de linguagem natural pode envolver seres humanos rotulando o texto como "spam" ou "não spam" para ensinar uma máquina a fazer essas distinções com sucesso. Em um caso de uso de computer vision, uma abordagem supervisionada poderia envolver seres humanos rotulando uma série de imagens como "carro", "ônibus" ou "motocicleta", para que um modelo possa executar tarefas de detecção.

Em outro exemplo, o aprendizado por reforço a partir do feedback humano (RLHF) utiliza um "modelo de recompensa" treinado com feedback humano direto, que é, então, usado para otimizar o desempenho de um agente de inteligência artificial por meio do aprendizado por reforço. O RLHF é especialmente adequado para tarefas com objetivos complexos, mal definidos ou difíceis de especificar.

No aprendizado ativo, o modelo identifica previsões incertas ou de baixa confiança e solicita entradas humanas apenas quando necessário. Isso concentra o esforço de rotulagem nos exemplos mais difíceis ou ambíguos, levando a um aprendizado mais rápido e preciso.