휴먼 인 더 루프란 무엇인가요?

머신 러닝(ML)은 최근 몇 년 동안 놀라운 발전을 이루었지만 가장 진보된 딥 러닝 모델조차도 학습 데이터에서 벗어난 모호성, 편향 또는 엣지 케이스로 인해 어려움을 겪을 수 있습니다. 인간의 피드백은 모델을 개선하는 데 도움이 될 수 있으며 AI 시스템이 불충분한 수준에서 작동할 때 보호책 역할을 할 수 있습니다. HITL은 AI 시스템과 인간 간의 지속적인 상호 작용 및 피드백 주기인 '루프'에 인간의 인사이트를 삽입합니다.

HITL의 목표는 AI 시스템이 인간 감독의 정확성, 섬세함, 윤리적 추론을 희생하지 않고도 자동화의 효율성을 달성할 수 있도록 하는 것입니다.

휴먼 인 더 루프 머신 러닝을 통해 인간은 AI 워크플로에 대한 감독 및 입력을 제공할 수 있습니다. 휴먼 인 더 루프의 주요 이점은 다음과 같습니다.

• 정확성 및 신뢰성

• 윤리적 의사 결정 및 책임

• 투명성과 설명 가능성

워크플로 자동화의 목표는 인간이 워크플로를 관리하는 데 소요되는 시간과 노력을 최소화하는 것입니다. 그러나 자동화된 워크플로는 여러 가지 방법으로 잘못될 수 있습니다. 때때로 모델은 학습에서 다루지 못한 엣지 케이스에 직면합니다. HITL 접근 방식을 통해 인간은 잘못된 입력을 수정할 수 있으므로 시간이 지남에 따라 모델을 개선할 수 있습니다. 인간은 해당 분야에 대한 전문 지식을 사용하여 비정상적인 행동을 식별할 수 있으며, 이를 모델의 이해에 통합할 수 있습니다.

위험도가 높은 애플리케이션에서는 사람이 경고, 인적 검토, 안전 장치를 부과하여 자율적인 의사 결정이 검증되도록 할 수 있으며, 편향되거나 오해의 소지가 있는 아웃풋을 포착하여 부정적인 다운스트림 결과를 방지할 수 있습니다. 지속적인 인간 피드백은 AI 모델이 변화하는 환경에 적응하는 데 도움이 됩니다.

편향성은 머신 러닝의 지속적인 관심사입니다. 인간의 지능이 때때로 상당히 편향되어 있는 것으로 알려져 있지만, 인간이 추가로 개입하면 데이터와 알고리즘 자체에 내재된 편향을 식별하고 완화하여 AI 아웃풋의 공정성을 높이는 데 도움이 될 수 있습니다.

인간이 AI 아웃풋을 승인하거나 재정의하는 데 관여하는 경우, 책임은 모델이나 개발자에게만 전가되지 않습니다.

어떤 결정은 모델의 능력을 넘어서는 윤리적 추론을 요구할 수도 있습니다. 예를 들어, 알고리즘 채용 플랫폼의 추천은 역사적으로 소외되어온 특정 그룹에게 불리할 수 있습니다. ML 모델은 지난 몇 년 동안 추론에 뉘앙스를 통합하는 능력에서 큰 발전을 이루었지만, 때로는 여전히 인간이 감독하는 것이 가장 좋은 접근 방식입니다. HITL을 사용하면 규범, 문화적 맥락, 윤리적 회색지대를 더 잘 이해하는 사람이 복잡한 딜레마 상황에서 자동화된 아웃풋을 일시 중지하거나 재정의할 수 있습니다.

휴먼 인 더 루프 접근 방식은 투명성과 외부 검토를 지원하는 감사 추적을 통해 결정이 번복된 이유에 대한 기록을 제공할 수 있습니다. 이 문서를 통해 보다 강력한 법적 방어, 규정 준수 감사, 내부 책임 검토가 가능합니다.

일부 AI 규정은 특정 수준의 HITL을 의무화합니다. 예를 들어, EU AI 법 제14조에는 '고위험 AI 시스템은 적절한 인간-기계 인터페이스 도구를 포함하여 자연인이 사용하는 동안 효과적으로 감독할 수 있는 방식으로 설계 및 개발되어야 한다'고 명시되어 있습니다.

규정에 따르면 이러한 감독은 수동 조작, 개입, 재정의, 실시간 모니터링을 포함한 방법을 통해 상황, 안전 또는 기본권에 대한 위험을 예방하거나 최소화해야 합니다. 관련 담당자는 시스템의 능력과 한계를 이해하고, 적절한 사용에 대해 교육을 받으며, 필요할 때 개입할 수 있는 권한을 가지고 이를 수행할 수 있는 '역량'을 갖추어야 합니다. 이러한 감독은 위험을 방지하고 적절한 기능을 수행하도록 장려하기 위함입니다.

HITL은 특히 의료나 금융과 같이 고위험 또는 규제 대상인 분야에서 오류가 발생하기 전에 이를 잡아내는 안전망 역할을 합니다. HITL 접근 방식은 AI 아웃풋의 이면에 있는 추론이 불분명한 '블랙박스' 효과를 완화하는 데 도움이 됩니다. 개발 및 배포 프로세스에 인간의 감독과 제어를 도입하면 실무자가 기술적, 윤리적, 법적, 운영적 위험 등을 식별하고 완화할 수 있습니다.

HITL은 머신 러닝 시스템의 성능을 향상시키는 데 훌륭한 접근 방식이지만 단점이 없는 것은 아닙니다.

• 확장성 및 비용

• 인적 오류 및 불일치

• 개인정보 보호 및 보안

인간 주석 작성은 특히 대규모 데이터 세트 또는 반복적인 피드백 루프의 경우 느리고 비용이 많이 들 수 있습니다. 데이터의 양이나 시스템 복잡성이 증가함에 따라 인간에 의존하는 것이 병목 현상이 될 수 있습니다. 예를 들어, 컴퓨팅 비전 모델에 대해 수백만 개의 이미지에 높은 정밀도로 레이블을 지정하려면 수천 시간의 인력이 필요할 수 있습니다. 의학이나 법률과 같은 일부 영역에는 훨씬 더 비싼 주제 전문가가 필요할 수 있습니다. 의료 영상 스캔에서 종양의 라벨이 잘못 지정되면 심각한 실수가 발생할 수 있습니다.

인간은 더 높은 정확도를 제공할 수 있지만, 어떤 면에서는 기계보다 더 편향된 오류가 발생하기 쉽습니다. 인간은 데이터나 작업을 다르게 해석할 수 있으며, 특히 정답이나 오답이 명확하지 않은 영역에서는 더욱 그렇습니다. 인간 주석자는 인간이기 때문에 데이터에 레이블을 지정할 때 피곤하거나 주의가 산만해지거나 혼란스러워질 수 있습니다. 또한 주관적인 문제에 대해 다양한 관점을 가지고 있어 라벨링의 불일치로 이어질 수 있습니다.

내부 검토 프로세스에 인간을 참여시키면 개인정보 보호 문제가 발생할 수 있으며, 선의의 주석자라도 피드백 중에 액세스하는 민감한 데이터를 의도치 않게 유출하거나 오용할 수 있습니다.

학습 전, 학습 중, 학습 후에 목표에 맞는 고품질 사용자 피드백을 도입하면 학습 속도를 높이고 머신 러닝 모델을 더욱 강력하고 해석 가능하며 실제 요구 사항에 맞게 조정할 수 있는 피드백 루프가 생성됩니다. 인간의 상호 작용을 AI 워크플로에 포함시킬 수 있는 몇 가지 방법은 다음과 같습니다.

• 지도 학습

• RLHF

• 능동적 학습

지도 학습 애플리케이션을 사용하려면 데이터 과학자가 데이터에 올바른 레이블을 지정해야 합니다. 이러한 데이터 주석을 통해 데이터 세트가 생성되고, 이를 사용하여 머신 러닝 알고리즘을 학습시킵니다. 이는 인간의 의견이 무엇보다 중요한 워크플로우입니다.

예를 들어, 자연어 처리 컨텍스트에서 감독된 접근 방식에서는 인간이 텍스트에 '스팸' 또는 '스팸 아님'이라는 레이블을 붙이는 방식을 통해 기계가 이러한 구분을 성공적으로 수행하도록 학습시키는 것이 포함될 수 있습니다. 컴퓨팅 비전 사용 사례에서 지도 학습 접근 방식은 인간이 일련의 이미지에 '자동차' 또는 '버스' 또는 '오토바이'라고 레이블을 지정하여 모델이 객체 감지 작업을 수행할 수 있도록 하는 작업이 포함할 수 있습니다.

또 다른 예로, 휴먼 피드백을 통한 강화 학습(RLHF)은 직접적인 인간 피드백으로 학습한 '보상 모델'을 사용하며, 이 모델은 강화 학습을 통해 인공 지능 에이전트의 성능을 최적화하는 데 사용됩니다. RLHF는 복잡하거나, 잘못 정의되거나, 지정하기 어려운 목표를 가진 작업에 특히 적합합니다.

능동적 학습에서 모델은 불확실하거나 신뢰도가 낮은 예측을 식별하고 필요한 경우에만 인간의 입력을 요청합니다. 이를 통해 가장 어렵거나 모호한 예제에 라벨링 노력을 집중하여 더 빠르고 정확하게 학습할 수 있습니다.