AI에 대한 환각 위험
설명
환각은 모델의 학습 데이터 또는 입력과 관련하여 사실적으로 부정확하거나 진실하지 않은 콘텐츠를 생성합니다. 환각은 때때로 충실하지 않거나 근거가 부족하다는 의미로도 사용됩니다. 경우에 따라 대규모 언어 모델에 의해 생성된 합성 데이터에는 데이터가 부정확하거나 조작되거나 현실과 단절될 수 있는 환각이 포함될 수 있습니다. 환각은 모델 성능, 정확성 및 관련성을 저하시킬 수 있습니다.
환각이 기초 모델에 대한 우려가 되는 이유는 무엇인가?
환각은 오해의 소지가 있을 수 있습니다. 이러한 잘못된 출력은 사용자를 오도하고 다운스트림 아티팩트에 통합되어 잘못된 정보를 더욱 확산시킬 수 있습니다. 거짓 출력은 AI 모델의 소유자와 사용자 모두에게 피해를 줄 수 있습니다. 일부 용도에서는 환각이 특히 심각한 결과를 초래할 수 있습니다. 환각은 조작되거나 비현실적인 데이터, 실제 패턴과의 연결성 부족, 기초 모델의 예측력 저하를 초래할 수 있습니다.
허위 법률 케이스
출처 기사에 따르면 한 변호사가 연방 법원에 제출된 법률 개요에서 ChatGPT 에 의해 생성된 가짜 케이스 및 인용을 인용했습니다. 변호사들은 항공 상해 청구에 대한 법률 연구를 보완하기 위해 ChatGPT 에 상담했습니다. 그 후에 변호사는 ChatGPT 에 제공된 케이스가 가짜인지 여부를 질문했습니다. 챗봇은 이에 대해 실제 상태이며 " Westlaw및 LexisNexis와 같은 법률 연구 데이터베이스에서 찾을 수 있습니다. 그 변호사는 그 사건들을 확인하지 않았고, 법원은 그들을 제재했다.
상위 주제: AI 리스크 아틀라스
많은 기초 모델의 위험을 설명하는 데 도움이 되도록 언론에서 다루는 예제를 제공합니다. 언론에서 다루는 이러한 사건 중 상당수는 아직 진행 중이거나 해결된 상태이므로 이를 참고하면 잠재적 위험을 이해하고 완화 조치를 취하는 데 도움이 될 수 있습니다. 이 예제를 강조표시하는 것은 설명을 위한 것입니다.