인지 편향이란 무엇인가요?

가장 분석적이고 이성적인 사람이라도 종종 무의식적으로 인지 편향의 영향을 받을 수 있습니다. 많은 편향은 눈에 잘 띄지 않으면서도 널리 퍼져 있으며, 데이터 분석과 데이터 수집 구조 자체 모두에 영향을 미칠 수 있습니다. 

최근 머신 러닝(ML)과 인공 지능(AI)의 큰 발전으로 인해 인지 편향에 대한 관심과 인식이 급격히 증가했습니다. 이러한 지능형 시스템에 대한 투자가 기하급수적으로 증가함에 따라 AI 편향과 데이터 편향을 완화하려는 노력은 AI 윤리와 AI 거버넌스 모두에서 핵심 요소가 되고 있습니다.

논리적 오류와 인지 편향이라는 용어는 때때로 혼용되지만, 서로 다른 개념입니다. 논리적 오류는 논리적 주장 과정에서 발생하는 오류에서 비롯됩니다. 인지 편향 오류는 더 깊은 수준에서 발생하며, 사고 처리 과정에서 나타납니다. 인지 편향은 종종 기억, 회상, 주의, 귀인 및 기타 메타 분석과 관련된 문제에서 비롯됩니다.    

또한 많은 유형의 논리적 오류는 인지 편향 사례에서 직접적으로 비롯됩니다. 인지 편향은 비판적 사고에 영향을 미칩니다. 편향된 추론을 기반으로 논리적 주장이 형성될 경우, 체계적인 오류가 종종 관련된 논리적 오류를 만들어냅니다. 

예를 들어 매몰 비용 오류는 인지 편향이자 비형식적 논리적 오류를 모두 설명할 수 있는 개념입니다. 비교해 보면: 

논리적 오류로서: 매몰 비용 오류는 이미 회수할 수 없는 자원의 규모만을 근거로 프로젝트에 계속 자원(시간, 돈, 노력 등)을 투입해야 한다고 주장하는 논리적으로 잘못된 논리를 의미합니다. 불리한 확률의 게임을 하는 도박사는 이미 큰 금액을 잃었다는 이유만으로 계속 게임을 하는 것을 논리적으로 정당화할 수 없습니다. 논리적으로 보면, 이미 잃은 돈은 다시 베팅할지 그만둘지에 대한 현재의 결정과는 관련이 없습니다.

인지 편향으로서: “손실 위에 추가로 돈을 쏟아붓는다”라는 일반적인 표현은 매몰 비용 오류의 본질을 잘 보여줍니다. 인지적 관점에서 보면 손실 회피, 사회적 압박, 수치심, 공포와 같은 감정적 요인이 도박사의 비합리적 사고를 유발할 수 있습니다. 과거의 경험에서 돈을 딸 수 없었다는 사실이 입증되었음에도 불구하고, 다음 판은 다를 것이라고 판단할 수 있습니다. 

인지 편향이 교묘한 이유는 그것이 만들어내는 결정이 항상 명백하게 틀린 것은 아니기 때문입니다. 오히려 약간 비효율적이거나 우연히 맞는 경우도 있을 수 있습니다. 명확한 피드백 루프가 부족하다는 점이 인지 편향이 지속되는 이유 중 하나입니다. 

초기에 발견하지 못하면 계획 단계에서 발생한 인지 편향의 후속 영향이 체계적인 문제를 일으켜 잘못되거나 불공정하거나 위험한 결과로 이어질 수 있습니다. 하지만 인지 편향을 연구하고 이해하면 의사 결정자와 의사 결정 시스템을 설계하거나 보호하는 사람들은 더 나은 결과를 이끌어낼 수 있습니다.

인지 편향을 이해하면 보안 팀이 더 강력하고 더 안전한 시스템을 구축하는 데 도움이 됩니다.

인간 사고에서 자주 발생하는 오류를 인지하면 사이버 보안 전문가들은 보안 툴과 솔루션의 취약점을 더 잘 식별할 수 있습니다. 인지 편향에 대한 인식은 개발자와 보안 전문가 모두가 보안 플랫폼, 앱 및 기타 시스템을 설계, 구축 및 구현할 때 잠재적으로 치명적인 결함을 피하는 데에도 도움이 됩니다.

보안이 필수적인 상황(예를 들어 민감한 비즈니스 커뮤니케이션을 보호하거나, 국가 기밀을 지키거나, 소비자 금융 정보를 보호하는 경우)에서 인지 편향은 체계적인 취약점을 초래하여 악의적인 행위자가 원래는 엄격한 보안 조치를 뚫고 침투할 수 있게 만들 수 있습니다. 

예를 들어 허위 합의 인지 편향은 이를 뒷받침하는 데이터가 없음에도 불구하고 자신의 의견이 널리 옳다고 여겨진다고 가정하는 경향을 의미합니다. 이러한 편향은 개발자가 자신이 구축하고 있는 앱 유형에는 특정 보안 기능이 필요하지 않다고 믿게 만들 수 있습니다. 그 결과 예상하지 못한 사이버 공격에 시스템이 취약한 상태로 남겨질 수 있습니다.

인지 편향은 데이터를 해석하고 정보에 기반한 결정을 내리는 능력을 저하시킵니다.

덜 중요한 결정에서는 인지 편향이 잘못된 의사 결정을 초래하더라도 그 영향은 상대적으로 작습니다. 더 중요한 결정일수록 인지 편향은 더 큰 위험이 됩니다.

인지 편향이 초래하는 가장 큰 위험은 이러한 오류가 스스로 많은 결정을 내리는 시스템을 설계할 때 미칠 수 있는 잠재적 영향에서 비롯됩니다. 따라서 AI 시스템이 점점 더 널리 사용됨에 따라 AI 편향을 방지하기 위한 보호 장치의 필요성은 더욱 시급해지고 있습니다.

AI 모델은 이러한 시스템을 설계하는 인간 개발자에게 내재된 인지 편향과 시스템의 학습 데이터에 포함된 편향 모두에서 비롯된 결함을 갖는 경우가 많습니다. 그 결과 생성된 시스템은 자체적인 편향을 갖게 되며, 이는 차별 및 기타 부정적인 영향을 초래할 수 있습니다. 

AI 거버넌스는 머신 러닝(ML) 알고리즘이 기존의 사회경제적, 인종적 또는 성별 불평등을 강화할 수 있는 불공정하거나 차별적인 결과를 생성하는 알고리즘 편향과 같은 문제를 해결하고 예방하는 데 도움을 줍니다. 

AI 거버넌스, 프로세스, 표준 및 가드레일은 AI 시스템 설계자가 안전하고 윤리적인 툴을 구축할 수 있도록 지원합니다. AI 거버넌스는 안전성, 공정성 및 인권 존중을 보장하는 데 도움이 되는 AI 연구, 개발 및 적용을 위한 프레임워크 수립에 기여합니다.

AI 거버넌스가 편향을 해결하는 한 가지 방법은 다양한 학습 데이터 세트의 포함을 촉진하는 것입니다. 의료와 같은 분야에서는 고유한 컨텍스트를 가진 다양한 인구 집단으로부터 데이터를 수집하는 것이 매우 중요합니다.

예를 들어 폐암 징후를 탐지하도록 설계된 의료 AI를 생각해 볼 수 있습니다. 이 모델이 농촌 지역에 거주하는 비흡연자의 데이터만으로 학습되었다면, 흡연을 하고 대기 오염이 심한 지역에 사는 사람을 분석할 때 효과가 떨어질 수 있습니다. 더 효과적인 AI를 만들기 위해서는 가능한 한 다양한 상황을 반영하는 학습 데이터를 포함하는 것이 중요합니다. 

AI 거버넌스의 또 다른 적용 사례로는 human-in-the-loop(HITL) 시스템을 도입하고 유지하려는 노력이 있습니다. 이러한 유형의 시스템은 AI 출력에 대한 인간의 감독을 요구합니다. HITL 프레임워크는 추가적인 검증 단계를 보장하는 데 도움을 줍니다. 인간이 AI 시스템이 놓친 편향을 발견하면 AI의 결정을 무효화하고 개입할 수 있습니다.  

인지 편향은 수세기 동안 관찰되어 왔지만, 이 개념은 1970년대에 연구 심리학자 Amos Tversky와 Daniel Kahneman에 의해 처음으로 공식적으로 소개되었습니다. 1974년에 두 사람은 Judgment Under Uncertainty: Heuristics and Biases라는 논문을 발표했으며, 이 논문에서는 사람들이 의사 결정을 하거나 결론을 도출할 때 휴리스틱이라고 알려진 정신적 지름길에 의존하는 방식을 처음으로 설명했습니다. 

사회 심리학과 행동 경제학 분야에서 연구자들은 인간이 특히 완벽한 정확성보다 효율성이 더 중요한 상황에서 인지 부담을 줄이기 위해 휴리스틱을 사용하도록 진화했다고 이론화했습니다. Tversky와 Kahneman은 휴리스틱(일반적인 경험 법칙 또는 “실무 요령”)이 충분한 컨텍스트 없이 빠르게 판단해야 하거나 전반적인 불확실성 속에서 결정을 내려야 하는 상황에서 특히 자주 나타난다는 사실을 밝혔습니다. 

일부 휴리스틱은 사람, 조직 및 기계가 빠르고 효과적인 결정을 내리는 데 도움이 될 수 있지만, Tversky와 Kahneman은 인지 편향이 종종 바람직하지 않은 결과로 이어질 수 있음을 밝혔습니다. 

안타깝게도 인지 편향을 인식하고 있는 사람들조차도 여전히 그 영향을 받을 수 있습니다. 그러나 다양한 유형의 인지 편향을 연구하면 의사 결정 과정에서 그 부정적인 영향을 효과적으로 줄일 수 있습니다. 특히 인지 편향을 식별하도록 특별히 훈련된 외부 팀이나 시스템이 분석과 의사 결정을 검토하도록 하면 더욱 도움이 될 수 있습니다.  

편향에 대응하는 첫 번째 단계는 그것이 나타나는 다양한 방식을 인식하는 것입니다. Tversky와 Kahneman의 획기적인 논문이 발표된 이후 연구자들은 다양한 유형의 인지 편향을 밝혀냈습니다.

가장 일반적인 인지 편향 유형은 다음과 같습니다:.

확증 편향은 기존의 신념을 확인해 주는 정보는 과대평가하고 이를 반박하는 정보는 과소평가하는 경향을 의미합니다. 예를 들어 대부분의 사이버 공격이 외부 위협의 결과라고 믿는 사람은 내부자 공격에 대한 증가하는 보고를 예외적인 사례로 치부할 수 있습니다.

자신의 상황이나 경험, 처지는 외부 요인에 의해 발생한 것으로 여기면서 다른 사람의 상황은 그들의 행동 결과라고 가정하는 경향입니다. 예를 들어 피싱 이메일에 속은 사람은 사이버 범죄자가 매우 교묘했다고 생각할 수 있습니다. 하지만 같은 사람이 동료가 유사한 사기에 속는 것을 보면 그 동료가 순진하고 쉽게 속는다고 판단할 수 있습니다.

행위자-관찰자 편향과 유사하게, 자기 편향은 부정적인 결과는 외부 요인 탓으로 돌리고 긍정적인 결과는 과도하게 자신에게 공로를 돌리는 경향을 의미합니다. 자기 편향은 사람이 운이 좋은 포커 패를 자신의 실력 덕분이라고 여기게 하고, 패배한 경우는 피할 수 없는 운명의 장난으로 해석하게 만들 수 있습니다. 

기본적 귀인 오류는 타인의 행동을 그들의 내적 동기에 기반해 좋거나 나쁘다고 판단하는 경향입니다. 예를 들어 느리게 운전하는 차량 뒤에 갇힌 사람이 도로 상황이나 차량 문제와 같은 외부 요인을 고려하지 않고 해당 운전자를 무례하고 배려심 없는 사람으로 판단할 수 있습니다.

새로운 주제에 대해 처음 접한 정보에 과도한 중요성을 부여하는 경향입니다. 판매자는 제품의 이전 가격을 강조하는 방식으로 앵커링 편향을 활용할 수 있습니다. 더 큰 수치를 기준점으로 제시하면 할인된 가격이 더 매력적으로 보이게 됩니다.

후광 효과는 한 사람에 대한 인상이 그 사람의 성격이나 능력을 판단하는 데 영향을 미치는 현상을 의미합니다. 이러한 인지 편향은 다양한 방식으로 나타날 수 있으며, 그중 하나는 외모가 매력적이거나 호감형인 사람이 낯선 사람의 신뢰를 쉽게 얻는 경우입니다. 사이버 범죄자들은 매력적인 아바타를 사용하는 등의 방식으로 사회공학 공격을 시도할 때 후광 효과를 악용하는 경우가 많습니다. 

의사 결정을 할 때 특정 요소에 더 많은 주의를 기울이고 다른 요소는 무시하는 경향입니다. 예를 들어 사이버 보안 솔루션을 선택할 때 주의 편향을 가진 사람은 제품이 자신의 요구를 충족하는지보다 전체 비용에만 더 집중할 수 있습니다.

자신의 주관적인 현실 경험을 객관적인 것으로 인식하고 다른 사람도 동일하게 세상을 인식할 것이라고 기대하는 경향입니다. 아이러니하게도 순진한 실재론에 빠진 사람은 다른 견해를 비합리적이거나 편향된 것으로 치부할 수 있습니다.

사건에 대한 외부 분석이 제시된 데이터에 대한 개인의 인식에 영향을 미치는 경향입니다. 이러한 유형의 편향은 편향된 제3자의 분석 때문에 목격자조차 자신의 판단을 의심하게 만들기도 합니다. 

어떤 것이 특정 기능을 수행하도록 설계되지 않았다는 이유만으로 그 기능을 수행할 수 없다고 가정하는 경향입니다. 예를 들어 렌치는 못을 박도록 설계되지 않았기 때문에 망치로 사용할 수 없다고 생각할 수 있습니다. 하지만 급한 상황에서는 렌치를 망치처럼 사용할 수 있습니다. 

자신이 실패할 가능성은 낮고 성공할 가능성은 높다고 믿는 경향입니다. 낙관주의 편향은 특정 상황에서는 유용할 수 있지만, 근거 없는 성공에 대한 확신은 실패로 이어질 수 있습니다. 낙관주의 편향의 영향을 받은 결정은 심각한 문제를 간과할 가능성이 높으며, 의사 결정자를 치명적인 결과에 노출시킬 수 있습니다. 

표본 편향의 한 유형인 생존자 편향은 전체 집단을 대표하지 않는 일부 집단을 전체로 오인하는 경향입니다. 생존자 편향은 사람들이 특정 기준을 통과한 데이터만에 집중하도록 만들어 잘못된 판단을 유도합니다.

생존자 편향의 가장 유명한 사례 중 하나는 제2차 세계 대전에서 비롯되었습니다.¹ 항공기 장갑을 어디에 보강해야 하는지에 대한 자문을 받았을 때 Abraham Wald는 전투에서 돌아온 항공기에서 가장 많은 손상이 발견된 부위를 통계적으로 분석하여 권고를 제시했습니다. 그러나 이러한 부위를 보강하는 대신 Wald는 손상이 가장 적게 나타난 부위를 보강할 것을 권고했습니다. Wald는 자신의 데이터가 전투에서 생존한 항공기만을 나타낸다는 점을 이해했으며, 따라서 해당 항공기에서 발생한 손상은 다른 부위의 손상만큼 치명적이지 않다고 올바르게 추론했습니다. 대표되지 않은 부위에서 손상을 입은 항공기는 파괴되어 손상 분포 분석에 포함되지 못했습니다. 

비슷한 입장을 가진 사람의 수를 기준으로 결정을 내리거나 결론을 도출하거나 신념을 채택하는 경향입니다. 본질적으로 밴드왜건 효과는 인기와 사회적 압력이 개인의 심리에 미치는 영향을 설명합니다. 

정보가 제시되는 방식에 따라 서로 다른 결론이 도출될 수 있습니다. 예를 들어 “주지사가 저지른 나쁜 일”에 대한 지지도를 묻는 정치 설문은 “주지사의 정책”에 대한 보다 객관적인 표현보다 낮은 점수를 낳게 됩니다. 

쉽게 접근할 수 있거나 기억하기 쉬운 정보를 과대평가하는 경향입니다. 이러한 편향은 의사가 유사한 증상을 가진 다른 질병을 검사하지 않고 독감과 유사한 증상만을 근거로 환자를 독감으로 오진하게 만들 수 있습니다. 독감으로 가정하는 것이 더 쉬울 수 있지만, 제한된 정보로 내린 결정은 종종 가용성 편향의 영향을 받습니다.

무시 편향이라고도 불리는 기준율 오류는 일반적이고 통계적이며 모집단 수준의 데이터(기준율)를 간과하거나 무시하고 특정 사례나 일화적 증거를 우선시하는 경향을 의미합니다. 분석에서는 통계적 편차를 정확하게 측정하기 위해 먼저 기준율을 설정하는 것이 매우 중요합니다. 

사후 확신 편향은 “원래 그렇게 될 줄 알았다”는 현상 또는 점진적 결정론이라고도 불리며, 과거 사건이 실제보다 미래 결과를 더 잘 예측하는 것처럼 인식하는 경향을 의미합니다. 사후적으로 보면 현재의 결과가 당연했던 것처럼 인과 관계를 쉽게 연결할 수 있습니다. 그러나 당시에는 다양한 결과가 가능했기 때문에 미래는 훨씬 불확실했습니다. 

이 인지 편향은 객관적인 정보보다 고정관념에 기반한 가정에 의존하는 경향을 의미합니다. 예를 들어 문신과 뾰족한 머리 스타일을 가진 음악가를 보면 록 음악을 한다고 생각할 수 있지만, 실제로는 클래식 바이올리니스트일 수 있습니다. 대표성 휴리스틱은 “겉모습만 보고 판단하는” 경향을 설명합니다. 

David Dunning과 Justin Kruger의 이름에서 유래한 이 인지 편향은 특정 분야에 능숙하지 않은 사람이 자신의 성과나 능력을 과대평가하는 경향을 의미합니다. 이러한 과도한 자신감에 대한 한 가지 설명은 사람이 어떤 주제에 대해 새로운 정보를 배울수록 그 주제의 깊이를 더 잘 인식하게 된다는 점입니다. 초보자는 이러한 인식을 아직 갖추지 못한 상태입니다.

아이러니하게도 최근 연구에서는 AI 사용과 관련해 일종의 역 Dunning-Kruger 효과가 관찰되었습니다. 연구자들은 두 그룹의 사람들에게 논리 문제를 풀도록 했습니다. 한 그룹은 결론 도출에 AI를 사용할 수 있었고, 다른 그룹은 그렇지 않았습니다. 시험 후 AI를 사용한 참가자들은 자신의 수행 수준과 AI 툴 사용 경험을 얼마나 가지고 있다고 생각하는지도 평가하도록 요청받았습니다. 

일반적으로 Dunning-Kruger 효과에서는 AI 사용에 대한 자신감과 실제 AI 활용 능력 사이에 역상관 관계가 나타납니다. 그러나 이번 연구에서는 반대의 결과가 나타났습니다. AI 사용 경험이 많은 참가자일수록 자신의 AI 활용 능력을 과대평가하는 경향을 보였습니다. 

의미 있는 결론을 도출하기 위해서는 추가 연구가 필요하지만, 이 보고서는 인지 편향을 검토하는 것의 중요성을 분명히 보여줍니다. 의사 결정과 관련하여 인지 편향은 예상치 못한 방식으로 결과와 결론에 큰 영향을 미칠 수 있습니다. 인지 편향이 의사 결정 과정에서 오류를 초래하면, 아무리 뛰어나고 통찰력 있으며 중요한 데이터라도 크게 왜곡되어 해석될 수 있습니다.