머신 인텔리전스는 얼마나 똑똑할까요? 게임에서는 에이스이지만 기본적인 현실 확인에는 실패하는 AI
대규모 언어 모델은 뉴욕시의 거리에서 길을 안내하는 데 탁월할 수 있지만, 새로운 연구에 따르면 실제로 도시가 어떻게 구성되어 있는지 이해하지 못한 채 길 안내를 하는 것으로 나타났습니다. 모델들은 단순한 우회로에 직면했을 때 눈부신 충돌을 일으켜 그들의 전문 지식이 정교한 패턴 매칭에 불과하다는 것을 드러냅니다.
이 연구 결과는 AI 시스템이 진정한 '세계 모델', 즉 사물이 어떻게 작동하고 서로 관련되어 있는지에 대한 일관된 이해를 개발하고 있는지, 아니면 진정한 이해 없이 올바른 행동을 모방하는 데 매우 능숙한지라는 인공 지능의 핵심 질문에 답합니다.
MIT 경제학 조교수이자 이 논문의 저자 중 한 명인 Ashesh Rambachan은 "우리 연구에서 발견한 것은 생성 모델이 기본 세계 모델을 복구하지 않고도 인상적인 아웃풋을 낼 수 있다는 것입니다."라고 말했습니다. "이러한 인상적인 아웃풋을 볼 때, 우리는 자연스럽게 이러한 생성 모델이 세상에 대한 근본적인 진실을 학습하고 있다고 믿습니다. 결국, 뉴욕의 A 지점에서 B 지점까지 탐색할 수 있는 사람이 뉴욕의 지도를 이해하고 있다고 믿지 않고는 상상하기 어렵습니다."
IBM 부사장 겸 수석 파트너이자 글로벌 기술, 데이터 및 AI 전략 책임자인 Brent Smolinksi가 논문에서 밝힌 근본적인 과제는 대규모 언어 모델이 "연역적 추론을 수행할 수 없다"는 것입니다. "그런 용도로 설정되어 있지 않습니다. 패턴을 인식하고 그 패턴에 반응하도록 설정되었습니다."
Rambachan의 팀은 AI 모델이 환경을 얼마나 잘 이해하는지 측정하는 두 가지 새로운 방법인 시퀀스 구별과 시퀀스 압축을 개발했습니다. 연구팀은 결정론적 유한 오토마타(DFA)를 사용하여 뉴욕시 탐색과 오델로 플레이라는 두 가지 시나리오에서 이러한 지표를 테스트했습니다.
그들은 놀라운 사실을 발견했습니다. 무작위 이동을 통해 학습한 모델은 전략적인 게임 플레이로 훈련한 모델보다 더 잘 이해했습니다. 그 이유는 무엇일까요? 무작위 훈련을 통해 모델은 더 많은 가능한 상황과 전환에 노출되어 전략적인 "최적의" 움직임만 본 모델보다 환경을 더 완벽하게 파악할 수 있었습니다.
연구원들이 이러한 AI 시스템을 스트레스 테스트한 결과, 성능과 이해도 사이에 문제가 되는 격차가 있음을 발견했습니다. 이 시스템은 표면적으로는 인상적이었습니다. 높은 정확도로 유효한 움직임과 방향을 생성할 수 있었습니다. 하지만 이러한 외관 이면에는 거의 모든 모델이 세계 모델링의 기본 테스트에 실패했습니다.
뉴욕시 내비게이션 테스트에서 좋은 예가 나왔습니다. 연구원들이 우회로를 추가하여 도시 지도를 간단하게 변경했을 때 내비게이션 모델은 무너졌습니다. 그 결과 모델이 실제로 도시 지리나 경로 원칙을 전혀 이해하지 못한 채 피상적으로만 올바른 제안을 하고 있다는 사실이 밝혀졌습니다.
이는 현재 AI 시스템의 결정적인 약점을 지적합니다. 예측에는 매우 능숙할 수 있지만 작업 대상에 대한 진정한 이해가 필요하다는 것입니다. Smolinski에 따르면, 대규모 언어 모델은 지능적으로 보일 수 있지만 실제(연역적) 추론보다는 패턴 매칭에 매우 능숙할 뿐입니다. 그는 이러한 AI 시스템이 논리적인 문제를 해결하는 것처럼 보일 때, 단계별로 생각하는 것이 아니라 이전에 접했던 패턴을 인식할 뿐이라고 말했습니다.
Smolinski는 핵심 차이점이 서로 다른 유형의 AI 기법이 함께 작동해야 한다는 점이라고 주장합니다. 예를 들어, 패턴 인식을 위한 기법, 지식을 표현하는 기법, 그리고 문제 해결을 위한 논리적 추론을 위한 기법이 있을 수 있습니다.
오늘날 가장 정교한 AI 시스템이 진정한 이해 없이도 테스트를 통과할 수 있다는 사실은 현재 실리콘 밸리를 휩쓸고 있는 치열한 논쟁의 핵심, 즉 인공 일반 지능이 곧 다가올 것인지 아니면 여전히 근본적으로 도달할 수 없는 것인지의 핵심을 파고듭니다.
인공 일반 지능(AGI)을 달성하기 위한 경쟁은 기술 분야에서 가장 논쟁적인 논쟁 중 하나가 되었으며, 낙관론자와 회의론자 사이의 균열이 심화되고 있습니다. 실리콘 밸리 전역의 기업 회의실과 연구실에서는 기계가 인간의 인지 기능과 일치하는지 여부뿐만 아니라 언제인지에 대한 논의의 중심이 점점 더 커지고 있습니다.
AGI 개발 일정에 따라 AI 커뮤니티는 두 개의 서로 다른 진영으로 나뉘었습니다. 한쪽 편에는 AGI를 우리 인생의 문명을 재편할 수 있는 임박한 돌파구로 보는 기술 낙관론자들이 있습니다. 반면에 실용주의자들은 인간처럼 생각하는 기계가 등장하기까지 수십 년이 걸릴 수 있다고 경고합니다.
AGI 타임라인에 대한 이러한 근본적인 불일치는 단순히 학문적인 문제가 아니라 AI 안전 및 규제에 대한 연구 우선순위, 투자 결정, 정책 논의를 형성합니다. 수십억 달러가 AGI 연구 개발에 쏟아지면서 이 논쟁의 이해관계도 계속 높아지고 있습니다.
OpenAI의 샘 알트먼과 같은 일부 저명한 기술 리더들은 거의 모든 작업에서 인간 수준의 인지 능력에 필적하거나 이를 능가할 수 있는 AI 시스템인 일반 인공 지능이 몇 년 안에 출시될 것이라고 제안했지만, IBM의 Smolinski는 보다 회의적인 견해를 제시합니다. 그는 현재의 AI 시스템, 특히 대규모 언어 모델은 근본적으로 실제 추론이 아닌 패턴 매칭에 국한되어 있다고 주장합니다.
Smolinski는 인간과 같은 지능에 도달하기 직전이라기보다는 진정한 AGI에 필요한 아키텍처에 관해서는 "우리가 올바른 우편번호에 있지 않을 수도 있다"고 제안합니다. 그는 직접적으로 다음과 같이 말합니다. "특정 문제를 해결하는 데 도움이 되는 AI와 일반적인 AI를 구분하고 싶습니다... 인간처럼 작동하고, 인간과 같은 사고 프로세스를 가지고 문제를 해결하는 시스템을 갖추는 것은 아직 멀었다고 생각합니다. 우리는 거기에 도달하지 못할 수도 있습니다."
Smolinski는 AI 기능을 각각 다른 용도로 사용되는 명확한 범주로 분류합니다. 한편으로는 데이터의 유사성과 추세를 보는 등 패턴 인식이 뛰어난 최신 AI와 유사한 대규모 언어 모델도 있습니다. 반대로, 논리적인 단계를 따라갈 수 있는 전통적인 규칙 기반 시스템도 있습니다. 진정한 도전은 두 가지 유형 중 하나를 개선하는 것이 아니라 두 가지를 효과적으로 결합하는 방법을 찾는 것이라고 그는 설명합니다.
Smolinski는 신경 기호 AI가 앞으로 나아갈 한 가지 길을 제시할 수 있다고 제안합니다. 이 AI 분야는 신경망과 상징적 추론을 결합하려는 시도를 하고 있지만, 궁극적인 잠재력은 아직 미지수입니다. 이러한 하이브리드 시스템은 원시 데이터로부터 학습하고 논리적 규칙을 적용할 수 있습니다. 이러한 이중적 특성은 기계가 자연어 구문 분석부터 동적 환경의 문제 해결에 이르기까지 복잡한 과제를 해결하는 동시에 결정에 대한 명확한 설명을 제공하는 데 도움이 됩니다.
그는 "그것이 진정한 지능에 대한 가장 큰 가능성을 보여준다고 생각합니다."라고 말했습니다.