AI의 역사

GPT-3는 1,750억 개의 매개변수를 사용하는 전례 없는 크기로 광범위한 미세 조정 없이 광범위한 자연어 작업을 수행할 수 있다는 특징 때문에 AI에 있어 획기적인 순간으로 여겨졌습니다. 이 모델은 빅 데이터로 학습하여 인간과 같은 텍스트를 생성하고 대화에 참여할 수 있습니다. 또한 퓨샷 러닝을 수행할 수 있어 다재다능함이 크게 향상되었으며 챗봇 및 가상 어시스턴트와 같은 상용 AI 애플리케이션에서 유용성을 입증했습니다.

오늘날 AI는 소셜 미디어에서 업무 프로세스에 이르기까지 일상 생활의 여러 측면에 점점 더 파고들고 있으며 기술이 발전함에 따라 그 영향력도 계속 커질 것입니다. 기술이 나아갈 방향을 이해하려면 우리가 어떻게 여기까지 왔는지 이해하는 것이 도움이 됩니다. AI 발전의 주요 역사는 다음과 같습니다.

조너선 스위프트의 환상적인 소설 '걸리버 여행기'에는 학자들이 새로운 아이디어와 문장, 책을 만들어내는 데 도움을 주는 대형 기계 장치인 '엔진'의 아이디어가 소개되어 있습니다.  

학자들이 기계의 손잡이를 돌리면 단어가 새겨진 나무 블록이 회전합니다. 이 기계는 단어를 다양한 배열로 조합하여 새로운 아이디어와 철학적 논문을 만들어낸다고 합니다.

"예술과 과학에 도달하는 일반적인 방법이 얼마나 힘든지 누구나 알고 있었지만, 가장 무지한 사람도 합리적인 비용과 약간의 육체적 노동으로 천재나 학문의 도움 없이 철학, 시, 정치, 법률, 수학, 신학에 관한 책을 쓸 수 있었다."

- 조너선 스위프트의 걸리버 여행기(1726)

스위프트의 풍자는 현재 최신 AI를 통해 현실화된 알고리즘 텍스트 생성이라는 개념을 예견한 것입니다. AI 모델은 기본 알고리즘을 기반으로 단어와 아이디어를 결합하여 일관된 텍스트를 생성할 수 있으며, 이는 스위프트가 상상한 엔진이 의도한 것과 유사합니다.

스페인 엔지니어 레오나르도 토레스 이 퀘베도(Leonardo Torres y Quevedo)가 파리 만국박람회(Exposition Universelle)에서 최초의 체스 기계인 El Ajedrecista를 시연했습니다. 전자석을 사용했으며 완전히 자동화되었습니다. El Ajedrecista는 자동으로 킹과 룩 대 킹의 간단한 체스 엔드 게임을 실행했습니다. 이 기계는 일단 설치되면 인간의 개입이 필요하지 않았습니다. 자율적으로 합법적인 체스 수를 두고, 인간 상대가 불법적인 수를 두면 기계가 오류 신호를 보냅니다. 기계가 승리 위치에 놓이면 인간 상대를 안정적으로 체크메이트할 수 있었습니다.

'Rossum's Universal Robots'(R.U.R)라는 연극이 런던에서 개막합니다. 카렐 차페크(Karel Čapek)의 이 연극은 '로봇'이라는 단어가 영어로 사용된 최초의 작품입니다. 체코어에서 'robota'라는 단어는 봉건 체제에서 농민이 수행하는 의무 또는 강제 노동과 관련이 있습니다. '로봇'이라는 용어는 연극의 성공 이후 빠르게 국제적인 인지도를 얻었고, 작업을 수행하기 위해 만들어진 기계 또는 인공적인 존재를 가리키는 표준 용어가 되었습니다. 차페크의 로봇은 유기적이지만, 이 단어는 단조로운 비숙련 노동을 수행하도록 설계된 기계적인 휴머노이드 기계를 연상시키게 되었습니다.

아이오와 주립대학교의 물리학 및 수학 교수인 존 빈센트 아타나소프(John Vincent Atanasoff)와 그의 대학원생인 클리포드 베리(Clifford Berry)는 아이오와 주립대학교에서 650달러의 보조금으로 Atanasoff-Berry Computer(ABC)를 개발했습니다. ABC 컴퓨터는 미국 컴퓨터 과학 분야에서 가장 초기의 디지털 전자 컴퓨터 중 하나로 손꼽힙니다.

ABC는 완전히 작동하거나 널리 사용되지는 않았지만 현대 컴퓨팅 개발의 기초가 되는 몇 가지 핵심 개념을 제시하였습니다.

십진법에 의존하던 이전의 컴퓨팅 장치와 달리 ABC는 이진법(1과 0)을 사용하여 데이터를 표현했으며, 이후 컴퓨터의 표준이 되었습니다. ABC는 또한 기계나 전기 기계 시스템 대신 전자 회로를 계산에 사용한 최초의 컴퓨터 중 하나로, 더 빠르고 안정적인 계산이 가능했습니다. ABC는 데이터 스토리지(메모리)와 처리 장치(논리 연산)를 분리했는데, 이는 현대 컴퓨터 아키텍처에서도 여전히 지켜지고 있는 원칙입니다. 커패시터를 사용하여 데이터를 저장하고 최대 30개의 방정식을 동시에 처리할 수 있었습니다.

ABC는 논리 연산을 위해 약 300개의 진공관을 사용했기 때문에 이전의 기계식 계산기보다 훨씬 빨랐습니다. 진공관은 부피가 크고 고장이 나기 쉽지만 전자 컴퓨팅의 주요 개발 분야입니다. ABC의 무게는 700파운드가 넘었고 최대 29개의 동시 선형 방정식을 풀 수 있었습니다.

워렌 S. 맥컬록(Warren S. McCulloch)과 월터 피츠(Walter Pitts)는 Bulletin of Mathematical Biophysics에 'A Logical Calculus of the Ideas Immanent in Nervous Activity'를 발표했습니다.¹ 이 연구는 신경과학과 인공지능의 역사에서 중요한 연구 중 하나입니다. 이 논문은 뇌를 계산 시스템으로 이해할 수 있다는 아이디어의 토대를 마련하고, 현대 AI의 핵심 기술인 신경망의 개념을 소개했습니다. 이 아이디어는 특히 신경망과 딥 러닝을 통해 뇌와 같은 기능과 프로세스를 시뮬레이션하는 컴퓨터 시스템에 영감을 주었습니다.

영국 수학자 앨런 튜링(Alan Turing)의 기념비적인 논문 'Computing Machinery and Intelligence'가 Mind에 게재되었습니다.² 이 논문은 AI 분야의 기초 자료이며 "기계가 생각할 수 있는가?"라는 질문을 다룹니다. 튜링의 접근법은 추후 생각하는 기계의 본질과 현재 튜링 테스트로 알려진 '모방 게임'을 통해 기계의 지능을 측정하는 방법에 대해 논의가 이루어지게 되는 토대를 마련했습니다. 튜링은 "기계가 생각할 수 있는가?"라는 질문에 직접적으로 대답하는 것을 피하기 위한 사고 실험을 도입했습니다. 대신, 그는 이 문제를 좀 더 구체적이고 조작적인 형태인 "기계가 인간과 구별할 수 없는 지능적인 행동을 보일 수 있는가?"로 바꾸었습니다.

튜링 테스트는 인간의 대화와 행동을 설득력 있게 모방하는 기계의 능력을 평가하여 기계의 지능을 측정하는 방법 중 하나로 사용되면서 AI의 핵심 개념으로 자리 잡았습니다.

마빈 민스키(Marvin Minsky)와 딘 에드먼즈(Dean Edmunds)가 최초의 인공 신경망을 구축했습니다. SNARC(Stochastic Neural Analog Reinforcement Calculator)는 특히 강화 학습을 통해 인간 두뇌의 학습 프로세스를 모델링하려는 초기 시도였습니다.

SNARC는 미로를 탐색하는 쥐의 행동을 시뮬레이션하도록 설계되었습니다. 이 아이디어는 동물이 보상과 처벌을 통해 학습하는 방식을 모방하여 기계가 피드백을 기반으로 시간이 지남에 따라 행동을 조정하도록 하는 것입니다. SNARC는 시냅스 가중치와 함께 3000개의 진공관 네트워크를 사용하여 40개의 뉴런과 유사한 단위를 시뮬레이션하는 아날로그 컴퓨터입니다.

수학자이자 컴퓨터 과학자인 앨런 뉴웰(Allen Newell)과 정치학자 허버트 A. 사이먼(Herbert A. Simon)은 Logic Theorist와 General Problem Solver 같은 영향력 있는 프로그램을 개발했습니다. 이들은 컴퓨터 방법을 사용하여 인간의 문제 해결 능력을 모방한 최초의 프로그램 중 일부입니다.

다트머스 대학의 존 매카시(John McCarthy), 하버드 대학의 마빈 민스키(Marvin Minsky), IBM의 나다니엘 로체스터(Nathaniel Rochester), Bell Telephone Laboratories의 클로드 섀넌(Claude Shannon)이 제출한 'A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence'³라는 제목의 워크숍 제안서에서 '인공 지능'이라는 용어가 처음 만들어졌습니다.

1년 후 워크숍이 열린 1956년 7월과 8월은 일반적으로 급성장하는 AI 분야의 공식적인 탄생일로 간주됩니다.

심리학자이자 컴퓨터 과학자인 프랭크 로젠블라트(Frank Rosenblatt)는 2계층 컴퓨터 학습 네트워크를 기반으로 패턴 인식을 가능하게 하는 초기 인공 신경망인 퍼셉트론(Perceptron)을 개발합니다. 퍼셉트론은 학습 알고리즘을 통해 인풋의 가중치를 조정하여 데이터에서 학습할 수 있는 이진 분류기의 개념을 도입했습니다. 선형적으로 분리할 수 있는 문제를 해결하는 데 국한되어 있지만 미래의 신경망 및 머신 러닝 개발을 위한 토대를 마련했습니다.

존 매카시(John McCarthy)는 LISt Processing의 약자인 프로그래밍 언어 Lisp⁴를 개발합니다. Lisp는 알고리즘과 수학적 논리를 공식화하는 McCarthy의 작업을 통해 개발되었으며, 특히 기호 정보를 처리할 수 있는 프로그래밍 언어를 만들고자 한 그의 열망이 반영되었습니다. Lisp는 곧 AI 연구에서 가장 널리 사용되는 프로그래밍 언어가 됩니다.

아서 사무엘(Arthur Samuel)은 시간이 지남에 따라 체커에서의 성능을 향상하는 컴퓨터 프로그램을 개발하여 머신 러닝의 개념을 개척했습니다. 사무엘은 미리 정의된 규칙을 따르고 '경험을 통해' 학습하며 결국 프로그래머보다 더 나은 플레이를 하도록 컴퓨터를 프로그래밍할 수 있다는 것을 보여주었습니다. 그의 작업은 기계가 경험을 통해 발전하도록 가르치는 데 중요한 발전을 가져왔으며, 그 과정에서 '머신 러닝'이라는 용어를 만들어 냈습니다.

올리버 셀프리지(Oliver Selfridge)는 그의 논문 "Pandemonium: A paradigm for learning"⁵에서 다양한 '데몬'(처리 단위)이 협력하여 패턴을 인식하는 시스템을 제안했습니다. 데몬은 사전 프로그래밍되지 않은 데이터의 특징을 식별하기 위해 경쟁하며 비지도 학습을 시뮬레이션합니다. 셀프리지의 모델은 초기 패턴 인식에 기여했으며, 향후 머신 비전 및 AI 개발에 영향을 미쳤습니다.

존 매카시(John McCarthy)는 그의 논문 "Programs with Common Sense"에서 의견 청구자(Advice Taker)의 개념을 소개했습니다.⁶ 이 프로그램은 형식 논리에서 문장을 조작하여 문제를 해결하는 데 목적을 두었으며, AI에서 추론을 위한 토대를 마련했습니다. 매카시는 지시를 이해하고 상식적인 지식으로 추론하고 경험을 통해 학습할 수 있는 시스템을 구상했으며, 인간만큼 효과적으로 적응하고 학습할 수 있는 AI를 개발하는 것을 장기적인 목표로 삼았습니다. 이 개념은 지식 표현 및 자동화된 추론에 대한 초기 연구를 형성하는 데 도움이 되었습니다.

철학자 휴버트 드레퓌스(Hubert Dreyfus)는 'Alchemy and Artificial Intelligence'⁷를 출간하여 인간의 정신이 컴퓨터와 근본적으로 다르게 작동한다고 주장했습니다. 그는 인간의 직관과 이해를 복제하기가 어려워 AI 발전에 한계가 있다고 예측했습니다. 그의 비판은 AI의 철학적, 실용적 한계에 대한 논쟁을 촉발하는 데 영향을 주었습니다.

I.J. 굿(I.J. Good)은 'Speculations Concerning the First Ultraintelligent Machine'⁸이라는 글에서, 초지능 기계가 만들어지면 훨씬 더 지능적인 시스템을 설계할 수 있으며, 이것이 인류의 마지막 발명품이 될 수 있지만 여전히 제어 가능하다고 주장했습니다. 그의 아이디어는 AI 초지능과 그 위험성에 대한 현대의 논의를 촉발했습니다.

조셉 바이젠바움(Joseph Weizenbaum)은 자연어로 입력된 인풋에 반응하여 사람의 대화를 모방하는 프로그램인 ELIZA⁹를 개발했습니다. 바이젠바움은 인간과 컴퓨터 간 소통의 피상성을 보여주려고 했지만, 많은 사용자가 프로그램에 인간과 같은 감정을 부여하는 것에 놀랐고 AI와 인간의 상호작용에 대한 윤리적 의문을 제기했습니다.

에드워드 파이겐바움(Edward Feigenbaum), 브루스 뷰캐넌(Bruce Buchanan), 조슈아 레더버그(Joshua Lederberg), 칼 제라시(Carl Djerassi)는 스탠퍼드 대학교에서 DENDRAL을 개발했습니다.¹⁰ 가설 형성을 시뮬레이션하여 유기 화학자의 의사 결정 과정을 자동화하는 최초의 전문가 시스템입니다. DENDRAL의 성공은 AI의 발전을 의미하며, 시스템이 전문화된 작업을 어떻게 인간 전문가와 동등하게 또는 더 잘 수행할 수 있는지 보여줍니다.

1960년대 후반 SRI에서 개발된 Shakey는 인식, 계획 및 문제 해결을 결합하여 자신의 행동에 대해 추론할 수 있는 최초의 모바일 로봇입니다.¹¹ 1970년 Life 잡지 기사에서 마빈 민스키(Marvin Minsky)는 AI가 3~8년 내에 평균적인 인간의 일반적인 지능을 달성할 것이라고 예측했습니다. 민스키의 야심 찬 일정은 지나치게 낙관적이었지만, Shakey의 업적은 로보틱과 AI 분야의 이정표를 세웠습니다.

아서 브라이슨(Arthur Bryson)과 유치 호(Yu-Chi Ho)가 다단계 동적 시스템을 최적화하는 방법인 역전파를 소개했습니다. 이 알고리즘은 원래 제어 시스템을 위해 개발되었지만 다층 신경망을 학습시키는 데 매우 중요한 역할을 합니다. 역전파는 2000년대와 2010년대 이르러서야 컴퓨팅 성능이 발전하면서 딥 러닝의 부상을 가능하게 해준 기술로 각광받기 시작했습니다.

마빈 민스키(Marvin Minsky)와 세이무어 파퍼트(Seymour Papert)는 Perceptrons: An Introduction to Computational Geometry를 출판하여,¹² 단일 계층 신경망의 한계를 비판적으로 분석했습니다. 이들의 작업은 종종 신경망에 대한 관심을 줄였다는 비난을 받습니다. 1988년판에서 이들은 1960년대 중반까지 퍼셉트론에 대한 수많은 실험에도 불구하고 이론적 이해 부족으로 인해 진전이 이미 멈췄다고 주장했습니다.

Terry Winograd(테리 위노그라드)는 획기적인 자연어 이해 프로그램인 SHRDLU를 만들었습니다.¹³ SHRDLU는 일반 영어로 사용자와 상호작용하여 가상 블록 세계에서 물체를 조작할 수 있어 컴퓨터가 복잡한 명령을 이해하고 이에 반응할 수 있는 잠재력을 보여줍니다. 이는 자연어 처리 부문에서 달성한 초기 성과이지만, 그 성공은 구체적이고 고도로 구조화된 환경에 국한되었습니다. SHRDLU의 기능은 더 광범위한 AI 언어 이해를 실현하는 데 대한 가능성과 도전과제를 모두 보여줍니다.

스탠퍼드 대학에서 개발한 MYCIN은 의사가 세균 감염을 진단하고 항생제 치료를 권장하는 데 도움을 주기 위해 만들어진 최초의 전문 시스템 중 하나입니다.¹⁴ MYCIN은 규칙 기반 접근 방식을 사용하여 인간 전문가의 의사 결정 과정을 시뮬레이션하며 의료 AI 시스템 개발을 위한 기반을 마련했습니다. 그러나 윤리적, 법적 문제로 인해 임상에서 구현되지 않습니다.

James Lighthill은 영국과학연구위원회(British Science Research Council)에 AI 연구의 진전에 대한 비판적인 보고서를 제출하면서 AI가 초기의 가능성을 이행하지 못했다고 결론지었습니다.¹⁵ 그는 이 분야가 뚜렷한 돌파구를 찾지 못해 영국에서 AI에 대한 정부 자금 지원이 급격히 감소했다고 주장합니다. 이 보고서는 AI 연구에 대한 관심과 투자가 감소하는 시기인 첫 번째 AI 겨울¹⁶이 시작하는 데 일조했습니다.

일본 와세다 대학에서 개발한 휴머노이드 로봇인 WABOT-2¹⁷가 1980년부터 제작되어 1984년경에 완성되었습니다. 1973년에 제작된 WABOT-1 모델의 뒤를 이은 모델이었습니다. WABOT-1 모델은 기본적인 이동성과 커뮤니케이션에 초점을 맞췄지만, WABOT-2 모델은 좀 더 전문화되어 뮤지션 로봇으로 특별히 설계되었습니다. 카메라 '눈'으로 악보를 읽고 사람과 대화하고 전자 오르간으로 음악을 재생하고 인간 가수에 보조를 맞출 수도 있습니다. 이 프로젝트는 예술적 표현과 같이 인간과 유사한 복잡한 작업을 수행할 수 있는 휴머노이드 로봇 및 AI 개발을 향한 의미 있는 발걸음입니다.

일본은 논리적 추론과 문제 해결을 처리할 수 있는 컴퓨터를 개발하여 AI 연구를 추진한다는 목표로 5세대 컴퓨터 시스템 프로젝트(FGCS)를 시작했습니다. 이 야심 찬 프로젝트는 자연어 처리 및 전문가 시스템과 같은 작업을 수행할 수 있는 기계를 만드는 것을 목표로 했습니다. 1992년에 중단되었지만 FGCS 프로젝트와 결과물은 동시 로직 프로그래밍 분야의 발전에 크게 기여했습니다.

인공지능 발전 협회(AAAI)의 연례 회의에서 로저 섕크(Roger Schank)와 마빈 민스키(Marvin Minsky)는 1970년대 중반의 자금 감소와 유사하게 AI에 대한 부풀려진 기대가 곧 투자와 연구의 위축으로 이어질 것이라고 예측하며 'AI 겨울'이 임박했다고 경고했습니다. 실현되지 않은 약속으로 인해 AI에 대한 관심이 줄어들면서 자금이 감소하고 진행 속도가 둔화하면서 이들의 예측은 현실이 되었습니다. 이 시기를 두 번째 AI 겨울이라고 부르게 되었습니다.

섕크와 민스키의 경고는 낙관주의가 폭발한 후 AI가 투자자와 대중의 기대를 충족시키지 못했을 때 환멸이 뒤따르는 AI 열풍의 주기적 특성을 강조합니다.

데이비드 루멜하트(David Rumelhart), 제프리 힌튼(Geoffrey Hinton), 로널드 윌리엄스(Ronald Williams)는 역전파 알고리즘에 대해 설명한 'Learning representations by back-propagating errors'라는 논문을 발표했습니다.¹⁸ 이 방법을 사용하면 신경망이 네트워크를 통해 오류를 "역전파"하여 내부 가중치를 조정할 수 있으므로 다층 신경망이 복잡한 패턴을 학습하는 능력을 향상할 수 있습니다. 역전파 알고리즘은 현대 딥 러닝의 기반이 되어 신경망에 대한 새로운 관심을 불러일으키고 초기 AI 연구에서 강조된 몇 가지 한계를 극복했습니다. 이 발견은 아서 브라이슨(Arthur Bryson)과 유치 호(Yu-Chi Ho)의 1969년 연구를 기반으로 하며, 특히 신경망에 역전파 알고리즘을 적용하여 다층 신경망 학습에 존재하던 한계를 극복했습니다.

이 획기적인 기술로 인해 인공 신경망을 실용적인 응용 분야에 적용할 수 있게 되었고, 2000년대와 2010년대에 딥 러닝 혁명이 일어날 수 있는 길이 열렸습니다.

Apple CEO 존 스컬리(John Sculley)는 Educom 기조연설에서 디지털 스마트 에이전트를 통해 사용자가 네트워크 시스템에서 방대한 양의 정보에 접근할 수 있는 미래를 상상하는 Knowledge Navigator 영상을 선보였습니다.¹⁹ 여기서 묘사한 상상의 개념에서 교수는 풍부한 지식의 음성 인식 어시스턴트와 상호작용하며 이 어시스턴트는 현재의 인터넷과 같은 곳에서 데이터를 검색하고 질문에 답하고 정보를 표시했습니다. 이 영상은 AI 어시스턴트, 네트워크로 연결된 지식 데이터베이스, 상호연결된 디지털 세계와 같은 현대 기술의 많은 요소를 예견했습니다.

주데아 펄(Judea Pearl)은 Probabilistic Reasoning in Intelligent Systems를 발표하여 AI가 불확실성하에서 정보를 처리하는 방식을 혁신했습니다.²⁰ 이 연구에서는 복잡한 확률 모델을 표현하기 위한 형식인 베이지안 네트워크와 그 안에서 추론을 수행하는 알고리즘을 소개합니다. 펄의 방법을 통해 AI 시스템은 불확실한 환경에서 합리적인 결정을 내릴 수 있었고 이는 AI를 넘어 엔지니어링 및 자연 과학을 포함한 분야에 영향을 미쳤습니다. 그는 2011년 튜링상(Turing Award)을 수상함으로써, AI의 현대 확률론적 추론을 위한 '표현 및 계산 기반'을 만드는 데 기여한 역할을 인정받았습니다.²¹

롤로 카펜터(Rollo Carpenter)는 인간과 같은 흥미롭고 재미있고 유머러스한 대화를 시뮬레이션하도록 설계된 초기 챗봇인 Jabberwacky²²를 개발했습니다. 규칙 기반 시스템과 달리, Jabberwacky는 인간 상호작용을 통해 학습하고 보다 자연스러운 대화를 생성하여 이후 대화형 AI 모델의 길을 열었습니다. 이 챗봇은 사용자와의 상호작용에서 지속적으로 학습하여 자연스러운 일상적인 인간 대화를 모방하는 AI를 만들려는 최초의 시도 중 하나입니다.

IBM T.J. Watson Research Center 연구자들은 'A Statistical Approach to Language Translation'을 발표하여 규칙 기반 방법에서 확률적 방법으로 기계 번역의 중추적인 전환을 이끌었습니다.²³ IBM의 Candide 프로젝트24에서 볼 수 있듯이, 이 접근법은 주로 캐나다 의회의 의사록에서 가져온 220만 개의 영어-프랑스어 문장 쌍을 사용합니다. 이 새로운 방법론은 언어를 파악하거나 '이해'하려 하기보다는 데이터의 통계적 패턴을 통한 학습을 강조하며, 이는 알려진 예제 분석을 이용하는 머신 러닝을 향한 광범위한 트렌드를 반영합니다. 이 확률론적 모델은 자연어 처리 및 기계 번역에서 향후 다양한 발전이 이루어지는 길을 열었습니다.

마빈 민스키(Marvin Minsky)와 세이무어 페퍼트(Seymour Papert)는 1969년에 출간된 저서 Perceptrons의 확장판을 출간했는데, 이 책은 초기 신경망에 대한 중요한 비판을 담고 있습니다. 'A View from 1988'이라는 제목의 새로운 서문에서 AI 분야의 더딘 발전을 돌아보며, 많은 연구자들이 초기의 도전에 익숙하지 않아 과거의 실수를 계속 반복하고 있다고 지적했습니다.¹² 이들은 초기 신경망 연구에서 부족했던 더 깊은 이론적 이해가 필요하다고 강조합니다. 원래의 비판을 강조하는 동시에 새로운 접근 방식을 인정했는데 이는 나중에 현대 딥 러닝 발전으로 이어집니다.

AT&T Bell Labs의 얀 르쿤(Yann LeCun)과 연구팀은 다층 신경망에 역전파 알고리즘을 성공적으로 적용하여 손으로 쓴 우편번호 이미지를 인식하는 혁신을 이루었습니다.²⁴ 이것은 콘볼루션 신경망을 사용한 딥 러닝의 첫 번째 실제 응용 분야 중 하나입니다. 당시의 제한된 하드웨어에도 불구하고 네트워크를 학습시키는 데 약 3일이 걸려 이전의 시도에 비해 의미 있는 개선을 이루었습니다. 우편 서비스 자동화의 핵심 작업인 수기 숫자 인식에서 이 시스템이 성공함에 따라, 이미지 인식 작업을 위한 신경망의 잠재력을 입증하고 향후 수십 년 동안 딥 러닝이 폭발적으로 성장할 수 있었던 토대가 마련되었습니다.

공상 과학 소설 작가이자 수학자인 버너 빈지(Vernor Vinge)는 'The Coming Technological Singularity'라는 에세이를 발표하여 향후 30년 이내에 초인적인 지능이 생성되고 인류 문명을 근본적으로 변화시킬 것이라고 예측합니다.²⁵ 빈지는 기술 발전, 특히 AI 분야의 발전으로 지능이 폭발적으로 증가하여 기계가 인간의 지능을 능가하고 우리가 알고 있는 인간 시대의 종말이 올 것이라고 주장합니다. 그의 에세이는 AI가 인간의 통제를 넘어서는 순간인 '기술적 특이점'의 개념을 대중화하는 데 중요한 역할을 했으며, AI, 윤리 및 미래주의 커뮤니티에서 논쟁을 불러일으켰습니다.

이러한 예측은 AI와 초지능의 잠재적 영향에 대한 논의, 특히 인간 능력을 훨씬 뛰어넘는 지능을 가진 기계를 만드는 데 따른 실존적 위험과 윤리적 고려 사항에 대한 논의에 지속적으로 영향을 미치고 있습니다.

리처드 월리스(Richard Wallace)는 조셉 바이젠바움(Joseph Weizenbaum)의 ELIZA 프로그램이 구축한 기반을 바탕으로 챗봇 A.L.I.C.E.²⁶(Artificial Linguistic Internet Computer Entity)를 개발했습니다. 대화 시뮬레이션을 위해 스크립트 응답에 의존했던 ELIZA와는 달리, A.L.I.C.E.는 새롭게 부상한 월드 와이드 웹을 활용하여 방대한 양의 자연어 데이터를 수집하고 처리함으로써 보다 복잡하고 유동적인 대화에 참여할 수 있었습니다. A.L.I.C.E.는 AIML(Artificial Intelligence Markup Language)이라는 패턴 매칭 기술을 사용하여 응답을 구문 분석하고 생성하므로 적응력과 확장 가능성 면에서 이전 제품보다 더욱 우수했습니다. 월리스의 연구는 대화형 AI의 추가 발전을 위한 발판을 마련하여 최신 가상 어시스턴트와 챗봇에 영향을 미쳤습니다.

셉 호흐라이터(Sepp Hochreiter)와 유르겐 슈미트후버(Jürgen Schmidhuber)는 기존 RNN의 한계, 특히 데이터의 장기 종속성을 효과적으로 포착할 수 없는 한계를 극복하도록 설계된 순환 신경망(RNN)의 한 유형인 장단기 기억(LSTM)을 소개했습니다. LSTM 네트워크는 필기 인식, 음성 인식, 자연어 처리, 시계열 예측과 같은 응용 분야에 널리 사용됩니다.

IBM의 Deep Blue가 현 세계 체스 챔피언 게리 카스파로프(Garry Kasparov)를 6전 전승으로 꺾으며 새로운 역사를 썼습니다.²⁷ 이것은 컴퓨터 체스 경기 프로그램이 표준 체스 토너먼트 시간 제어하에서 세계 챔피언을 이긴 최초의 사례입니다. Deep Blue의 승리는 오랫동안 인간 지능의 특징으로 여겨졌던 고도로 전략적인 게임에서 컴퓨터가 인간을 능가할 수 있음을 보여주었습니다. 초당 수백만 번의 움직임을 계산하는 기계의 능력과 게임 이론 및 휴리스틱의 발전을 결합하여 카스파로프를 능가하고 AI 역사에서 Deep Blue의 위치를 공고히 할 수 있었습니다.

이 사건은 또한 인간의 인지와 AI의 미래 관계에 대한 논쟁을 촉발했으며, 자연어 처리 및 자율 시스템과 같은 다른 분야의 후속 AI 연구에 영향을 미쳤습니다.

데이브 햄튼(Dave Hampton)과 케일럽 정(Caleb Chung)은 최초로 널리 성공한 가정용 로보틱 반려동물인 Furby를 만들었습니다.²⁸ Furby는 촉각, 소리, 빛에 반응할 수 있으며, 시간이 지남에 따라 자신의 언어인 Furbish를 '학습'하는 것부터 시작해 점차 사용자와의 상호작용을 통해 더 많은 영어를 '말할' 수 있었습니다. 학습을 모방하고 사용자와 소통할 수 있는 능력을 보유하여 소비자 제품에서 처음으로 로보틱과 엔터테인먼트를 혼합한, 보다 정교한 소셜 로봇의 선구자가 되었습니다.

얀 르쿤(Yann LeCun), 요슈아 벤지오(Yoshua Bengio) 및 공동 연구자들은 신경망이 필기 인식에 어떻게 적용되는지에 관한 영향력 있는 논문을 발표했습니다.²⁹ 이들의 연구는 콘볼루션 신경망으로 역전파 알고리즘을 최적화하여 딥 네트워크를 학습시키는 데 더 효과적으로 만드는 데 초점을 맞추고 있습니다. 르쿤과 벤지오의 연구는 역전파 과정을 개선하고 이미지 및 패턴 인식을 위한 CNN의 힘을 입증함으로써 오늘날 광범위한 AI 애플리케이션에 사용되는 최신 딥 러닝 기술의 발판을 마련했습니다.

MIT의 신시아 브리질(Cynthia Breazeal)은 감정적, 사회적 신호를 통해 인간과 상호작용하도록 설계된 로봇인 Kismet을 개발했습니다.³⁰ Kismet은 카메라, 마이크, 표정이 풍부한 얼굴 특징을 갖추고 있어 행복, 슬픔, 놀라움과 같은 인간의 감정을 인식하고 반응할 수 있습니다. 이 개발은 로봇이 인간과 보다 자연스럽게 상호작용할 수 있는 방법을 탐구하는 소셜 로보틱의 발전을 나타냅니다.

제프리 힌튼(Geoffrey Hinton)은 딥 러닝의 주요 발전을 요약하고 다층 신경망을 보다 효과적으로 학습시킬 수 있는 방법을 설명하는 'Learning Multiple Layers of Representation'을 출간했습니다.³¹ 힌튼의 연구는 감각 데이터를 단순히 분류하는 것이 아니라 감각 데이터를 생성하기 위해 점진적 연결로 네트워크를 학습시키는 데 초점을 맞춥니다. 이 접근 방식을 계기로 기존 신경망에서 현재 우리가 딥 러닝이라고 부르는 것으로 전환하여, 기계가 데이터의 복잡한 계층적 표현을 학습할 수 있게 되었습니다.

프린스턴 대학교의 페이 페이 리(Fei-Fei Li)와 팀은 주석이 달린 이미지로 구성된 가장 크고 포괄적인 데이터 세트를 구축하는 ImageNet 프로젝트를 시작했습니다.³² ImageNet은 수천 개의 카테고리에 걸쳐 레이블이 붙은 수백만 개의 이미지를 제공함으로써 시각 객체 인식 소프트웨어의 개발을 지원하도록 설계되었습니다. 이 데이터 세트의 규모와 품질에 힘입어 컴퓨팅 비전 연구, 특히 이미지에서 물체를 인식하고 분류하도록 딥 러닝 모델을 학습시키는 기술이 발전할 수 있습니다.

라자트 레이나(Rajat Raina), 아난드 마드하반(Anand Madhavan), 앤드류 응(Andrew Ng)은 'Large-scale Deep Unsupervised Learning using Graphics Processors'를 발표하여 그래픽 처리 장치(GPU)가 딥 러닝 작업에서 기존의 멀티코어 CPU를 훨씬 능가할 수 있다고 주장했습니다.³³ 이들은 GPU의 뛰어난 계산 능력이 심층 비지도 학습 방법의 적용 가능성을 혁신적으로 높여, 연구자들이 더 광범위하고 복잡한 모델을 더 효율적으로 학습시킬 수 있음을 입증했습니다. 이 연구는 딥 러닝 분야에서 GPU의 채택을 가속화하여 2010년대 컴퓨팅 비전 및 자연어 처리와 같은 분야에서 최신 AI 애플리케이션을 뒷받침하는 혁신을 이끄는 데 중요한 역할을 했습니다.

노스웨스턴 대학교 지능형 정보 연구소(Intelligent Information Laboratory)의 컴퓨터 과학자들은 사람의 개입 없이 스포츠 뉴스 기사를 자동으로 생성할 수 있는 프로그램인 Stats Monkey를 개발했습니다.³⁴ Stats Monkey는 게임 통계를 사용하여 야구 경기에 대한 요약, 선수 성과 및 분석을 포함한 일관된 내러티브를 작성할 수 있습니다.

IBM의 Watson은 고급 자연어 질문 답변 컴퓨터로, 게임 쇼 Jeopardy!에서 이 쇼의 가장 성공적인 챔피언인 켄 제닝스(Ken Jennings), 브래드 루터(Brad Rutter)와 대결하여 승리를 거두며 화제가 되었습니다.³⁵ Watson의 자연어 처리 및 해석 능력과 방대한 지식 기반을 통해 복잡한 질문에 빠르고 정확하게 답변할 수 있었습니다. 이번 승리는 인간의 언어를 정교한 수준으로 이해하고 상호작용하는 AI 능력의 발전을 잘 보여줍니다.

Apple은 iOS 운영 체제에 통합된 가상 어시스턴트인 Siri를 출시했습니다. Siri는 사용자가 음성 명령을 통해 기기와 상호작용할 수 있는 자연어 사용자 인터페이스를 제공합니다. Siri는 머신 러닝을 통해 각 사용자의 선호도와 음성 패턴에 적응하여 메시지 보내기, 미리 알림 설정, 추천 제공, 질문 답변 등의 작업을 수행할 수 있습니다. 이러한 개인화된 적응형 음성 인식 시스템은 사용자에게 개인화된 경험을 제공하며 일상적인 소비자를 위한 AI 기반 어시스턴트의 사용성과 접근성의 도약을 나타냅니다.

제프 딘(Jeff Dean)과 앤드류 응(Andrew Ng)은 레이블이 지정되지 않은 1,000만 개의 이미지를 YouTube 비디오에서 가져와 거대한 신경망을 사용한 실험을 수행했습니다.³⁶ 실험에서 네트워크는 사전 레이블 지정 없이 데이터의 패턴을 인식하는 법을 학습했으며, '놀랍게도' 한 뉴런이 고양이 이미지에 특히 민감하게 반응했습니다. 이 발견은 딥 신경망이 방대한 양의 데이터에서 자율적으로 기능을 학습하는 방법을 보여줌으로써 비지도 학습을 입증했습니다.

제프리 힌튼(Geoffrey Hinton)이 이끄는 토론토 대학교의 연구자들이 콘볼루션 신경망을 설계하여 ImageNet 대규모 시각 인식 챌린지(ImageNet Large Scale Visual Recognition Challenge)에서 획기적인 결과를 달성했습니다.³⁷ AlexNet이라고 하는 이들의 CNN은 오류율에서 전년도 최고 결과인 25%보다 크게 개선된 16%를 달성했습니다. 이 성과는 컴퓨팅 비전 분야에서 딥 러닝의 전환점이 되었으며, 대규모 데이터 세트에 대해 CNN을 학습시킬 경우 기존 이미지 분류 방법보다 뛰어난 성능을 발휘할 수 있음을 입증했습니다.

Google DeepMind의 AlphaGo가 세계 최고의 바둑 선수 중 한 명인 이세돌을 물리쳤습니다. 우주의 원자보다 더 많은 이동이 가능한 복잡한 보드 게임인 바둑은 오랫동안 AI에 도전적인 영역으로 여겨져 왔습니다.³⁸ AlphaGo가 이세돌을 4-1로 이긴 것은 AI에서 획기적인 순간입니다. 이전에는 AI의 능력 밖이었던 고도로 복잡한 전략적 작업을 딥 러닝 기술로 처리할 수 있음을 보여줍니다.

Hanson Robotics는 고도로 발전한 휴머노이드 로봇인 Sophia를 소개했습니다.³⁹ Sophia는 이미지 인식과 자연어 처리의 조합을 사용하여 얼굴을 인식하고 눈을 마주치고 대화를 나눌 수 있습니다.

연구자들은 FAIR(Facebook Artificial Intelligence Research) 연구실에서 두 챗봇을 서로 협상하도록 학습시켰습니다. 챗봇은 영어로 소통하도록 프로그래밍되었지만, 대화하는 동안 구조화된 인간 언어에서 벗어나 더 효율적으로 소통하기 위해 자신만의 속성 언어를 만들기 시작했습니다.⁴⁰ 봇이 인간의 개입 없이 의사소통을 최적화하는 이러한 발전은 예상치 못한 일입니다. 봇을 인간이 이해할 수 있는 언어 내에 유지하기 위해 실험이 중단되었지만, 이 사건으로 자율적이고 예측할 수 없는 방식으로 진화할 수 있는 AI 시스템의 잠재력이 부각되었습니다.

OpenAI는 1,750억 개의 매개변수가 있는 언어 모델인 GPT-3를 소개했으며, 이는 현재까지 가장 크고 정교한 AI 모델 중 하나입니다. GPT-3는 인간과 유사한 텍스트 생성, 대화 참여, 코드 작성, 언어 번역, 자연어 프롬프트를 기반으로 창의적인 글 생성 등의 능력을 보여주었습니다. 대규모 언어 모델(LLM)의 초기 사례 중 하나인 GPT는 방대한 크기와 규모로 인해 작업별 학습을 거의 또는 전혀 수행하지 않고도 다양한 언어 작업을 수행할 수 있었습니다. 이 사례는 AI 모델이 매우 일관성 있는 언어를 이해하고 생성할 수 있는 잠재력을 보여주었습니다.

DeepMind의 AlphaFold 2는 아미노산 서열을 통해 단백질의 3D 구조를 정확하게 예측함으로써 생물학 분야에서 획기적인 발전을 이루었습니다. 이 성과를 통해 수십 년 동안 과학자들을 당혹스럽게 했던 문제, 즉 단백질이 어떻게 독특한 3차원 모양으로 접히는지를 이해하게 되었습니다. AlphaFold 2의 높은 단백질 구조 예측 정확도는 질병 연구와 신약 개발에 의의가 있으며, 질병의 분자 메커니즘을 이해하고 새로운 치료제를 보다 효율적으로 설계할 수 있는 새로운 방법을 제공합니다.

Google이 개발한 MUM(Multitask Unified Model)은 언어를 이해하고 생성하여 검색 경험을 개선하도록 설계된 강력한 AI 모델로 ⁷⁵개 언어를 지원합니다. MUM은 텍스트, 이미지 및 비디오를 동시에 멀티태스킹으로 분석할 수 있으므로 더 복잡하고 미묘한 검색 쿼리를 처리할 수 있습니다.⁴¹ 기존 모델과 달리 MUM은 멀티모달 인풋을 처리하고 여러 정보 소스와 관련된 복잡한 질문에 대해 포괄적이고 컨텍스트가 풍부한 답변을 제공할 수 있습니다.

Tesla는 완전 자율 주행을 목표로 하는 운전자 지원 시스템인 FSD(Full Self-Driving) 베타를 출시했습니다. FSD 베타는 딥 러닝과 신경망을 활용하여 실시간 도시 거리, 고속도로, 교차로 등 복잡한 주행 시나리오를 탐색합니다. 이를 통해 Tesla 차량은 운전자의 감독이 필요하긴 하지만 특정 조건에서 자율적으로 조작, 가속 및 제동할 수 있습니다. Tesla의 FSD 베타는 완전 자율 주행 자동차라는 회사의 목표를 향해 한 걸음 더 나아간 것입니다. 하지만 자율 주행 기술이 널리 보급되기 위해서는 해결해야 할 규제 문제와 안전 문제가 여전히 남아 있습니다.

OpenAI는 텍스트 설명에서 고도로 자세한 이미지를 생성할 수 있는 생성형 AI 모델인 DALL-E와 DALL-E 2 및 DALL-E 3를 차례로 출시했습니다. 이 모델은 고급 딥 러닝과 트랜스포머 아키텍처를 사용하여 사용자 인풋을 기반으로 복잡하고 사실적이며 예술적인 이미지를 만듭니다. DALL-E 2와 3는 시각적 콘텐츠 제작에서 AI 모델 사용을 확장하여 사용자가 전통적인 그래픽 디자인 기술 없이도 아이디어를 이미지로 전환할 수 있도록 해줍니다.

2월

Google은 최대 100만 토큰의 컨텍스트 길이를 처리할 수 있는 고급 언어 모델인 Gemini 1.5를 제한된 베타로 출시합니다.⁴² 이 모델은 단일 프롬프트에서 방대한 양의 정보를 처리하고 이해할 수 있어 복잡한 대화와 긴 텍스트에 대한 작업에서 컨텍스트를 유지하는 능력이 향상되었습니다. Gemini 1.5는 긴 인풋에 대한 향상된 메모리 능력과 컨텍스트 이해를 제공함으로써 자연어 처리에서 주목할 만한 도약을 이루었습니다.

OpenAI는 텍스트 설명에서 최대 1분 길이의 비디오를 생성할 수 있는 텍스트 비디오 변환 모델인 Sora를 공개적으로 발표했습니다.⁴³ 이 혁신은 AI 생성 콘텐츠의 사용을 정적 이미지 이상으로 확장하여 사용자가 프롬프트를 기반으로 역동적이고 상세한 비디오 클립을 만들 수 있도록 해줍니다. Sora는 비디오 콘텐츠 제작에서 새로운 가능성을 열어줄 것으로 기대됩니다.

StabilityAI는 최신 텍스트 이미지 변환 모델인 Stable Diffusion 3를 발표했습니다. Sora와 마찬가지로 Stable Diffusion 3는 텍스트 프롬프트에서 세부적이고 창의적인 콘텐츠를 생성하기 위해 유사한 아키텍처를 사용합니다.⁴⁴

5월

Google DeepMind가 암과 유전 질환을 식별하는 데 도움이 되는 AlphaFold의 새로운 확장 기능을 공개하여 유전자 진단 및 맞춤형 의학을 위한 강력한 도구를 제공했습니다.⁴⁵

IBM은 watsonx AI 제품 포트폴리오의 일부로 Granite 생성형 AI 모델 제품군을 소개했습니다. 30억~340억 개의 매개변수를 포함하는 Granite 모델은 코드 생성, 시계열 예측, 문서 처리 등의 작업을 위해 설계되었습니다. 오픈 소스이며 Apache 2.0 라이선스에 따라 제공되는 이 모델은 가볍고 비용 효율적이며 사용자 정의가 가능하므로 광범위한 비즈니스 애플리케이션에 이상적입니다.

6월

Apple은 ChatGPT를 새로운 iPhone 및 Siri에 통합한 Apple Intelligence를 발표했습니다.⁴⁶ 이 통합을 통해 Siri는 더 복잡한 작업을 수행하고, 더 자연스러운 대화를 나누며, 미묘한 명령을 더 잘 이해하고 실행할 수 있습니다.

9월

NotebookLM은 소스 자료를 팟캐스트 형식의 흥미로운 오디오 프레젠테이션으로 변환할 수 있는 새로운 멀티모달 AI인 DeepDive를 소개했습니다.⁴⁷ DeepDive는 웹 페이지, 텍스트, 오디오 및 비디오를 포함한 다양한 형식의 정보를 분석하고 요약할 수 있는 기능을 통해 다양한 플랫폼에서 개인화되고 자동화된 콘텐츠를 만들 수 있는 새로운 기회를 제공합니다. 이러한 기능 덕분에 미디어 제작 및 교육에 다재다능하게 툴로 활용할 수 있습니다.

현재 AI 트렌드에서는 더 작고 효율적인 파운데이션 모델에서 작동하는 생성형 AI가 새롭게 진화하고, 특정 AI 모델이 협력하여 사용자 요청을 더 빠르게 완료할 수 있는 에이전틱 AI가 부상하고 있습니다. 좀 더 시간이 흐르면 자율 주행 차량이 고속도로를 달리고 멀티모달 AI는 단일 플랫폼에서 오디오, 비디오, 텍스트 및 이미지를 생성하며 AI 어시스턴트는 사용자가 개인 생활과 업무를 이끌어가도록 지원하게 될 것입니다.