머신 러닝

menu icon

머신 러닝

머신 러닝에 대한 이 소개에서는 주요 역사, 핵심 정의, 적용 분야 및 오늘날 기업 내의 우려 등에 대한 개요를 제공합니다.

머신 러닝이란?

머신 러닝은 인간이 학습을 통해 정확도를 점진적으로 개선하는 방식을 모방하기 위한 데이터와 알고리즘의 사용에 초점을 맞추는 인공지능(AI) 및 컴퓨터 사이언스의 한 분야입니다.

IBM은 머신 러닝 분야에서 풍부한 역사를 보유하고 있습니다. 그 중 하나인 Arthur Samuel은 체커 게임과 관련된 자신의 연구 보고서(PDF, 481KB)(IBM 외부 링크)에서 "머신 러닝"이라는 용어를 만들었다고 인정받고 있습니다. 자칭 체커의 달인이라고 주장하는 Robert Nealey는 1962년에 IBM 7094 컴퓨터에서 게임을 실행했으며, 컴퓨터에게 졌습니다. 오늘날 할 수 있는 것에 비하면 이 정도의 위업은 사소한 것처럼 보이지만, 이는 인공지능 분야에서 중요한 이정표로 간주되고 있습니다. 이후 수십 년에 걸쳐, 스토리지와 처리 능력을 둘러싼 기술적 발전은 Netflix의 추천 엔진이나 자율주행차 등과 같은 오늘날 우리가 알고 있고 좋아하는 일부 혁신적인 제품들을 가능하게 합니다.

머신 러닝은 발전하는 데이터 사이언스 분야의 중요 컴포넌트입니다. 통계적 방법을 사용함으로써, 알고리즘은 분류 또는 예측을 작성하고 데이터 마이닝 프로젝트에서 중요 인사이트를 도출하도록 훈련을 받습니다. 이러한 인사이트는 결과적으로 핵심 성장 메트릭에 이상적으로 영향을 미치는 애플리케이션 및 비즈니스 내의 의사결정을 가속화합니다. 빅데이터가 지속적으로 확대되고 성장함에 따라, 데이터 사이언티스트들에 대한 시장 수요가 증가할 것이며, 이로 인해 데이터 사이언티스트들은 가장 관련성이 높은 비즈니스 질문을 식별하고 이에 답변하기 위한 데이터를 지원해야 합니다.

머신 러닝 vs. 딥 러닝 vs. 신경망

딥 러닝과 머신 러닝이 상호 교환적으로 사용되는 경향이 있으므로, 이 둘 사이의 뉘앙스를 주목할 가치가 있습니다. 머신 러닝, 딥 러닝 그리고 신경망은 모두 인공지능의 하위 분야입니다. 그러나 딥 러닝은 실제로 머신 러닝의 하위 분야이며, 신경망은 딥 러닝의 하위 분야입니다.

딥 러닝과 머신 러닝의 차이점은 각 알고리즘의 학습 방법에 있습니다. 딥 러닝은 프로세스의 기능 추출 부분을 대부분 자동화함으로써, 필요한 수동적인 사용자 개입의 일부를 제거하고 보다 큰 데이터 세트의 사용을 가능하게 합니다. Lex Fridman이 이 MIT 강연(00:30)(IBM 외부 링크)에서 설명했듯이, 딥 러닝을 "확장형 머신 러닝"으로 생각할 수 있습니다. 고전적인 혹은 "딥이 아닌" 머신 러닝은 학습을 위해 인간의 개입에 보다 많이 의존합니다. 인간 전문가들은 데이터 입력 간의 차이점을 파악하기 위한 기능 세트를 판별하며, 학습을 위해서는 일반적으로 보다 많은 정형 데이터를 필요로 합니다.

"딥" 머신 러닝은 감독형 학습이라고도 하는 레이블링된 데이터 세트를 활용하여 자체 알고리즘에 알릴 수 있지만, 레이블링된 데이터 세트가 반드시 필요하지는 않습니다. 이는 원시 양식(예: 텍스트, 이미지)으로 비정형 데이터를 수집할 수 있으며, 서로 간에 상이한 데이터 카테고리를 구분하는 기능 세트를 자동으로 판별할 수 있습니다. 머신 러닝과는 달리, 이는 데이터 처리에 인간의 개입이 필요하지 않으므로 보다 흥미로운 방법으로 머신 러닝을 확장할 수 있도록 허용합니다. 딥 러닝과 신경망은 주로 컴퓨터 비전, 자연어 처리 및 음성 인식과 같은 영역에서 프로세스를 가속화한다고 간주됩니다.

신경망 또는 인공 신경망(ANN)은 하나의 입력 계층, 하나 이상의 은닉 계층 및 하나의 출력 계층을 포함하는 노드 계층으로 구성됩니다. 각 노드 또는 인공 뉴런은 다른 노드에 연결되며, 연관된 가중치와 임계값을 갖습니다. 개별 노드의 출력이 지정된 임계값을 초과하면, 해당 노드가 활성화되어 네트워크의 다음 계층으로 데이터를 전송합니다. 그렇지 않으면, 네트워크의 다음 계층으로 데이터가 전달되지 않습니다. 딥 러닝에서 "딥"이라는 용어는 바로 신경망에서 계층의 깊이를 의미합니다. 입력과 출력이 포함될 수 있는 3개 이상의 계층으로 구성된 신경망은 딥 러닝 알고리즘 또는 심층 신경망으로 간주될 수 있습니다. 단지 2개 또는 3개의 계층만을 갖는 신경망은 그저 기본 신경망에 불과합니다.

다양한 개념들이 어떻게 관련되는지 자세히 살펴보려면 블로그 게시물 “AI 대 머신 러닝 대 딥 러닝 대 신경망: 차이점”을 참조하세요.

머신 러닝의 작동 방식

UC Berkeley(IBM 외부 링크)는 머신 러닝 알고리즘의 학습 시스템을 세 가지 주요 부분으로 구분합니다.

  1. 의사결정 프로세스: 일반적으로, 머신 러닝 알고리즘은 예측하거나 분류하는 데 사용됩니다. 레이블링되거나 레이블링되지 않을 수 있는 일부 입력 데이터를 기반으로, 알고리즘은 데이터의 패턴에 대한 추정치를 생성합니다.
  2. 오류 함수: 오류 함수는 모델의 예측을 평가하는 역할을 합니다. 알려진 사례가 있는 경우, 오류 함수는 비교를 통해 모델의 정확도를 평가할 수 있습니다.
  3. 모델 최적화 프로세스: 모델이 훈련 세트의 데이터 점에 보다 잘 맞을 수 있으면, 가중치는 조정을 거쳐 알려진 사례와 모델 추정치 간의 불일치를 줄여줍니다. 알고리즘은 이러한 평가를 반복하여 프로세스를 최적화하며, 정확도의 임계값이 충족될 때까지 가중치를 자체적으로 업데이트합니다.

머신 러닝 방법

머신 러닝 분류자는 3개의 기본 범주에 속합니다.

감독형 머신 러닝

감독형 머신 러닝이라고도 하는 감독형 러닝은 레이블링된 데이터 세트를 사용하여 데이터를 분류하거나 정확하게 결과를 예측하는 알고리즘을 훈련시키는 것으로 정의됩니다. 입력 데이터가 모델에 공급되면서, 이는 모델이 적절하게 맞춰질 때까지 해당 가중치를 조정합니다. 이는 모델이 과도 적합 또는 적합 미달을 피할 수 있도록 교차 검증 프로세스의 일부로서 이루어집니다. 감독형 러닝은 기업들이 다양한 실세계 문제들(예: 받은 편지함에서 별도의 폴더에 스팸을 분류함)을 적절한 규모로 해결할 수 있도록 지원합니다. 감독형 러닝에서 사용되는 일부 방법에는 신경망, 나이브 베이즈(naïve bayes), 선형 회귀, 로지스틱 회귀, 랜덤 포레스트, SVM(Support Vector Machine) 등이 포함됩니다.

비감독형 머신 러닝

비감독형 머신 러닝이라고도하는 비감독형 러닝은 머신 러닝 알고리즘을 사용하여 레이블링되지 않은 데이터 세트를 분석하고 클러스터링합니다. 이 알고리즘은 인간의 개입 없이도 숨겨진 패턴이나 데이터 그룹핑을 감지합니다. 정보에서 유사점과 차이점을 감지하는 기능 덕분에, 이는 탐색형 데이터 분석, 교차 판매 전략, 고객 세분화, 이미지 및 패턴 인식에 매우 이상적인 솔루션입니다. 이는 또한 차원 감소 프로세스를 통해 모델에서 기능의 수를 줄이는 데도 사용되며, PCA(Principal Component Analysis) 및 SVD(Singular Value Decomposition)는 이를 위한 두 가지 일반적인 접근 방법입니다. 비감독형 러닝에서 사용되는 기타 알고리즘에는 신경망, k-평균 클러스터링, 확률적 클러스터링 방법 등이 포함됩니다.

반감독형 러닝

반감독형 러닝은 감독형 및 비감독형 러닝 간의 적절한 타협점을 제공합니다. 훈련 중에, 이는 레이블링된 보다 작은 데이터 세트를 사용하여 레이블링되지 않은 보다 큰 데이터 세트에서 분류 및 특징 추출을 유도합니다. 반감독형 러닝은 감독형 러닝 알고리즘을 훈련시키기에는 충분치 않은 레이블링 데이터를 보유할 경우(또는 충분한 데이터를 레이블링할 수 없는 경우)의 문제점을 해결할 수 있습니다.

이러한 접근 방식의 차이점을 자세히 알아보려면 "감독형 대 비감독형 러닝: 차이점"을 참조하세요.

강화형 머신 러닝

증강 머신 러닝은 감독형 러닝과 유사한 행동 머신 러닝 모델이지만, 알고리즘이 샘플 데이터를 사용하여 훈련되지 않습니다. 이 모델은 시행착오를 통해 학습합니다. 주어진 문제점에 대한 최상의 추천이나 정책을 개발할 수 있도록 일련의 성공한 결과가 강화됩니다.

2011년에 Jeopardy! 챌린지에서 우승한 IBM Watson® 시스템은 좋은 사례입니다. 이 시스템은 강화형 러닝을 사용하여 답변을 시도할지(이를 테면, 질문에 대해) 여부, 보드에서 어떤 사각형을 선택할지 여부 그리고 베팅 규모(특히 복승식에서)를 결정합니다.

증강 러닝에 대해 자세히 알아보세요.

실세계 머신 러닝 유스케이스

다음은 매일 일상에서 접할 수 있는 머신 러닝의 일부 예입니다.

음성 인식: 이는 자동 음성 인식(ASR), 컴퓨터 음성 인식 또는 음성-텍스트 변환으로 알려져 있으며, 자연어 처리(NLP)를 사용하여 인간의 음성을 문서 형식으로 처리하는 기능을 말합니다. 다수의 모바일 디바이스는 자체 시스템에 음성 인식을 내장하여 음성 검색을 수행하거나(예: Siri), 문자 메시지와 관련한 추가적인 접근성을 제공합니다.

고객 서비스: 온라인 챗봇이 고객 여정에서 인간 상담사들을 대체하고 있습니다. 이들은 배송 등의 문제와 관련된 자주 묻는 질문(FAQ)에 답변합니다. 또는 맞춤형 조언, 교차 판매 제품 또는 사용자에 맞는 크기 제안, 웹사이트와 소셜 미디어 플랫폼에서 고객 참여에 대한 사고 방식의 변경 등을 제공합니다. 실제 사례로는 가상 에이전트를 통한 전자상거래 사이트의 메시징 봇, Slack 및 Facebook Messenger 등의 메시징 앱, 그리고 통상적으로 가상 어시스턴트와 음성 어시스턴트가 수행하는 태스크를 들 수 있습니다.

컴퓨터 비전: 이 AI 기술을 사용하여 컴퓨터와 시스템은 디지털 이미지, 비디오 및 기타 시각적 입력에서 의미 있는 정보를 추출할 수 있으며, 이러한 입력에 따라 조치를 취할 수 있습니다. 추천을 제공하는 이 기능은 이를 이미지 인식 태스크와 차별화합니다. 나선형 신경망으로 구동되는 컴퓨터 비전은 소셜 미디어의 사진 태깅, 의료 분야의 방사선 촬영, 그리고 자동차 산업의 자율주행차 등에 적용될 수 있습니다.

추천 엔진: 과거의 소비 행태 데이터를 사용함으로써, AI 알고리즘은 보다 효과적인 교차 판매 전략의 개발에 사용할 수 있는 데이터 트렌드를 발견하는 데 도움이 됩니다. 이는 온라인 소매업체의 체크아웃 프로세스 중에 고객들에게 연관된 부가적인 추천사항을 제공하는 데 사용됩니다.

자동 주식 거래: 주식 포트폴리오를 최적화하도록 설계된 AI 기반의 고주파 거래 플랫폼은 인간의 개입 없이도 하루에 수천 건 또는 수백만 건의 거래를 체결합니다.

머신 러닝의 과제

머신 러닝 기술이 발전함에 따라, 확실히 우리의 삶은 보다 편리해졌습니다. 그러나, 기업들 내에서 머신 러닝을 구현하는 일은 AI 기술을 둘러싼 다수의 윤리적 문제들을 제기하기도 합니다. 이들 중 일부에는 다음이 포함됩니다.

기술적 특이점

이 주제는 대중의 많은 관심을 끌지만, 많은 연구자들은 가까운 또는 임박한 미래에 인간의 지능을 능가하는 AI라는 생각에는 별로 관심이 없습니다. 이를 '초지능' 이라고도 하는데, Nick Bostrum은 이를 "과학적 창의성, 통념 및 사회적 기능을 포함한 모든 실질적인 분야에서 최고의 인간 두뇌를 엄청나게 능가하는 어떤 지성"이라고 정의합니다. 강형 인공지능과 초지능이 당장 우리 사회에 구현되지 않는 상황에서, 자율주행차와 같은 자율형 시스템의 사용을 고려하는 입장에서 이러한 생각들은 흥미로운 질문들을 우리에게 던져줍니다. 무인주행차가 결코 자동차 사고를 당하지 않을 것이라는 생각은 비현실적이지만, 해당 상황에서는 누구에게 법적인 책임이 있을까요? 자율주행 차량을 계속 추진해야 할까요? 아니면 이 기술의 통합을 제한함으로써 운전자들의 안전을 증진시키는 반자율형 차량만을 만들어야 할까요? 전문가들이 여전히 이 문제를 고심하고 있지만, 새롭고 혁신적인 AI 기술이 발전하면서 다양한 유형의 윤리적 논쟁들이 벌어지고 있습니다.

일자리에 대한 AI 영향:

인공지능과 관련하여 많은 대중들의 관심사가 일자리 유실에 집중된 가운데, 이러한 우려는 아마도 재고의 여지가 충분합니다. 모든 파괴적인 신기술을 통해, 우리는 특정한 일자리의 역할에 대한 시장의 요구사항이 전환됨을 알 수 있습니다. 예컨대 자동차 산업을 살펴보면, GM과 같은 많은 제조업체들이 친환경 이니셔티브에 편승하여 전기자동차 생산에 주력하고 있습니다. 에너지 산업은 사라지지 않지만, 에너지원은 화석 연료 경제에서 전기 경제로 이동하고 있습니다. 우리는 인공지능이 일자리의 수요를 다른 영역으로 전이하는 것과 유사한 방식으로 인공지능을 바라봐야 합니다. 데이터가 증가하고 매일 변경되므로, 이러한 시스템의 관리를 지원하는 인력이 필요합니다. 고객 서비스와 같은 일자리 수요의 변화에 따라 가장 영향을 받을 가능성이 높은 업종 내에서 보다 복잡한 문제를 해결하기 위한 리소스는 여전히 필요합니다. 인공지능의 중요 측면과 고용 시장의 영향은 개인들이 이러한 신규 시장 수요 영역으로 전환하는 데 도움이 됩니다.

개인 정보 보호 정책:

데이터 개인정보 보호, 데이터 보호 및 데이터 보안의 측면에서 개인정보 보호 정책이 논의되는 경향이 있으며, 이러한 관심사에 따라 정책 입안자들은 최근 몇 년간 이 분야에서 더 많은 발전을 이룰 수 있게 되었습니다. 예를 들어, 2016년에 GDPR 법안이 유럽 연합 및 유럽 경제 지역 국민들의 개인 데이터를 보호하기 위해 제정되었으며, 개인들이 자신의 데이터를 보다 잘 통제할 수 있게 되었습니다. 미국에서는 각 주마다 CCPA(California Consumer Privacy Act) 등의 정책을 개발 중이며, 이는 기업들에게 데이터 수집에 관해 소비자들에게 정보를 제공하도록 요구합니다. 이 최근 법안은 기업들에게 개인 식별 데이터(PII)의 저장 및 사용 방법을 재고하도록 강제했습니다. 결과적으로, 보안에 대한 투자는 감시, 해킹 및 사이버 공격과 관련한 취약성과 이의 악용 기회를 차단하고자 하는 기업들에게 점점 더 중요한 우선순위가 되고 있습니다.

편견과 차별:

다수의 지능형 시스템에서 편견과 차별의 사례들은 인공지능의 사용과 관련한 많은 윤리적 문제들을 제기하고 있습니다. 훈련 데이터 자체가 편견에 치우친 경우, 우리는 어떻게 편견과 차별로부터 우리를 보호할 수 있을까요? 기업들은 일반적으로 자사의 자동화 업무와 관련하여 선의의 의도를 지니고 있지만, Reuters(IBM 외부 링크)는 AI를 채용 시스템에 도입하면서 나타나는 예상치 못한 일부 결과에 주목하고 있습니다. 프로세스의 자동화와 간소화를 위한 노력의 일환으로, Amazon은 의도치 않게 열려진 기술적 역할에 대해 성별에 따라 잠재적인 구직자에 대해 편견을 주입했으며, 결국에는 해당 프로젝트를 폐기해야 했습니다. 이러한 사건이 드러나면서, Harvard Business Review(IBM 외부 링크)는 구직 후보자를 평가할 때 어떤 데이터를 사용할 수 있어야 하는지 등과 같이 채용 업무에서 AI의 활용과 관련하여 기타 날카로운 질문을 제기했습니다.

편견과 차별은 인적자원 기능에만 국한되지 않으며, 이는 안면 인식 소프트웨어에서부터 소셜 미디어 알고리즘에 이르기까지 다수의 애플리케이션에서 발견될 수 있습니다.

기업들이 AI로 인한 리스크를 보다 많이 인식하게 됨에 따라, AI 윤리와 가치에 대한 논의도 더욱 활발해졌습니다. 예를 들어, 지난 해에 IBM의 CEO인 Arvind Krishna는 IBM이 범용 IBM 안면 인식 및 분석 제품을 중단했다고 공표했습니다. 이와 동시에 "대중 감시, 인종 프로파일링, 기본 인권 및 자유의 침해를 위해 또는 당사의 가치와 신뢰 및 투명성 원칙에 위배되는 용도로 사용되는 타사 제공 안면 인식 기술을 포함한 어떠한 기술의 사용도 강력히 반대하며 이를 용납하지 않을 것임"을 강조했습니다.

이에 대한 자세히 알아보려면 "안면 인식 기술 유출의 통제를 위한 정밀 규제 접근 방안"에 관한 관점을 전하는 IBM 정책 블로그를 확인하세요.

책임

AI 사례를 규제하는 중요 법안이 없으므로, 윤리적 AI가 실시되도록 보장하는 실질적인 시행 법안은 아직 없습니다. 기업들이 이러한 지침을 준수하도록 하는 현행 인센티브는 최종 결과에 대한 비윤리적 AI 시스템의 부정적인 반사작용입니다. 이러한 간극을 메우기 위해, 윤리적 프레임워크가 사회 내에서 AI 모델의 구축과 보급을 통제하기 위한 윤리학자와 연구자들 간의 협업의 일환으로 탄생했습니다. 그러나 현재로서는 이는 지침으로서의 역할만 할 뿐입니다. 연구(IBM 외부 링크)(PDF, 984KB)에 따르면, 책임 분산과 잠재적 결과에 대한 예지력 결여의 조합은 사회에 대한 유해를 차단하는 데 반드시 유용하지만은 않음을 보여줍니다.

AI 윤리에 대한 IBM의 입장을 자세히 알아보려면 여기에서 읽어보세요.

머신 러닝과 IBM Cloud

IBM Watson Machine Learning은 엔드-투-엔드 머신 러닝 라이프사이클을 지원합니다. 이는 데이터가 있는 곳에서 머신 러닝 모델을 구축하고 하이브리드 멀티클라우드 환경 어디에나 배치할 수 있는 다양한 오퍼링으로 사용 가능합니다.

IBM Cloud Pak for Data의 IBM Watson Machine Learning은 엔터프라이즈 데이터 사이언스 및 AI 팀이 클라우드 네이티브 데이터 및 AI 플랫폼에서 어디서나 AI 개발과 배치를 신속하게 진행할 수 있도록 지원합니다. IBM Cloud 환경의 관리형 서비스인 IBM Watson Machine Learning Cloud는 데스크탑의 실험에서 프로덕션 워크로드를 위한 배치로 모델을 이동하는 가장 빠른 방법입니다. 머신 러닝 배치를 스케링일하고자 하는 소형 팀의 경우 IBM Watson Machine Learning Server는 프라이빗 및 퍼블릭 클라우드에서 간편한 설치를 제공합니다.

시작하려면 IBM ID에 등록하고 IBM Cloud 계정을 작성하세요.