머신 러닝(ML)은 컴퓨터와 기계가 인간의 학습 방식을 모방하여 작업을 자율적으로 수행하고, 경험과 더 많은 데이터에 대한 노출을 통해 성능과 정확도를 향상시킬 수 있도록 하는 데 중점을 둔 인공 지능(AI)의 한 분야입니다.
UC Berkeley는 머신 러닝 알고리즘의 학습 시스템을 세 가지 주요 부분으로 나눕니다.
업계 뉴스레터
가장 중요하고 흥미로운 AI 뉴스에 대한 선별된 인사이트를 확인하세요. 주간 Think 뉴스레터를 구독하세요. IBM 개인정보 보호정책을 참조하세요.
구독은 영어로 제공됩니다. 모든 뉴스레터에는 구독 취소 링크가 있습니다. 여기에서 구독을 관리하거나 취소할 수 있습니다. 자세한 정보는 IBM 개인정보 보호정책을 참조하세요.
딥 러닝과 머신 러닝은 같은 의미로 사용되는 경향이 있으므로, 둘 사이의 미묘한 차이에 주목할 필요가 있습니다. 머신 러닝, 딥 러닝, 신경망은 모두 인공 지능의 하위 분야입니다. 그러나 신경망은 실제로 머신 러닝의 하위 분야이며, 딥 러닝은 신경망의 하위 분야입니다.
딥 러닝과 머신 러닝의 차이는 각 알고리즘이 학습하는 방식에 있습니다. '딥' 머신 러닝은 레이블이 지정된 데이터 세트(지도형 학습이라고도 함)를 활용하여 알고리즘에 정보를 제공할 수 있지만, 레이블이 지정된 데이터 세트가 반드시 필요한 것은 아닙니다. 딥러닝 프로세스는 텍스트나 이미지와 같은 원시 형태의 비정형 데이터를 수집할 수 있으며, 다양한 범주의 데이터를 서로 구별하는 기능 집합을 자동으로 결정할 수 있습니다. 이렇게 하면 사람이 개입할 필요가 없고 대량의 데이터를 사용할 수 있습니다. Lex Fridman이 MIT 강의에서 언급한 것처럼 딥 러닝은 '확장 가능한 머신 러닝'이라고 생각할 수 있습니다.1
고전적 머신 러닝 또는 딥 러닝이 아닌 머신 러닝은 학습을 위해 인간의 개입에 더 의존합니다. 인간 전문가는 데이터 입력 간의 차이점을 이해하기 위해 기능 집합을 결정하며, 일반적으로 학습하려면 더 구조화된 데이터가 필요합니다.
신경망 또는 인공 신경망(ANN)은 입력 계층, 하나 이상의 숨겨진 계층 및 출력 계층을 포함하는 노드 계층으로 구성됩니다. 각 노드 또는 인공 뉴런은 서로 연결되며 관련 가중치와 임곗값이 있습니다. 개별 노드의 아웃풋이 지정된 임곗값을 초과하면 해당 노드가 활성화되어 네트워크의 다음 계층으로 데이터를 보냅니다. 그렇지 않으면 해당 노드가 네트워크의 다음 계층으로 데이터를 전달하지 않습니다. 딥 러닝에서 '딥'은 신경망의 계층 수를 나타냅니다. 입력과 출력을 포함하는 3개 이상의 계층으로 구성된 신경망은 딥 러닝 알고리즘 또는 심층 신경망으로 간주될 수 있습니다. 3개의 계층만 있는 신경망은 기본적인 신경망에 불과합니다.
딥 러닝과 신경망은 컴퓨팅 비전, 자연어 처리(NLP), 음성 인식과 같은 분야의 발전을 가속화하는 데 기여하고 있습니다.
블로그 게시물 "AI, 머신러닝, 딥러닝 및 신경망 비교: 어떤 차이가 있나요?"를 참조하여 각 개념이 어떻게 관련되어 있는지 자세히 살펴보세요.
머신 러닝 모델은 크게 세 가지 범주로 나뉩니다.
지도형 머신 러닝이라고도 하는 지도 학습은 레이블이 지정된 데이터 세트를 사용하여 데이터를 분류하거나 결과를 정확하게 예측하는 알고리즘을 학습시키는 방식으로 정의할 수 있습니다. 입력 데이터가 모델에 입력되면 모델은 적절하게 맞춰질 때까지 가중치를 조정합니다. 이는 모델이 과적합 또는 과소적합을 방지하도록 하기 위한 교차 검증 프로세스의 일부로 수행됩니다. 지도 학습은 받은 편지함과 다른 별도의 폴더에 스팸 메일을 분류하는 것처럼 현실적인 문제를 대규모로 해결하는 데 도움이 됩니다. 지도 학습에 사용되는 방법에는 신경망, 나이브 베이즈, 선형 회귀, 로지스틱 회귀, 랜덤 포레스트, SVM(서포트 벡터 머신) 등이 있습니다.
비지도 머신 러닝이라고도 알려진 비지도 학습은 머신 러닝 알고리즘을 사용하여 레이블이 없는 데이터 세트(클러스터라고 하는 하위 집합)를 분석하고 클러스터링합니다. 이러한 알고리즘은 사람의 개입 없이 숨겨진 패턴이나 데이터 그룹을 찾아냅니다.
비지도 학습은 정보의 유사점과 차이점을 발견하는 기능으로 탐색적 데이터 분석, 교차 판매 전략, 고객 세분화, 이미지 및 패턴 인식에 이상적입니다. 또한 차원 축소 프로세스를 통해 모델의 기능 수를 줄이는 데에도 사용됩니다. 주성분 분석(PCA)과 특이값 분해(SVD)는 이에 대한 두 가지 일반적인 접근 방식입니다. 비지도 학습에 사용되는 다른 알고리즘으로는 신경망, k-평균 클러스터링 및 확률적 클러스터링 방법이 있습니다.
반지도 학습은 지도 학습과 비지도 학습의 중간 형태를 제공합니다. 훈련 중에는 더 작은 레이블이 지정된 데이터 세트를 사용하여 레이블이 지정되지 않은 더 큰 데이터 세트에서 분류 및 특징 추출을 안내합니다. 준지도 학습은 지도 학습 알고리즘에 레이블이 지정된 데이터가 충분하지 않은 문제를 해결할 수 있습니다. 또한 충분한 데이터에 레이블을 지정하는 데 비용이 너무 많이 드는 경우에도 도움이 됩니다.
이러한 접근 방식의 차이점에 대한 자세한 내용은 '지도 학습과 비지도 학습 비교: 차이점은 무엇인가요?'를 참조하세요.
강화 학습은 지도 학습과 유사한 머신 러닝 모델이지만 알고리즘은 샘플 데이터를 사용하여 훈련되지 않습니다. 이 모델은 시행착오를 거치면서 학습합니다. 주어진 문제에 대한 최상의 권장 사항이나 정책을 개발하기 위해 일련의 성공적인 결과가 강화됩니다.
2011년 Jeopardy! 챌린지에서 우승한 IBM Watson 시스템이좋은 예입니다. 시스템은 강화 학습을 사용하여 답변(또는 질문)을 시도할 시기, 보드에서 선택할 사각형, 특히 일일 복식에서 베팅할 금액을 학습했습니다.
여러 머신 러닝 알고리즘이 일반적으로 사용됩니다. 여기에는 다음 내용이 포함됩니다.
신경망은 수많은 연결된 처리 노드를 사용하여 인간의 두뇌가 작동하는 방식을 시뮬레이션합니다. 신경망은 패턴을 인식하는 데 능숙하며 자연어 번역, 이미지 인식, 음성 인식 및 이미지 생성을 포함한 응용 분야에서 중요한 역할을 합니다.
이 알고리즘은 서로 다른 값 간의 선형 관계를 기반으로 수치값을 예측하는 데 사용됩니다. 예를 들어, 이 기술은 해당 지역의 과거 데이터를 기반으로 주택 가격을 예측하는 데 사용할 수 있습니다.
이 지도 학습 알고리즘은 질문에 대한 "예/아니요" 답변과 같은 범주형 응답 변수를 예측합니다. 스팸 분류 및 생산 라인의 품질 관리와 같은 응용 분야에 사용할 수 있습니다.
클러스터링 알고리즘은 비지도 학습을 사용하여 데이터의 패턴을 식별하여 그룹화할 수 있습니다. 컴퓨터는 인간이 간과한 데이터 항목 간의 차이점을 식별하여 데이터 과학자를 도울 수 있습니다.
의사 결정 트리는 숫자 값 예측(회귀)과 데이터를 카테고리로 분류하는 데 모두 사용할 수 있습니다. 의사결정 트리는 트리 다이어그램으로 나타낼 수 있는 연결된 의사결정의 분기 시퀀스를 사용합니다. 의사 결정 트리의 장점 중 하나는 신경망의 블랙박스와 달리 검증 및 감사가 쉽다는 것입니다.
랜덤 포레스트에서 머신 러닝 알고리즘이 여러 의사 결정 트리의 결과를 결합하여 값 또는 카테고리를 예측합니다.
예산, 필요한 속도 및 정밀도 요구 사항에 따라 각 알고리즘 유형(감독형, 비감독형, 준지도형 또는 강화형)에는 고유한 장점과 단점이 있습니다.
예를 들어 의사 결정 트리 알고리즘은 숫자 값 예측(회귀 문제)과 데이터를 카테고리로 분류하는 데 모두 사용됩니다. 의사 결정 트리는 트리 다이어그램으로 나타낼 수 있는 연결된 의사 결정의 분기 시퀀스를 사용합니다. 의사 결정 트리의 가장 큰 장점은 신경망보다 검증하고 감사하기가 더 쉽다는 것입니다. 나쁜 소식은 다른 의사 결정 예측 변수보다 더 불안정할 수 있습니다.
전반적으로 머신 러닝에는 기업이 새로운 효율성을 위해 활용할 수 있는 많은 이점이 있습니다. 여기에는 인간이 전혀 발견하지 못할 수 있는 방대한 양의 데이터에서 패턴과 추세를 식별하는 머신 러닝이 포함됩니다. 그리고 이 분석에는 사람의 개입이 거의 필요하지 않으며, 관심 있는 데이터 세트를 입력하기만 하면 머신 러닝 시스템이 자체 알고리즘을 조합하고 개선하며, 시간이 지남에 따라 더 많은 데이터 입력으로 지속적으로 개선됩니다. 모델이 해당 사람에 대한 모든 경험을 통해 더 많이 학습함에 따라 고객과 사용자는 보다 개인화된 경험을 즐길 수 있습니다.
단점은 머신 러닝에는 정확하고 편향되지 않은 대규모 학습 데이터 세트가 필요하다는 것입니다. GIGO는 가비지 인/가비지 아웃이라는 작동 요소입니다. 충분한 데이터를 수집하고 이를 실행할 수 있을 만큼 강력한 시스템을 구축하는 것도 리소스를 낭비하는 일이 될 수 있습니다.
머신 러닝은 입력에 따라 오류가 발생할 수도 있습니다. 샘플이 너무 작으면 시스템이 완전히 잘못되거나 오해의 소지가 있는 완벽하게 논리적인 알고리즘을 생성할 수 있습니다. 예산을 낭비하거나 고객을 불쾌하게 하지 않으려면 조직은 결과에 대한 신뢰도가 높은 경우에만 답변에 따라 조치를 취해야 합니다.
다음은 매일 접할 수 있는 머신 러닝의 몇 가지 예입니다.
음성 인식: 자동 음성 인식(ASR), 컴퓨터 음성 인식 또는 음성 텍스트 변환이라고도 하며, 자연어 처리(NLP)를 사용하여 사람의 음성을 서면 형식으로 번역하는 기능입니다. 많은 모바일 기기가 시스템에 Siri와 같은 음성 인식 기능을 통합하여 음성 검색을 수행하거나 문자 메시지에 대한 접근성을 개선할 수 있습니다.
고객 서비스: 온라인 챗봇은 고객 여정에서 인간 상담원을 대체하고 있으며, 웹사이트와 소셜 미디어 플랫폼 전반의 고객 참여에 대한 우리의 생각을 바꾸고 있습니다. 챗봇은 배송과 같은 주제에 대해 자주 묻는 질문(FAQ)에 답변하거나 사용자에게 맞춤형 조언, 제품 교차 판매 또는 사이즈 제안을 제공합니다. 전자상거래 사이트의 가상 에이전트, Slack과 Facebook Messenger를 사용하는 메시징 봇, 가상 어시스턴트와 음성 어시스턴트가 주로 수행하는 작업 등을 예로 들 수 있습니다.
컴퓨팅 비전: 이 AI 기술을 통해 컴퓨터는 디지털 이미지, 비디오 및 기타 시각적 입력에서 의미 있는 정보를 도출한 다음 적절한 조치를 취할 수 있습니다. 콘볼루션 신경망으로 구동되는 컴퓨팅 비전은 소셜 미디어의 사진 태그 지정, 의료 분야의 방사선 영상, 자동차 산업의 자율 주행 차량 등에 적용되고 있습니다.
추천 엔진: AI 알고리즘은 과거의 소비 행동 데이터를 사용하여 데이터 트렌드를 발견하는 데 도움을 주고, 이러한 트렌드를 활용해 보다 효과적인 교차 판매 전략을 개발할 수 있습니다. 추천 엔진은 온라인 소매업체가 결제 과정에서 고객에게 관련 제품을 추천하는 데 사용됩니다.
로보틱 프로세스 자동화(RPA): 소프트웨어 로봇공학이라고도 하는 RPA는 지능형 자동화 기술을 사용하여 반복적인 수작업을 수행합니다.
자동 주식 거래: 주식 포트폴리오를 최적화하도록 설계된 AI 기반 초단타 거래 플랫폼은 인간의 개입 없이 하루에 수천 또는 수백만 건의 거래를 처리합니다.
사기 탐지: 은행 및 기타 금융 기관은 머신 러닝을 사용하여 의심스러운 거래를 발견할 수 있습니다. 지도 학습은 알려진 사기 거래에 대한 정보를 사용하여 모델을 훈련할 수 있습니다. 이상 징후 탐지는 비정형적이고 추가 조사가 필요한 트랜잭션을 식별할 수 있습니다.
머신 러닝 기술이 발전하면서 우리의 삶은 확실히 더 편리해졌습니다. 그러나 비즈니스에서 머신 러닝을 구현하면서 AI 기술에 대한 윤리적 우려도 많이 제기되고 있습니다. 여기에는 다음이 포함됩니다.
이 주제는 대중의 많은 관심을 받고 있지만, 많은 연구자들은 가까운 미래에 AI가 인간의 지능을 능가할 것이라는 생각에 대해 우려하지 않습니다. 기술적 특이점은 강력한 AI 또는 초지능이라고도 합니다. 철학자 Nick Bostrum은 초지능을 "과학적 창의력, 일반적인 지혜, 사회적 기술 등 거의 모든 분야에서 최고의 인간 두뇌를 훨씬 능가하는 지성"이라고 정의합니다.
초지능이 우리 사회에 임박한 것은 아니지만, 자율주행차와 같은 자율 시스템의 사용을 고려할 때 초지능에 대한 생각은 몇 가지 흥미로운 질문을 제기합니다. 무인 자동차가 절대 사고가 나지 않을 것이라고 생각하는 것은 비현실적이지만, 그런 상황에서는 누가 책임과 의무를 져야 할까요? 자율주행차를 계속 개발해야 할까요, 아니면 이 기술을 사람들의 안전한 운전을 돕는 반자율주행차로 제한해야 할까요? 이에 대한 판단은 아직 내려지지 않았지만, 새롭고 혁신적인 AI 기술이 발전함에 따라 이러한 유형의 윤리적 논쟁이 일어나고 있습니다.
인공 지능에 대한 많은 대중의 인식이 일자리 감소에 집중되어 있지만, 이러한 우려는 아마도 재구성되어야 할 것입니다. 파괴적인 신기술이 등장할 때마다 특정 직무에 대한 시장 수요가 변화하고 있습니다. 예를 들어, 자동차 산업을 살펴보면 GM과 같은 많은 제조 업체가 친환경 이니셔티브에 맞춰 전기 자동차 생산에 집중하는 방향으로 전환하고 있습니다. 에너지 산업은 사라지지 않지만 에너지원은 연비에서 전기로 바뀌고 있습니다.
비슷한 방식으로 인공 지능은 일자리에 대한 수요를 다른 영역으로 옮길 것입니다. AI 시스템을 관리하는 데 도움을 줄 사람이 필요합니다. 고객 서비스와 같은 직업 수요 변화의 영향을 받을 가능성이 가장 높은 산업 내에서 더 복잡한 문제를 해결하기 위해서는 여전히 인력이 필요합니다. 인공 지능과 인공 지능이 고용 시장에 미치는 영향의 가장 큰 과제는 사람들이 수요가 많은 새로운 직책으로 전환하도록 돕는 것입니다.
개인정보 보호는 데이터 프라이버시, 데이터 보호 및 데이터 보안의 맥락에서 논의되는 경향이 있습니다. 이러한 우려로 인해 정책 입안자들은 최근 몇 년 동안 더 많은 진전을 이룰 수 있었습니다. 예를 들어, 2016년에는 유럽 연합 및 유럽 경제 지역에 거주하는 사람들의 개인 데이터를 보호하기 위해 GDPR 법안이 제정되어 개인이 자신의 데이터를 더 잘 통제할 수 있게 되었습니다. 미국에서는 2018년에 도입된 캘리포니아 소비자 개인 정보 보호법(CCPA)과 같은 정책을 개별 주에서 개발하고 있으며, 이 법은 기업이 데이터 수집에 대해 소비자에게 알리도록 요구합니다. 이와 같은 법률로 인해 기업은 개인 식별 정보(PII)를 저장하고 사용하는 방법을 재고해야 했습니다. 그 결과, 보안에 대한 투자는 감시, 해킹 및 사이버 공격에 대한 취약성과 기회를 제거하려는 기업에서 점점 더 우선순위가 되고 있습니다.
여러 머신 러닝 시스템에서 발생하는 편향과 차별로 인해 인공 지능 사용과 관련하여 많은 윤리적 문제가 제기되었습니다. 학습 데이터 자체가 편향된 인간 프로세스에 의해 생성될 수 있는 경우, 편향과 차별로부터 어떻게 보호할 수 있을까요? 일반적으로 기업들은 자동화를 위한 좋은 의도를 가지고 있지만, Reuters2는 AI를 채용 관행에 도입할 때 예상치 못한 결과를 초래할 수 있다고 강조합니다. 프로세스를 자동화하고 간소화하기 위해 Amazon은 의도치 않게 기술 역할에 따라 채용 후보자를 성별로 차별했고, 결국 회사는 프로젝트를 폐기해야 했습니다. Harvard Business Review3에서는 채용 관행에서 AI를 사용하는 것과 관련하여 직무 후보자를 평가할 때 어떤 데이터를 사용할 수 있어야 하는지 등 여러 가지 중요한 질문을 제기했습니다.
편향과 차별은 인사 부서에만 국한되지 않습니다. 얼굴 인식 소프트웨어부터 소셜 미디어 알고리즘에 이르기까지 다양한 애플리케이션에서 찾을 수 있습니다.
기업들이 AI의 위험성에 대해 더 많이 인식하게 되면서 AI 윤리 및 가치에 대한 논의도 활발해졌습니다. 예를 들어, IBM은 범용 얼굴 인식 및 분석 제품을 중단했습니다. IBM CEO Arvind Krishna는 "IBM은 다른 공급업체가 제공하는 안면 인식 기술을 포함한 모든 기술을 대량 감시, 인종 프로파일링, 기본 인권과 자유 침해 또는 당사의 가치와 신뢰와 투명성 원칙에 부합하지 않는 목적으로 사용하는 것을 단호히 반대하며 이를 묵인하지 않을 것입니다."라고 언급했습니다.
AI 관행을 규제하는 중요한 법률이 없기 때문에 윤리적 AI가 실행되도록 보장하는 실질적인 집행 메커니즘이 없습니다. 현재 기업들은 비윤리적인 AI 시스템이 수익에 부정적인 영향을 미칠 수 있다는 생각 때문에 윤리적 AI를 시행하려고 노력합니다. 이러한 격차를 해소하기 위해 윤리학자와 연구자 간의 협업의 일환으로 윤리 프레임워크가 등장하여 사회 내 AI 모델의 구축 및 배포를 관리하게 되었습니다. 그러나 이는 현재로서는 지침에 불과합니다. 일부 연구4에 따르면 책임 분산과 잠재적 결과에 대한 예측 부족이 결합되어 사회에 대한 피해를 예방하는 데 도움이 되지 않는 것으로 나타났습니다.
잘못된 시스템으로 인해 비용이 증가하거나 다른 유용한 도구 또는 기술의 사용이 제한될 수 있으므로 플랫폼을 선택하는 것은 어려운 프로세스가 될 수 있습니다. AI 플랫폼을 선택하기 위해 여러 공급업체를 검토할 때 기능이 많을수록 시스템이 더 좋다고 생각하는 경향이 있습니다. 그럴 수도 있지만, 검토자는 AI 플랫폼이 조직을 위해 무엇을 할 수 있을지에 대해 생각하는 것부터 시작해야 합니다. 어떤 머신 러닝 기능을 제공해야 하며, 이를 달성하기 위해 어떤 기능이 중요할까요? 한 가지 기능이 누락되면 전체 시스템의 유용성이 저하될 수 있습니다. 다음은 고려해야 할 몇 가지 기능입니다.
MLOps 기능. 시스템에 다음이 포함되어 있나요?
생성형 AI 기능. 시스템에 다음이 포함되어 있나요?
AI 빌더를 위한 차세대 엔터프라이즈 스튜디오인 IBM watsonx.ai로 생성형 AI, 파운데이션 모델 및 머신 러닝 기능을 학습, 검증, 조정 및 배포하세요. 적은 데이터로 짧은 시간 내에 AI 애플리케이션을 구축하세요.
업계 최고의 AI 전문성과 솔루션 포트폴리오를 보유한 IBM과 함께 AI를 비즈니스에 활용하세요.
AI 추가를 통해 중요한 워크플로와 운영을 혁신함으로써 경험, 실시간 의사 결정 및 비즈니스 가치를 극대화합니다.
1 Deep Learning Basics: Introduction and Overview
2 Insight - Amazon scraps secret AI recruiting tool that showed bias against women, Reuters, 2018년 10월 10일
3 The Legal and Ethical Implications of Using AI in Hiring, Harvard Business Review, 2019년 4월 25일
4 The Ethics of AI Ethics, An Evaluation of Guidelines, Dr. Thilo Hagendorff