모델 학습이란 무엇인가요?

학습 프로세스는 기본 선형 회귀 알고리즘을 기반으로 구축된 예측 시스템부터 생성형 AI를 구동하는 복잡한 신경망에 이르기까지 AI 모델의 수명 주기에서 가장 중요한 단계입니다.

모델 학습은 '학습'이 이루어지는 머신 러닝(ML) 단계입니다. 머신 러닝에서 학습이란 ML 모델의 매개변수를 조정하는 과정을 의미합니다. 이러한 매개변수에는 알고리즘을 구성하는 수학 함수의 가중치와 편향이 포함됩니다. 이러한 조정의 목적은 더 정확한 아웃풋을 생성하는 것입니다. 모델 학습의 최종 결과인 이러한 가중치와 편향에 대한 구체적인 값은 모델의 '지식'을 가시적으로 표현하는 것입니다.

이 학습의 목표를 수학적으로 설명하자면 학습 요청에 대한 모델 아웃풋의 오차를 정량화하는 손실 함수를 최소화하는 것입니다. 손실 함수의 아웃풋이 일정한 임계값 이하로 떨어지면, 즉 학습 데이터에 대한 모델의 오류가 충분히 작아지면, 해당 모델은 '학습된' 상태로 간주됩니다. 강화 학습에서는 목표가 반대로 설정되어, 손실 함수를 최소화하는 대신 보상 함수를 최대화하도록 모델의 매개변수를 최적화합니다.

실제로 모델 학습은 데이터 수집 및 큐레이팅, 해당 학습 데이터에서 모델 실행, 손실 측정, 그에 따른 매개변수 최적화, 검증 데이터 세트에서 모델 성능 테스트 주기를 수반합니다. 이 워크플로는 만족스러운 결과를 얻을 때까지 반복해서 진행됩니다. 적절한 훈련을 위해서는 하이퍼매개변수 튜닝이라는 프로세스에서 하이퍼매개변수 (학습 과정에 영향을 주지만 그 자체로는 “학습 가능”하지 않은 구조적 선택) 를 조정해야 할 수도 있습니다.

때로는 이미 학습된 모델을 새로운 학습 데이터에 대해 추가로 학습시켜 보다 구체적인 작업이나 도메인에 맞게 미세 조정할 수 있습니다. 처음부터 시작하는 초기 학습과 이후의 미세 조정 둘 다 '학습'이지만, 이 맥락에서는 혼란을 없애기 위해 일반적으로 전자를 '사전 학습'이라고 부릅니다. 미세 조정은 여러 유형의 전이 학습 중 하나이며, 전이 학습이란 사전 학습된 모델을 새로운 용도에 맞게 조정하는 머신 러닝 기술을 포괄적으로 지칭하는 용어입니다.

인공 지능 분야에서 '모델'과 '알고리즘'이라는 단어는 종종 같은 의미로 사용되지만, 실제로 의미가 같은 것은 아닙니다. 이 차이점은 주로 각 개념이 모델 훈련과 맺는 관계에서 비롯됩니다.

• 알고리즘은 주어진 입력값을 바탕으로 예측을 생성하거나 결정을 내리는 절차로, 일반적으로 수학적 언어나 의사 코드로 표현됩니다.
  
  
• 모델은 특정 학습 데이터 세트와 해당 학습 예제와 유사한 새로운 데이터에서 성능을 개선하기 위해 알고리즘의 매개변수를 최적화하는 과정의 결과물입니다. 데이터 과학 용어로 이 프로세스를 데이터 세트에 알고리즘을 '적합'하게 만든다고 합니다.

즉 AI 모델은 예측 또는 결정을 내리는 데 사용되고, 알고리즘은 해당 AI 모델이 작동하는 수학적 논리입니다. 두 개의 모델이 동일한 알고리즘을 기반으로 하더라도 학습에 사용된 데이터가 다르면 가중치와 편향의 값이 달라질 수 있습니다.

딥 러닝은 머신 러닝의 하위 분야로, 모델이 로지스틱 회귀나 나이브 베이즈 같은 명시적으로 설계된 알고리즘이 아니라, 다층 신경망을 기반으로 한다는 점에서 '딥'이라는 이름이 붙었습니다. 두 개의 딥 러닝 모델이 동일한 구조를 가질 수 있지만, 표준 오토인코더와 같은 모델이라 하더라도 계층 수, 각 계층의 뉴런 수, 뉴런의 활성화 함수 등에 따라 차이가 있을 수 있습니다.

대부분의 경우, 훈련은 학습과 거의 같은 의미로 사용됩니다. 즉, 데이터 과학자는 모델을 훈련하고, 모델은 학습합니다. 학습이란 머신 러닝 알고리즘의 매개변수를 조정하여 최종적으로 생성된 모델의 아웃풋이 특정 정확도 메트릭 또는 유용성 기준을 충족할 때까지 조정하는 과정을 의미합니다. 훈련이란 훈련 데이터를 수집하고, 손실 함수 선택, 매개변수 업데이트율 설정, 신경망 구조 변경과 같은 하이퍼매개변수를 조정하여 학습을 돕는 과정을 의미합니다.

AI 모델은 일반적으로 지도 학습, 비지도 학습 또는 강화 학습 의 세 가지 머신 러닝 패러다임 중 하나에 속하는 것으로 분류됩니다. 머신 러닝의 각 유형에는 고유한 사용 사례, 하이퍼매개변수, 알고리즘 및 학습 프로세스가 있습니다.

• 지도 학습은 모델이 입력에 대해 '올바른' 아웃풋을 예측하도록 학습시킬 때 사용됩니다. 분류나 회귀와 같은 외부의 '실측 정보'와 비교하여 어느 정도의 정확도가 필요한 작업에 적용됩니다.

• 비지도 학습은 데이터의 내재적 패턴과 상관관계를 식별하도록 모델을 학습시킬 때 사용됩니다. 지도 학습과 달리 비지도 학습은 아웃풋을 비교해야 하는 외부 실측 정보가 존재한다고 가정하지 않습니다.

• 강화 학습은 모델이 환경을 평가하고 가장 큰 보상을 얻을 수 있는 행동을 취하도록 학습시킬 때 사용됩니다.

각 머신 러닝 패러다임의 정의와 구분이 항상 공식적이거나 절대적인 것은 아니라는 점에 주목할 필요가 있습니다. 예를 들어, 자기 지도 학습(SSL)은 용어 정의의 어떤 측면에 중점을 두느냐에 따라 지도 학습 또는 비지도 학습으로 분류될 수 있습니다. 준지도 학습은 비지도 학습과 지도 학습을 결합한 것입니다.

또한 여러 유형의 머신 러닝을 사용해 하나의 AI 시스템을 학습시킬 수 있다는 점도 주목할 필요가 있습니다. 예를 들어, 대규모 언어 모델의 대화형 애플리케이션 버전(예: 챗봇)은 일반적으로 자기 지도 학습 방식의 사전 학습을 거친 후, 지도 학습 기반의 세부 조정을 수행하며, 이후에는 인간 피드백을 활용한 강화 학습(RLHF) 단계를 거칩니다.

지도 학습은 딥 러닝 모델을 구성하는 신경망에 대한 주된 훈련 형태로, 오늘날 대부분의 최첨단 AI 모델을 뒷받침합니다. 지도 학습은 분류 또는 회귀와 같이 정확성이 필요한 작업을 위한 기본 교육 패러다임입니다. 

모델의 정확도를 높이기 위해 훈련할 때는 특정 입력에 대한 모델의 예측 아웃풋과 해당 입력의 '올바른' 예측(일반적으로 실측 정보)을 비교하는 과정이 필요합니다. 기존의 지도 학습에서 실측 정보는 레이블이 지정된 데이터 쌍에 의해 제공됩니다. 예를 들어, 객체 감지 모델의 학습 데이터는 원시 이미지(인풋)를 이미지 내 각 객체의 위치 및 분류를 나타내는 주석이 달린 버전의 이미지(아웃풋)와 연결합니다.

이 학습 방법은 사람이 직접 학습에 참여하여 실측 정보를 제공해야 하므로 '지도' 학습이라고 합니다. 하지만 지도 학습의 핵심 특징은 인간의 개입 여부가 아니라, 실측 정보를 활용하고 모델 아웃풋과 이 정보의 편차를 측정하는 손실 함수를 최소화하는 과정입니다. 이러한 구분은 혁신적인 학습 기법들이 등장하면서 더욱 중요해졌습니다. 레이블이 없는 데이터에서 '유사 레이블'을 암묵적으로 추론하는 방법이 개발되면서 지도 학습과 다른 접근 방식의 경계가 점점 흐려지고 있기 때문입니다.

보다 유연한 지도 학습 개념을 수용하기 위해, 현대 머신 러닝 용어에서는 '지도' 또는 '지도 신호'를 실측 정보의 모든 형태를 의미하는 개념으로 사용합니다. 레이블이 지정되지 않은 데이터를 사용한다는 점에서 명목상 '비지도'인 자기 지도 학습에서는 레이블이 없는 데이터 자체의 구조에서 지도 신호가 도출됩니다. 예를 들어, LLM은 텍스트 샘플에서 마스크된 단어를 예측하여 SSL을 통해 사전 학습되며, 이때 원본 텍스트가 실측 정보로 사용됩니다.

지도 학습과 달리 비지도 학습은 '올바른' 답이 존재한다고 가정하지 않으므로 지도 신호 또는 기존 손실 함수를 포함하지 않습니다. 비지도 학습 알고리즘은 레이블이 지정되지 않은 데이터에서 내재된 패턴을 발견하는 것을 목표로 하며, 유사성, 상관관계 또는 잠재적 군집과 같은 특징을 탐색합니다. 이러한 알고리즘은 인간이 쉽게 식별하기 어려운 패턴을 찾아야 하는 경우에 특히 유용합니다.

비지도 학습 알고리즘의 주요 범주는 다음과 같습니다.

• 클러스터링 알고리즘은 레이블이 지정되지 않은 데이터 요소를 서로의 근접성 또는 유사성에 따라 '클러스터' 또는 그룹으로 분할합니다. 예를 들어, 널리 사용되는 클러스터링 알고리즘인 k-평균 클러스터링은 시장 세분화에서 유사한 특성을 가진 고객들을 그룹화하는 데 $k$ 그룹
  
  
• 연관성 알고리즘은 특정 작업과 특정 조건 간의 상관관계 등을 파악합니다. 예를 들어 Amazon과 같은 전자상거래 기업은 추천 엔진을 구동하기 위해 비지도 연관 모델을 사용합니다.
  
  
• 차원 축소 알고리즘은 데이터의 의미 있는 특성을 유지하면서 더 적은 수의 특징, 즉 더 적은 차원으로 표현하여 데이터의 복잡성을 줄이도록 설계되었습니다. 여기에는 데이터 압축, 데이터 시각화, 기능 엔지니어링을 포함한 다양한 사용 사례가 있습니다.

이름에서 알 수 있듯이 비지도 학습 알고리즘은 넓은 의미에서 '스스로 최적화'하는 것으로 이해할 수 있습니다. 예를 들어, 유타 대학교의 안드레이 샤발린(Andrey Shabalin) 교수가 제작한 이 애니메이션은 k-평균 클러스터링 알고리즘이 각 클러스터의 중심을 반복적으로 최적화하는 방법을 보여줍니다.

따라서 비지도 학습 알고리즘을 사용하는 AI 모델을 학습하는 것은 일반적으로 하이퍼매개변수 조정의 문제입니다. 예를 들어, 클러스터링 알고리즘에서 이상적인 클러스터 개수($k$)가 항상 명확한 것은 아니며 최적의 결과를 얻기 위해서 수동 실험이 필요할 수도 있습니다.

지도 학습이 이상적인 정답과 일치하도록 모델을 최적화하는 방식이고, 비지도 학습은 주어진 데이터 세트에 맞춰 패턴을 찾는 방식이라면, 강화 학습 모델은 시행착오를 통해 전체적으로 학습하는 방식입니다. 강화 문제에는 단 하나의 '올바른' 답이 있는 것이 아니라 '좋은' 결정과 '나쁜'(또는 중립적인) 결정이 포함됩니다.

지도 학습에 사용되는 독립적인 인풋-아웃풋 데이터 쌍 대신, 강화 학습(RL)은 상호 의존적인 상태-행동-보상 데이터 튜플에서 작동합니다. 강화 학습을 위한 수학적 프레임워크는 주로 다음과 같은 구성 요소를 기반으로 구축됩니다.

• 상태 공간은 모델이 내릴 수 있는 결정에 관련된 모든 정보를 포함합니다. 일반적으로 모델이 수행하는 각 작업에 따라 변경됩니다.
  
  
• 작업 공간에는 모델이 현재 내릴 수 있는 모든 결정이 포함됩니다. 보드 게임에서 작업 공간은 해당 시점에서 수행할 수 있는 모든 합법적인 움직임을 의미합니다. 텍스트 생성에서 작업 공간은 LLM이 선택할 수 있는 전체 '어휘'의 토큰 집합을 의미합니다.
  
  
• 보상 함수는 모델이 수행한 각 행동의 결과로 제공할 긍정적(또는 부정적) 피드백을 보상 신호로 변환하며, 이 보상 신호는 해당 피드백을 스칼라 값으로 정량화한 것입니다. 예를 들어 강화 학습(RL)을 통해 체스 프로그램을 훈련하는 경우, 보상 함수는 승리 확률을 높이는 수를 장려하고, 승리 가능성을 낮추는 수를 억제하도록 설계될 수 있습니다. 자율주행차를 학습시키는 경우, 보상 함수는 교통 법규를 위반하거나 안전성을 낮추는 주행 동작을 억제하도록 설계될 수 있습니다.
  
  
• 정책은 RL 에이전트의 행동을 주도하는 '사고 과정'입니다. 수학적으로 말하면 정책($\pi$)는 특정 상태($s$)를 입력으로 받아 해당 상태에서 수행할 행동($a$)을 반환하는 함수입니다. $\pi \left(s\right)\to a$.

RL 알고리즘의 목표는 최대 보상을 얻을 수 있도록 정책을 최적화하는 것입니다. 심층 강화 학습에서 정책은 보상 함수를 최대화하기 위해(손실 함수를 최소화하는 것이 아니라) 매개변수가 지속적으로 업데이트되는 신경망으로 표현됩니다.

모델 개발 수명 주기는 여러 프로세스로 구성되며, 그 중 일부는 만족스러운 결과를 얻을 때까지 여러 번 주기적으로 반복됩니다.

강화 학습, 지도 학습, 비지도 학습은 각각 고유한 훈련 방식을 갖고 있지만, 일반적으로 모델을 훈련하는 과정은 다음과 같은 단계로 이루어집니다.

• 모델 선택
  
  
• 데이터 수집
  
  
• 데이터 준비
  
  
• 하이퍼파라미터 선택
  
  
• 학습 데이터에 대한 성능
  
  
• 손실(또는 보상) 계산
  
  
• 매개변수 최적화 
  
  
• 모델 평가
  

올바른 알고리즘(또는 신경망 아키텍처)을 선택하는 것은 단순히 해결해야 할 문제의 유형이나 모델이 다룰 데이터의 종류에만 의존하는 것이 아닙니다. 적합한 모델 유형은 정확성과 성능을 우선할 것인지, 아니면 속도와 효율성을 더 중시할 것인지에 따라 달라지며, 또한 예산, 사용 가능한 하드웨어 및 연산 자원과 같은 요소에도 영향을 받습니다. 예를 들어 LLM을 훈련하거나 미세 조정하려면 여러 개의 그래픽 처리 장치(GPU)가 필요한 경우가 많습니다.

사용 사례에 맞는 고품질 학습 데이터를 확보하는 것은 쉬운 일이 아니며, 특히 딥 러닝 모델의 경우에는 적절한 학습을 위해 수백만은 아니더라도 수천 개의 예제가 필요하기 때문에 더욱 그렇습니다. 독자적인 데이터 파이프라인을 구축하면 맞춤형 학습과 경쟁력 확보 측면에서 장점을 가질 수 있지만, 대부분의 도메인과 작업에 적합한 신뢰할 수 있는 오픈 소스 데이터 세트를 활용할 수도 있습니다. 자연어 처리(NLP)와 같은 일부 분야에서는 합성 데이터를 생성하는 것이 점점 더 실용적인 옵션이 되고 있습니다.

원시 데이터는 학습에 사용되기 전에 전처리 과정을 거쳐야 합니다. 특히, 직접 수집했거나 여러 데이터 소스에서 통합한 경우, 데이터 전처리에는 노이즈 제거, 값 정규화, 형식 표준화 등이 포함될 수 있습니다. 전처리 과정의 일부 또는 전체를 자동화하는 다양한 서비스가 있습니다. Docling과 같은 오픈 소스 도구는 PDF 및 기타 파일 형식을 기계가 읽기 쉬운 텍스트로 변환하면서도 중요한 구조적 요소를 유지해줍니다.

지도 학습의 경우 데이터에 레이블을 지정하고 때로는 중요한 세부 정보를 주석으로 추가해야 합니다. 예를 들어 이미지 분할 모델을 학습하는 데 사용되는 이미지는 레이블을 픽셀 수준까지 지정해야 합니다. 이러한 레이블링에는 상당한 시간과 노동력이 수반될 수 있으므로 일정과 예산에서 이를 모두 고려해야 합니다.

알고리즘이나 모델 아키텍처를 선택한 후에도 여전히 많은 선택 사항이 있습니다. 기존 머신 러닝 알고리즘도 모든 상황에 딱 맞을 수는 없고, 신경망은 그보다 훨씬 더 표준화되어 있지 않습니다. 하이퍼매개변수는 모델의 매개변수 최적화 과정 외부에 있는 모듈형 요소로, 이를 올바르게 설정하는 것은 효율적이고 성공적인 학습을 위해 매우 중요합니다.

훈련이 만족스럽게 진행되지 않거나, 비지도 학습 알고리즘이나 의사 결정 트리 같은 비모수 지도 학습 알고리즘을 사용할 때는 하이퍼매개변수 조정을 통해 모델 성능을 조정하고 향상할 수 있습니다. 최적의 학습률, 배치 크기, 손실 함수(및 정규화 조건) 또는 최적화 알고리즘을 찾기 위해서는 어느 정도의 시행착오가 필요할 수 있습니다.

이러한 매개변수 중 하나는 학습 가능한 매개변수의 초기화입니다. 일반적으로 무작위로 지정되지만, 매개변수의 무작위 지정에도 여러 가지 전략이 있습니다. 메타 학습이라는 기술을 통해 최적의 초기 매개변수가 '학습'될 수도 있습니다.

초기 매개변수와 하이퍼 매개변수가 설정되고 나면 모델은 데이터 세트에서 가져온 입력 데이터 예제의 배치를 처리합니다. 초기 매개변수가 무작위이기 때문에 이 모델은 아직 '좋은' 아웃풋을 생성하지 못합니다. 첫 번째 학습의 목표는 단순히 최적화할 기준선을 설정하는 것입니다. 손실을 계산하고 매개변수를 최적화하기 전에 각 '배치"'에서 처리되는 예제의 수인 배치 크기는 그 자체로 중요한 하이퍼매개변수입니다.

PyTorch, Keras 또는 TensorFlow와 같이 학습용 머신 러닝 모델을 구성하고 실행하기 위한 많은 오픈 소스 프레임워크가 출시되어 있습니다. 대부분은 Python 또는 JavaScript를 기반으로 운영되며, 커뮤니티 중심 프로젝트이기 때문에 초보자를 위한 광범위한 튜토리얼 콘텐츠 라이브러리를 제공합니다.

모델이 학습 예제를 통해 작동할 때, 선택한 손실 함수는 모델의 아웃풋과 각 입력에 대한 '올바른' 업데이트 간의 불일치를 추적합니다. 모델이 서로 중첩된 다양한 방정식으로 구성된 신경망인 딥 러닝에서는 역전파를 사용해 신경망의 각 노드가 전체 손실에 기여하는 방식을 계산합니다.

지도 학습에서 학습의 공식 목표는 일반적으로 손실 기능을 최소화하는 것입니다. 변형 자동 인코더(VAE)와 같은 일부 모델 아키텍처는 손실 함수에 대한 일부 프록시를 최대화하는 관점에서 문제를 재구성합니다. RL 알고리즘은 일반적으로 보상 함수를 최대화하면서 동시에 원치 않는 행동에 불이익을 주는 정규화 조건을 최소화하려고 합니다.

ML 알고리즘 최적화는 일반적으로 별도의 알고리즘으로 수행됩니다. 수학에서 최적화 알고리즘은 해당 함수의 변수에 대한 최적 값을 결정하여 다른 함수(이 경우 손실 함수 또는 보상 함수)를 최소화하거나 최대화하도록 설계됩니다. ML에서 이러한 변수는 알고리즘의 가중치와 편향 또는 신경망의 서로 다른 노드 간의 가중치와 편향입니다.

이상적인 최적화 알고리즘은 학습 중인 모델의 유형에 따라 다릅니다. 많은 머신 러닝 알고리즘, 특히 신경망 기반 모델은 경사 하강법의 다양한 변형 기법을 활용합니다. 이차 함수를 사용하는 특정 알고리즘, 예를 들어 서포트 벡터 머신(SVM)과 같은 모델은 이차 계획법을 사용하는 것이 더 적절할 수 있습니다. 선형 회귀 알고리즘은 일반적으로 최소 제곱 알고리즘을 통해 최적화됩니다. 강화 학습에서는 근거리 정책 최적화(PPO), 직접 정책 최적화(DPO) 또는 어드밴티지 액터 크리틱(A2C)과 같은 최적화 알고리즘을 사용합니다.

하이퍼매개변수 조정, 모델의 훈련 데이터 배치 실행, 손실 계산 및 매개변수 최적화와 같은 일련의 학습 단계는 손실이 충분히 최소화될 때까지 여러 번 반복됩니다.

학습 데이터에 대해 뛰어난 성능을 보인다고 해서 모델이 성공적으로 학습되었으며 실제 환경에서 사용할 준비가 완료되었다고 확신할 수는 없습니다. 모델이 학습 데이터를 거의 암기한 상태가 되어 새로운 데이터에는 제대로 일반화하지 못하여 훈련의 목적을 무색하게 만드는 과적합이 발생하지 않도록 주의해야 합니다. 과적합은 머신 러닝에서 '시험을 잘 보기 위한 학습'과 같은 의미로 이해할 수 있습니다.

과적합을 방지하기 위해서 학습 데이터의 일부를 따로 분리하여 교차 검증을 수행하는 방법이 일반적으로 사용됩니다. 이 프로세스에서는 모델이 전에 본 적 없는 새로운 데이터로 모델을 테스트하여 제대로 학습되었는지 확인할 수 있습니다.