AI 모델이란 무엇인가요?

간단히 말해, AI 모델은 인간의 지능을 시뮬레이션하는 것이 아니라 자율적으로 의사 결정이나 예측을 내릴 수 있는 능력으로 정의됩니다. 최초의 성공적인 AI 모델 중에는 1950년대 초반에 개발된 체커와 체스 플레이 프로그램이 있습니다. 이 모델은 미리 정해진 일련의 수를 따르는 것이 아니라 인간 상대에 직접 반응하여 수를 두었습니다.

다양한 유형의 AI 모델은 특정 의사 결정 논리가 가장 유용하거나 관련성이 높은 특정 작업 또는 도메인에 더 적합합니다. 복잡한 시스템은 종종 배깅, 부스팅 , 스태킹과 같은 앙상블 학습 기법을 활용해 여러 모델을 동시에 사용합니다.

AI 툴이 점점 더 복잡해지고 다양해지면서, 이를 학습시키고 실행하는 데 점점 더 많은 양의 데이터와 컴퓨팅 성능이 필요하게 되었습니다. 따라서 하나의 도메인에서 특정 작업을 실행하도록 설계된 시스템은 레이블이 지정되지 않은 대규모 데이터 세트에 대해 사전 학습되고 다양한 애플리케이션을 지원할 수 있는 파운데이션 모델에 자리를 내주고 있습니다. 이러한 다목적 파운데이션 모델은 특정 작업에 맞게 미세 조정할 수 있습니다.

이 두 용어는 종종 같은 의미로 사용되지만 완전히 같은 의미는 아닙니다.

• 알고리즘은 특정 기능이나 목적을 달성하기 위해 데이터 세트에 적용하는 절차로, 수학적 언어 또는 의사 코드로 설명되는 경우가 많습니다.
• 모델은 데이터 세트에 적용된 알고리즘의 출력입니다.

간단히 말해서 AI 모델은 예측 또는 결정을 내리는 데 사용되고, 알고리즘은 해당 AI 모델이 작동하는 논리입니다.

AI 모델은 의사 결정을 자동화할 수 있지만, 머신 러닝(ML)이 가능한 모델만이 시간이 지남에 따라 자율적으로 성능을 최적화할 수 있습니다.

모든 ML 모델이 AI이지만, 모든 AI에 ML이 포함되는 것은 아닙니다. 가장 기본적인 AI 모델은 데이터 과학자가 명시적으로 프로그래밍한 규칙을 포함하는 일련의 'if-then-else' 명령문입니다. 이러한 모델은 규칙 엔진, 전문가 시스템, 지식 그래프 또는 기호적 AI라고도 합니다.

머신 러닝 모델은 기호적 AI가 아닌 통계적 AI를 사용합니다. 규칙 기반 AI 모델은 명시적으로 프로그래밍해야 하는 반면, ML 모델은 데이터 포인트가 모델의 미래 실제 예측을 위한 기초가 되는 샘플 데이터 세트에 수학적 프레임워크를 적용하여 '학습'됩니다.

ML 모델 기술은 일반적으로 지도 학습, 비지도 학습 , 강화 학습이라는 세 가지 카테고리로 구분할 수 있습니다.

• 지도 학습: '고전' 머신 러닝이라고도 하는 지도 학습은 인간 전문가가 학습 데이터에 레이블을 지정해야 합니다. 이미지 인식 모델이 개와 고양이를 인식하도록 학습시키는 데이터 과학자는 샘플 이미지에 '개' 또는 '고양이'와 같은 레이블을 지정하고, 이러한 기본 레이블을 알려 주는 크기, 모양 또는 털과 같은 주요 특징에도 레이블을 지정해야 합니다. 그러면 모델은 학습 중에 이러한 레이블을 사용해 '개'와 '고양이'에 대한 일반적인 시각적 특성을 추론할 수 있습니다.
  
• 비지도 학습: 지도 학습 기법과 달리 비지도 학습은 '정답' 또는 '오답'이 외부에 존재한다고 가정하지 않으므로 레이블을 지정할 필요가 없습니다. 이러한 알고리즘은 데이터 세트의 고유한 패턴을 감지하여 데이터 요소를 그룹으로 클러스터링하고 예측에 정보를 제공합니다. 예를 들어 Amazon과 같은 전자 상거래 비즈니스는 추천 엔진을 구동하는 데 비지도 연관성 모델을 사용합니다.
• 강화 학습: 강화 학습에서 모델은 올바른 아웃풋에 대한 체계적인 보상(또는 잘못된 출력에 대한 불이익)을 통해 시행착오를 거치며 총체적으로 학습합니다. 강화 모델은 소셜 미디어 제안, 알고리즘 주식 거래, 심지어 자율 주행 자동차에 정보를 제공하는 데 사용됩니다.

딥 러닝은 신경망 구조가 인간 두뇌의 구조를 모방하려고 시도하는 비지도 학습에서 한 단계 더 발전한 하위 집합입니다. 여러 계층의 상호 연결된 노드가 순방향 전파라는 프로세스를 통해 점진적으로 데이터를 수집하고, 주요 특징을 추출하고, 관계를 식별하고, 의사 결정을 구체화합니다. 역전파라고 하는 또 다른 프로세스는 오류를 계산하고 그에 따라 시스템의 가중치와 편향을 조정하는 모델을 적용합니다. 최신 챗봇을 지원하는 대규모 언어 모델(LLM)과 같은 대부분의 첨단 AI 애플리케이션은 딥 러닝을 활용합니다. 여기에는 엄청난 양의 컴퓨팅 리소스가 필요합니다.

머신 러닝 모델을 구별하는 한 가지 방법은 근본적인 방법론입니다. 대부분은 생성형 모델과 별 모델로 분류될 수 있습니다. 차이점은 주어진 공간에서 데이터를 모델링하는 방식에 있습니다.

일반적으로 비지도 학습을 수반하는 생성형 알고리즘은 데이터 포인트의 분포를 모델링하여 특정 공간에 나타나는 주어진 데이터 포인트의 결합 확률 P(x,y)를 예측하는 것이 목표입니다. 따라서 생성형 컴퓨팅 비전 모델은 "자동차처럼 보이는 것은 보통 바퀴가 4개다" 또는 "눈이 눈썹 위에 있을 수는 없다"와 같은 상관관계를 파악할 수 있습니다.

모델은 이러한 예측을 통해 가능성이 높다고 판단되는 출력을 생성할 수 있습니다. 예를 들어, 텍스트 데이터로 학습된 생성형 모델은 맞춤법 및 자동 완성 제안 기능을 강화할 수 있으며, 가장 복잡한 수준에서는 완전히 새로운 텍스트를 생성할 수도 있습니다. 기본적으로 LLM이 텍스트를 출력할 때 주어진 프롬프트에 대한 응답으로 해당 단어 시퀀스가 조합될 확률이 높다고 계산합니다.

제너레이티브 모델의 다른 일반적인 사용 사례로는 이미지 합성, 음악 작곡, 스타일 전송, 언어 번역 등이 있습니다.

생성형 모델의 예는 다음과 같습니다.

• 확산 모델: 확산 모델은 인식할 수 없을 때까지 학습 데이터에 가우시안 노이즈를 점진적으로 추가한 다음, 무작위 시드 노이즈에서 아웃풋(일반적으로 이미지)을 합성할 수 있는 역방향 "노이즈 제거" 프로세스를 학습합니다.
• 변형 자동 인코더(VAE): VAE는 입력 데이터를 압축하는 인코더와 프로세스를 역으로 학습하여 데이터 분포 가능성을 매핑하는 디코더로 구성됩니다.
• 트랜스포머 모델: 트랜스포머 모델은 '어텐션' 또는 '셀프 어텐션'이라는 수학적 기법을 사용해 일련의 데이터에서 서로 다른 요소들이 서로에게 어떤 영향을 미치는지 파악합니다. OpenAI Chat-GPT의 'GPT'는 '생성형 사전 학습 트랜스포머'를 의미합니다.

일반적으로 지도 학습을 거치는 판별 알고리즘은 데이터 클래스 간의 경계(또는 '결정 경계')를 모델링하여 주어진 데이터 포인트(x)가 특정 클래스(y)에 속할 조건부 확률 P(y|x)를 예측하는 것을 목표로 합니다. 판별 컴퓨팅 비전 모델은 “바퀴가 없으면 자동차가 아니다”와 같은 몇 가지 주요 차이점을 식별하여 “자동차”와 “자동차가 아니다”의 차이를 학습할 수 있으므로 생성형 모델이 고려해야 하는 많은 상관관계를 무시할 수 있습니다. 따라서 판별 모델은 컴퓨팅 성능이 적게 필요한 경향이 있습니다.

판별 모델은 당연히 감정 분석과 같은 분류 작업에 적합하지만, 이외에도 다양한 용도로 사용할 수 있습니다. 예를 들어 Decision Trees 및 랜덤 포레스트 모델은 복잡한 의사 결정 프로세스를 일련의 노드로 세분화하며, 각 '리프'는 잠재적인 분류 결정을 나타냅니다.

판별 모델이나 생성형 모델이 특정 실제 사용 사례에서 일반적으로 더 우수한 성능을 발휘하는 경우가 있지만, 많은 작업에 이 두 가지 모델을 모두 사용할 수 있습니다. 예를 들어, 판별 모델은 자연어 처리(NLP)에서 많이 사용되며 번역된 텍스트 생성과 관련된 기계 번역과 같은 작업에서 생성형 AI를 능가하는 경우가 많습니다.

마찬가지로 베이즈 정리를 사용하여 생성형 모델을 분류 작업에 사용할 수 있습니다. 생성형 모델은 판별 모델처럼 인스턴스가 결정 경계의 어느 쪽에 있는지 결정하는 대신 각 클래스가 인스턴스를 생성할 확률을 결정하고 확률이 더 높은 클래스를 선택할 수 있습니다.

많은 AI 시스템이 두 가지 모델을 동시에 사용합니다. 예를 들어, 생성형 적대적 네트워크에서는 생성형 모델이 샘플 데이터를 생성하고, 판별 모델이 해당 데이터가 '진짜'인지 '가짜'인지를 결정합니다. 판별 모델의 출력은 판별기가 더 이상 실제 샘플과 가짜 샘플을 구별할 수 없을 때까지 생성기를 학습시키는 데 사용됩니다.

모델을 분류하는 또 다른 방법은 사용되는 작업의 성격에 따라 분류하는 것입니다. 대부분의 기존 AI 모델 알고리즘은 분류 또는 회귀를 수행합니다. 일부 알고리즘은 두 가지 기능 모두에 적합하며, 대부분의 파운데이션 모델은 두 가지 기능을 모두 활용합니다.

이 용어는 혼란스러울 수 있습니다. 예를 들어, 로지스틱 회귀는 분류에 사용되는 차별 모델입니다.

회귀 모델은 연속적인 값(예: 가격, 나이, 크기, 시간)을 예측합니다. 주로 하나 이상의 독립 변수(x)와 종속 변수(y) 간의 관계를 결정하여 x가 주어지면 y의 값을 예측합니다.

• 선형 회귀와 같은 알고리즘 및 사분위수 회귀와 같은 관련 변형은 예측, 가격 탄력성 분석, 위험 평가와 같은 작업에 사용됩니다.
• 다항식 회귀 및 서포트 벡터 회귀(SVR)와 같은 알고리즘은 변수 간의 복잡한 비선형 관계를 모델링합니다.
• 자기회귀 및 변형 자동 인코더와 같은 특정 생성형 모델은 과거 값과 미래 값 간의 상관 관계뿐만 아니라 인과 관계도 설명합니다. 따라서 날씨 시나리오를 예측하고 극한 기후 현상을 예측하는 데 특히 유용합니다.    

분류 모델은 불연속 값을 예측합니다. 따라서 주로 적절한 레이블을 결정하거나 범주화(즉, 분류)하는 데 사용됩니다. 이는 '예/아니오', '수락/거부'와 같은 이진 분류일 수도 있고, 제품 A, B, C, D를 제안하는 추천 엔진과 같은 다중 클래스 분류일 수 있습니다.

분류 알고리즘은 간단한 분류부터 딥 러닝 네트워크에서의 특징 추출 자동화, 방사선학의 진단 이미지 분류와 같은 의료 발전에 이르기까지 다양한 용도로 사용되고 있습니다.

일반적인 예는 다음과 같습니다.

• 나이브 베이즈: 스팸 필터링과 문서 분류에 일반적으로 사용되는 생성형 지도 학습 알고리즘입니다.
• 선형 판별 분석: 분류에 영향을 미치는 여러 특징 간의 모순된 중복을 해결하는 데 사용됩니다.
• 로지스틱 회귀: 분류 범위에 대한 프록시로 사용되는 연속 확률을 예측합니다.

머신 러닝의 '학습'은 샘플 데이터 세트에 대해 모델을 학습시키는 것입니다. 이러한 샘플 데이터 세트에서 식별된 확률적 추세와 상관관계가 시스템 기능의 성능에 적용됩니다.

데이터 과학자는 지도 학습 및 반지도 학습에서 결과를 최적화하기 위해 이 학습 데이터에 레이블을 신중하게 지정해야 합니다. 적절한 특징 추출이 주어지면 지도 학습에는 비지도 학습보다 전반적으로 더 적은 양의 학습 데이터가 필요합니다.

ML 모델은 실제 데이터로 학습하는 것이 가장 이상적입니다. 그러면 모델이 분석하거나 복제하도록 설계된 실제 상황을 가장 잘 반영할 수 있기 때문입니다. 하지만 실제 데이터만 사용하는 것이 항상 가능하거나, 실용,적이거나 최적인 것은 아닙니다.

모델에 매개 변수가 많을수록 학습에 더 많은 데이터가 필요합니다. 딥 러닝 모델의 크기가 커지면서 이러한 데이터를 확보하기가 점점 더 어려워지고 있습니다. 특히 LLM에서 이러한 문제가 두드러지는데, Open-AI의 GPT-3와 오픈 소스 BLOOM 모두 1,750억 개가 넘는 매개변수를 갖고 있습니다.

공개된 데이터를 사용하면 편리하긴 하지만 데이터를 익명화해야 하는 경우와 같은 규제 문제와 다른 현실적인 문제가 발생할 수 있습니다. 예를 들어, 소셜 미디어 스레드로 학습된 언어 모델은 기업에서 사용하기 적합하지 않은 습관이나 부정확성을 '학습'할 수 있습니다.

합성 데이터가 이에 대한 대안이 될 수 있습니다. 더 작은 실제 데이터 세트를 사용하여 원본과 매우 유사하면서 개인정보보호 문제가 발생할 염려 없는 학습 데이터를 생성합니다.

실제 데이터로 학습된 ML 모델은 필연적으로 해당 데이터에 반영될 사회적 편견을 흡수하게 됩니다. 데이터에서 이러한 편견을 제거하지 않으면 의료나 채용 등, 해당 모델이 정보를 제공하는 모든 분야에서 편향이 지속되고 불평등이 심화될 것입니다. 데이터 과학 연구는 데이터에 내재된 불평등을 해결하기 위해 FairIJ와 같은 알고리즘과 FairReprogram과 같은 모델 개선 기술을 발전시켰습니다.

과적합은 ML 모델이 학습 데이터에 너무 가깝게 피팅되어 샘플 데이터 세트 내의 관련 없는 정보(또는 '노이즈') 가 모델의 성능에 영향을 미칠 때 발생합니다.과소적합은 그 반대로, 학습이 부적절하거나 불충분하다는 뜻입니다.

기본 모델 또는 사전 학습된 모델이라고도 하는 파운데이션 모델은 대규모 데이터 세트를 기반으로 사전 학습되어 딥 러닝 모델로, 일반적인 특징과 패턴을 학습합니다. 파운데이션 모델은 특정한 AI 애플리케이션에 맞게 미세 조정하거나 조정하기 위한 출발점으로 사용됩니다.

개발자는 처음부터 모델을 구축하는 대신 신경망 계층을 변경하거나, 매개변수를 조정하거나, 아키텍처를 도메인의 특정 요구 사항에 맞게 조정할 수 있습니다. 검증된 대규모 모델이 갖춘 폭 넓고 깊이 있는 지식과 전문성이 더해져 모델 학습에 들어가는 시간과 리소스를 크게 절약할 수 있습니다. 따라서 파운데이션 모델을 사용하면 AI 시스템을 더 빠르게 개발하고 배포할 수 있습니다.

사전 학습된 모델을 특정 작업에 적합하도록 미세 조정하는 것은 최근 원하는 유형의 결정 또는 예측으로 모델을 안내하기 위해 모델에 프론트엔드 단서를 도입하는 프롬프트 튜닝 기법으로 대체되고 있습니다.

MIT-IBM Watson AI Lab의 공동 소장인 데이비드 콕스(David Cox)에 따르면, 새로운 모델을 학습시키거나 재학습시키는 대신 학습된 딥 러닝 모델을 재배포하면 컴퓨터 및 에너지 사용을 1,000배 이상 줄여 상당한 비용 절감 효과를 얻을 수 있습니다¹.

모델이 의도한 작업을 수행할 수 있도록 잘 학습되었는지를 측정하는 정교한 테스트는 최적화에 필수적입니다. 모델과 작업에 따라 사용해야 할 메트릭과 방법론이 달라집니다.

모델의 성능을 테스트하려면 이를 판단할 대조군이 필요합니다. 학습 데이터와 동일한 데이터를 사용하여 모델을 테스트하면 과적합이 발생할 수 있습니다. 교차 검증에서는 학습 데이터의 일부를 따로 보관하거나 재샘플링하여 대조군을 생성합니다. K-폴드, 홀드아웃, 몬테카를로 교차 검증과 같은 비완전한 방법이나 리브-아웃 교차 검증과 같은 완전한 방법 등 다양한 변형이 사용됩니다.

이러한 일반 메트릭에는 참 긍정(TP), 참 부정(TN), 거짓 긍정(FP) 및 거짓 부정(FN)과 같은 불연속 결과값이 포함됩니다.

• 정확도는 전체 예측에서 정확한 예측의 비율로, (TP+TN) / (TP+TN+FP+FN) 으로 계산됩니다.불균형한 데이터 세트에는 바르게 적용되지 않습니다.
• 정밀도는 긍정 예측이 얼마나 정확한지를 측정하며 공식은 TP/(TP+FP)입니다.
• 재현율은 긍정이 얼마나 자주 성공적으로 캡처되는지를 TP/(TP+FN)으로 측정합니다.
• F1 점수는 정밀도와 재현율의 조화 평균입니다. (2×정밀도×재현율)/(정밀도+재현율)로 구할 수 있습니다.정밀도(거짓 부정을 조장)와 재현율(거짓 긍정을 조장) 사이의 균형을 맞춥니다.
• 혼동 행렬은 각 잠재적 분류에 대한 알고리즘의 신뢰도(또는 혼동도)를 시각적으로 나타냅니다.

회귀 알고리즘은 불연속 값이 아닌 연속 값을 예측하므로 'N'이 관측값 수를 나타내는 다양한 메트릭으로 측정됩니다. 회귀 모델 평가에 사용되는 일반적인 메트릭은 다음과 같습니다.

• 평균 절대 오차(MAE)는 예측 값(y_pred)과 실제 값(y_actual) 간의 평균 차이를 절대 용어로 측정합니다( ∑(y_pred – y_actual) / N).
• 평균 제곱 오차(MSE)는 평균 오차를 제곱하여 이상값에 적극적으로 불이익을 줍니다(∑(y_pred – y_actual)² / N).
• 평균 제곱근 오차(RSME 는 결과와 동일한 단위인 √(∑(y_pred – y_actual)² / N)에서 표준 편차를 측정합니다.
• 평균 절대 백분율 오류(MAPE)는 평균 오류를 백분율로 표시합니다.

AI 모델을 배포하고 실행하려면 충분한 처리 능력과 저장 용량을 갖춘 컴퓨팅 장치 또는 서버가 필요합니다. AI 파이프라인과 컴퓨팅 리소스를 적절히 계획하지 않으면 성공적인 프로토타입이 개념 증명 단계를 넘어서지 못할 수 있습니다.

• PyTorch, Tensorflow 및 Caffe2와 같은 오픈 소스 머신 러닝 프레임워크는 몇 줄의 코드만으로 ML 모델을 실행할 수 있습니다.
• 중앙 처리 장치(CPU)는 광범위한 병렬 컴퓨팅이 필요하지 않은 알고리즘 학습에 사용할 수 있는 효율적인 컴퓨팅 성능 소스입니다.
• 그래픽 처리 장치(GPU)는 병렬 처리 용량이 더 크기 때문에 방대한 데이터 세트와 수학적으로 복잡한 딥 러닝 신경망에 더 적합합니다.