메타 학습이란 무엇인가요?

정의된 학습 데이터 세트를 사용하여 특정 과제를 해결하도록 모델을 학습시키는 기존의 지도 학습과 달리, 메타 학습 프로세스는 각각 고유한 관련 데이터 세트가 있는 다양한 작업이 수반됩니다. 이러한 여러 학습 이벤트를 통해 모델은 작업 전반에 걸쳐 일반화할 수 있는 기능을 얻게 되며, 이를 통해 적은 데이터로도 새로운 시나리오에 빠르게 적응할 수 있습니다.

메타 학습 알고리즘은 다른 머신 러닝 알고리즘의 예측 및 메타데이터를 기반으로 훈련됩니다. 그런 다음 메타 학습 알고리즘은 다른 머신 러닝 알고리즘의 성능과 결과를 향상시키는 데 사용할 수 있는 자체 예측 및 정보를 생성합니다.

메타 학습에는 메타 학습과 메타 테스트라는 두 가지 주요 단계가 있습니다. 두 단계 모두에서 기본 학습자 모델은 학습하면서 매개 변수를 조정하고 업데이트합니다. 사용되는 데이터 세트는 메타 학습을 위한 지원 세트와 메타 테스트를 위한 테스트 세트로 나뉩니다.

메타 학습 단계에서는 기본 학습자 모델에 다양한 작업이 제공됩니다. 이 모델의 목표는 이러한 작업 간의 공통 패턴을 발견하고 새로운 작업을 해결하는 데 적용할 수 있는 광범위한 지식을 습득하는 것입니다.

메타 테스트 단계에서는 기본 학습자 모델에 학습할 때 접해보지 못한 과제를 부여하여 성능을 평가합니다. 모델의 효과는 학습된 지식과 일반화된 이해를 사용하여 이러한 새로운 작업에 얼마나 잘 그리고 얼마나 빨리 적응하는지에 따라 측정됩니다.

메타 학습에는 세 가지 일반적인 접근 방식이 있습니다. 각 접근 방식의 작동 방식과 유형은 다음과 같습니다.

메트릭 기반 메타 학습은 두 데이터 포인트 간의 유사성을 측정하는 척도인 거리 메트릭을 계산하는 함수를 학습하는 데 중점을 둡니다. 이러한 접근 방식은 근접성을 사용하여 분류나 예측을 수행하는 k-최근접 이웃(KNN) 알고리즘과 유사합니다.

컨볼루션 샴 신경망은 매개 변수와 가중치를 공유하는 동일한 쌍둥이 컨볼루션 신경망으로 구성됩니다. 매개 변수 업데이트는 두 네트워크에 걸쳐 미러링됩니다. 두 네트워크 모두 거리 메트릭(일반적으로 쌍별 유사성)을 계산하는 손실 함수로 결합됩니다.¹

학습 데이터 세트는 일치하는 샘플과 일치하지 않는 샘플의 쌍으로 구성됩니다. 그런 다음 컨볼루션 샴 신경망은 쌍별 유사도를 계산하는 방법을 학습하여 일치하지 않거나 서로 다른 쌍 사이의 유클리드 거리를 최대화하고 일치하거나 유사한 쌍 사이의 거리를 최소화합니다.¹

매칭 네트워크는 두 샘플 간의 코사인 유사성 으로 알려진 거리 메트릭을 측정하여 분류를 예측하는 방법을 학습합니다.²

관계 네트워크는 항목을 비교하기 위해 심층 비선형 거리 메트릭을 학습합니다. 네트워크는 항목 간의 유사성을 나타내는 관계 점수를 계산하여 항목을 분류합니다.³

프로토타입 네트워크는 클래스의 모든 샘플의 평균을 계산하여 해당 클래스에 대한 프로토타입을 만듭니다. 그런 다음 네트워크는 메트릭 공간을 학습하며, 여기서 특정 데이터 포인트와 클래스의 프로토타입 표현 사이의 제곱 유클리드 거리를 계산하여 분류 작업이 수행됩니다.⁴

모델 기반 메타 학습은 모델의 매개변수를 학습하는 것으로, 이를 통해 희소 데이터로부터 빠른 학습을 촉진할 수 있습니다.

메모리 증강 신경망(MANN)은 정보의 안정적인 저장과 빠른 인코딩 및 검색을 가능하게 하기 위해 외부 메모리 모듈을 갖추고 있습니다.⁵

메타 학습에서 MANN은 외부 메모리에 저장할 표현의 종류에 대한 일반적인 기술과 이러한 표현을 사용하여 예측을 수행하는 방법을 학습하도록 훈련될 수 있습니다. MANN은 회귀 및 분류 작업에서 우수한 성능을 발휘하는 것으로 나타났습니다.⁵

메타넷(메타 네트워크의 줄임말)은 모방 학습과 강화 학습에 적용할 수 있는 메타 학습 모델입니다. MANN과 마찬가지로 메타 네트워크에도 외장 메모리가 있습니다.⁶

메타넷은 기본 학습자와 별도의 공간 수준에서 작동하는 메타 학습자로 구성됩니다. 메타 학습자는 메타 공간 내의 다양한 작업에 대한 일반적인 지식을 습득합니다. 기본 학습자는 입력 작업을 수행하고 현재 작업 공간에 대한 메타 정보를 메타 학습자에게 보냅니다. 이 정보를 기반으로 메타 학습자는 빠른 매개 변수화를 수행하여 두 공간 내의 가중치를 업데이트합니다.⁶

딥 러닝은 일반적으로 역전파 및 경사 하강 최적화 알고리즘을 통해 모델 매개 변수를 여러 번 반복적으로 업데이트해야 합니다. 경사 기반 메타 학습이라고도 하는 최적화 기반 메타 학습에서 알고리즘은 심층 신경망의 어떤 초기 모델 매개 변수 또는 하이퍼 매개 변수를 관련 작업에 맞게 효율적으로 미세 조정할 수 있는지 학습합니다. 이는 일반적으로 메타 최적화, 즉 최적화 알고리즘 자체를 최적화하는 것을 의미합니다.

이 최적화 기반 메타 학습 방법은 장단기 기억(LSTM) 네트워크라는 널리 사용되는 순환 신경망 아키텍처를 사용하여 메타 학습자가 작업 간에 공유되는 장기 지식과 각 작업에서 단기 지식을 모두 습득하도록 훈련합니다. 그런 다음 메타 학습자는 다른 학습자 신경망 분류기를 최적화합니다. 빠른 훈련 수렴을 위해 학습자의 매개 변수를 초기화하고 작은 훈련 세트에서 이러한 매개 변수를 효율적으로 업데이트하는 방법을 학습하여 학습자가 새로운 작업에 빠르게 적응할 수 있도록 도와줍니다.⁷

이름에서 알 수 있듯이 이 최적화 기반 메타 학습 알고리즘은 모델에 구애받지 않습니다. 따라서 경사 하강을 사용하여 훈련된 모든 모델과 호환되며 분류, 회귀 및 강화 학습과 같은 다양한 학습 문제를 해결하는 데 적합합니다⁸

MAML의 핵심 아이디어는 몇 번의 경사 업데이트로 새로운 작업을 빠르게 학습하는 방식으로 모델의 초기 매개 변수를 학습시키는 것입니다. 목표는 작업의 변경 사항에 민감한 모델 매개 변수를 결정하여 이러한 매개 변수를 약간만 변경해도 작업의 손실 함수가 크게 향상되도록 하는 것입니다. 작업 전반의 메타 최적화는 확률적 경사 하강(SGD)을 사용하여 수행됩니다.⁸

특정 작업에 대한 모델의 매개 변수를 최적화하기 위해 도함수를 계산하는 경사 하강법과 달리, MAML은 2차 도함수를 계산하여 작업별 최적화를 위해 모델의 초기 매개 변수를 최적화합니다. 모델에 구애받지 않는 메타 학습의 수정 버전인 1차 MAML 또는 FOMAML은 계산 비용이 적게 드는 프로세스를 위해 2차 파생물을 생략합니다.⁸

Reptile은 FOMAML과 유사한 1차 경사 기반 메타 학습 알고리즘입니다. 작업을 반복적으로 샘플링하고, 여러 경사 하강 단계를 통해 해당 작업을 학습한 후 모델 가중치를 새로운 매개 변수로 이동합니다.⁹

메타 학습의 다양성을 더욱 입증하기 위해 머신 러닝 영역에서 메타 학습을 활용할 수 있는 몇 가지 방법을 소개해드리겠습니다.

메타 학습은 기술 산업의 다양한 영역에 적용될 수 있으며, 그 중 일부는 다음과 같습니다.

메타 학습은 많은 잠재력을 가지고 있습니다. 다음은 몇 가지 장점입니다.

메타 학습을 사용하여 많은 관련 작업을 학습할 수 있는 보다 일반화된 AI 모델을 구축할 수 있습니다. 이러한 유연성 덕분에 메타 학습 시스템은 새로운 작업과 다양한 영역에 빠르게 적응할 수 있습니다.

메타 학습은 몇 개의 샘플만으로 학습할 수 있기 때문에 방대한 양의 데이터 세트가 필요하지 않을 수 있습니다. 이는 데이터 수집 및 준비에 노동력과 시간이 많이 소요될 수 있는 도메인에 특히 유용할 수 있습니다.

메타 학습은 데이터 효율성과 신속한 학습으로 인해 훈련 프로세스를 가속화하고 교육 비용을 절감할 수 있습니다.

메타 학습의 가능성에도 불구하고 메타 학습은 도전 과제를 제시하기도 합니다. 그중 일부는 다음과 같습니다.

때로는 AI 모델을 훈련시키기 위한 데이터의 양이 충분하지 않으며, 특히 틈새 영역의 경우 더욱 그렇습니다. 또는 데이터를 사용할 수 있더라도 메타 학습 알고리즘을 효율적으로 학습시키기에 품질이 충분하지 않을 수 있습니다.

메타 학습을 위한 지원 세트의 작업 간에 충분한 변동성이 없으면 과적합으로 이어질 수 있습니다. 즉, 메타 학습 알고리즘은 광범위한 작업에 효과적으로 일반화할 수 없이 특정 작업에만 적용될 수 있습니다.

반대로, 메타 학습을 위한 지원 세트의 작업 간에 너무 많은 변동성이 있으면 과소적합이 발생할 수 있습니다. 이는 메타 학습 알고리즘이 다른 작업을 해결하는 데 지식을 사용하지 못할 수 있으며 새로운 시나리오에 적응하는 데 어려움을 겪을 수 있음을 의미합니다. 따라서 작업 변동성의 균형을 맞추는 것이 중요합니다.