데이터 증강이란 무엇인가요?

가장 일반적인 의미에서 데이터 증강은 데이터 세트의 분석 가능성을 높이기 위해 누락된 데이터 포인트를 제공하여 소위 불완전한 데이터 세트를 보완하는 방법을 의미합니다.¹ 이는 머신 러닝에서 기존 데이터의 수정된 복사본을 생성하여 데이터 세트의 크기와 다양성을 증가시키는 방식으로 나타납니다. 따라서 머신 러닝과 관련해 증강 데이터는 잠재적으로 부재하는 실제 데이터를 인위적으로 공급하는 것으로 이해할 수 있습니다.

데이터 증강은 머신 러닝 모델 최적화 및 일반화를 개선합니다. 즉, 데이터 증강을 통해 과적합을 줄이고 모델 견고성을 향상할 수 있습니다.² 크고 다양한 데이터 세트가 모델 성능을 향상한다는 것은 머신 러닝의 기본 원칙입니다. 그러나 윤리 및 개인정보 보호 문제부터, 필요한 데이터를 수동으로 수집하는 데 시간이 많이 걸린다는 점까지 여러 가지 이유로 데이터를 충분히 확보하기가 어려울 수 있습니다. 데이터 증강은 데이터 세트의 크기와 가변성을 증가시키는 효과적인 수단 중 하나입니다. 실제로 연구자들은 불균형한 데이터 세트를 수정하기 위해 데이터 증강을 널리 사용하고 있습니다.³

PyTorch, Keras, Tensorflow와 같은 많은 딥 러닝 프레임워크는 주로 이미지 데이터 세트와 같은 데이터를 증강하는 기능을 제공합니다. Python 패키지 Ablumentations(Github에서 사용 가능)는 많은 오픈 소스 프로젝트에서도 채택되고 있습니다. Albumentations를 사용하면 이미지 및 텍스트 데이터를 보강할 수 있습니다.

데이터 증강은 합성 데이터와 다릅니다. 두 가지 모두 머신 러닝 모델의 성능을 향상시키기 위해 데이터 컬렉션에 새로운 데이터를 추가하는 생성형 알고리즘입니다. 그러나 합성 데이터는 완전히 인공적인 데이터를 자동으로 생성하는 것을 의미합니다. 실제 데이터가 아닌 컴퓨터 생성 이미지를 사용하여 물체 감지 모델을 학습시키는 것이 그 예입니다. 반면 데이터 증강은 기존 데이터를 복사하고 해당 복사본을 변환하여 주어진 세트의 데이터 다양성과 양을 늘립니다.

데이터 증강 방법에는 여러 가지가 있습니다. 데이터 증강에 사용되는 구체적인 기술은 사용자가 작업하는 데이터의 특성에 따라 달라집니다. 데이터 증강은 일반적으로 학습 데이터 세트의 전처리 과정에서 구현됩니다. 검증 또는 테스트 세트에 대한 증강의 효과를 조사하는 연구도 있지만, 학습 세트 외부에서 증강을 적용한 사례는 드뭅니다.⁴

데이터 증강은 이미지 분류부터 물체 감지에 이르기까지 다양한 컴퓨팅 비전 작업에 대한 연구에서 널리 구현되었습니다. 따라서 증강 이미지가 이미지 처리에서 최첨단 컨볼루션 신경망(CNN)의 성능을 개선하는 방법에 대한 연구가 많이 이루어지고 있습니다.

많은 튜토리얼과 비학술 자료에서는 이미지 데이터 증강을 기하학적 변환과 광도(또는 색공간) 변환의 두 가지 범주로 분류합니다. 두 가지 모두 비교적 간단한 이미지 파일 조작으로 구성됩니다. 기하학적 변환은 크기 조정, 확대/축소 또는 방향 변경(예: 가로로 눕히기)과 같이 원본 이미지의 공간과 레이아웃을 변경하는 기술을 포함합니다. 광도 변환은 이미지의 RGB(빨강-녹색-파랑) 채널을 변경합니다. 광도 변환의 예로는 채도 조정과 이미지 회색조 조정이 있습니다.⁵

일부 자료에서는 노이즈 삽입을 기하학적 변환으로 분류하는 반면,⁶ 광도 변환으로 분류하는 자료도 있습니다.⁷ 노이즈 삽입은 가우스 분포에 따라 이미지에 임의의 검정, 흰색 또는 컬러 픽셀을 삽입하는 것입니다.

노이즈 주입에서 알 수 있듯이, 이미지 증강 기술을 기하학적 변환 및 광도 변환으로 이분법적으로 분류하는 것은 가능한 모든 범위의 증강 전략을 다루지 못합니다. 다뤄지지 않는 이미지 증강 기술은 커널 필터링(이미지를 선명하게 하거나 흐리게 하는 것) 및 이미지 혼합입니다. 이미지 혼합의 예로는 무작위 자르기 및 패치가 있습니다. 이 기술은 여러 이미지에서 무작위로 섹션을 샘플링하여 새 이미지를 생성합니다. 이 새 이미지는 입력 이미지의 샘플링된 섹션으로 만든 합성 이미지입니다. 이와 관련 기술로 이미지에서 무작위 부분을 지우는 무작위 삭제가 있습니다.⁸ 실제 사용 사례에서는 기계가 부분적으로 가려진 물체를 식별해야 할 수 있으므로 이미지 인식 작업에서 유용한 기술입니다.

또 다른 증강으로는 인스턴스 수준 증강이 있습니다. 인스턴스 수준 증강은 기본적으로 한 이미지에서 레이블이 지정된 영역(예: 경계 상자)을 복사하여 다른 이미지에 삽입하는 것입니다. 이러한 접근 방식은 이미지를 학습하여 다른 배경에 있는 물체를 식별하거나 다른 물체에 가려진 물체를 식별합니다. 인스턴스 수준 증강은 물체 감지 및 이미지 세분화 작업과 같은 영역별 인식 작업에서 특히 두드러지는 접근 방식입니다.⁹

이미지 증강과 마찬가지로 텍스트 데이터 증강은 다양한 자연어 처리(NLP) 작업에서 사용되는 여러 기술과 방법으로 구성되어 있습니다. 몇 가지 리소스에서는 텍스트 증강을 규칙 기반(또는 '쉬운') 방법과 신경망 방법으로 구분합니다. 이미지 증강 기술을 이분법적으로 구분할 때와 마찬가지로 이 분류가 모든 기술을 포괄하는 것은 아닙니다.

규칙 기반 접근 방식에는 무작위 삭제 또는 삽입과 같은 비교적 간단한 찾기 및 바꾸기 기술이 포함됩니다. 동의어 교체도 규칙 기반 접근 방식에 포함됩니다. 이 전략에서는 문자열에 있는 하나 이상의 단어가 WordNet 또는 Paraphrase Database와 같은 사전 정의된 동의서 사전에 기록된 다른 동의어로 대체됩니다. 목적어와 주어가 바뀌는 문장 반전과 수동화도 규칙 기반 접근 방식의 예입니다.¹⁰

위의 분류에 따르면, 신경망 방식은 신경망을 활용헤 입력 데이터에서 새로운 텍스트 샘플을 생성합니다. 주목할 만한 신경망 방법 중 하나는 역번역입니다. 기계 번역을 사용해 입력 데이터를 대상 언어로 번역한 후 다시 원래 입력 언어로 번역하는 것입니다. 역번역은 이러한 방식으로 언어적 차이를 활용하여 자동 번역을 수행함으로써 증강을 목적으로 단일 언어 데이터 세트에 의미적 차이를 생성합니다. 연구에 따르면 이는 기계 번역 모델 성능을 개선하는 데 효과적입니다.¹¹

혼합 텍스트 증강도 또 다른 전략입니다. 이 접근 방식은 신경망 임베딩을 사용하여 규칙 기반 삭제 및 삽입 방법을 배포합니다. 특히 사전 학습된 트랜스포머(예: BERT)는 단어 주머니 모델처럼 텍스트를 벡터 포인트로 변환하여 단어 또는 문장 수준의 텍스트 임베딩을 생성합니다. 텍스트를 벡터 포인트로 변환하는 것은 일반적으로 언어적 유사성, 즉 벡터 공간에서 서로 가까운 단어나 문장이 비슷한 의미나 빈도를 공유하는 것으로 간주되는 언어적 유사성을 포착하는 것을 목표로 합니다. 혼합 증강은 특정 거리 내에서 텍스트 문자열을 보간하여 입력 데이터의 집합을 생성하는 새 데이터를 생성합니다.¹²

많은 사용자가 어떤 데이터 증강 전략을 구현해야 하는지 파악하는 데 어려움을 겪습니다. 데이터 증강 기법은 데이터 세트와 작업에 따라 효율성이 달라지나요? 데이터 증강 기법에 대한 비교 연구에 따르면 여러 형태의 증강이 한 가지 형태보다 더 긍정적인 영향을 미치지만, 최적의 기법 조합을 결정하는 것은 데이터 세트와 작업에 따라 달라집니다.¹³ 그렇다면 최적의 기법을 선택하려면 어떻게 해야 할까요?

이 문제를 해결하기 위해 자동화된 데이터 증강에 대한 연구가 진행되었습니다. 자동화된 증강 접근 방식 중 하나는 강화 학습을 사용하여 주어진 데이터 세트에서 가장 높은 검증 정확도를 반환하는 증강 기술을 식별하는 것입니다.¹⁴ 이 접근 방식은 샘플 데이터 내부와 외부 모두에서 성능을 개선하는 전략을 구현하는 것으로 나타났습니다.¹⁵ 자동화된 증강에 대한 또 다른 유망한 접근 방식은 분류기 출력에서 거짓 양성을 식별하여 증강하는 것입니다. 이런 방식으로 자동 증강은 잘못 분류되는 경우가 많은 항목을 수정하기 위한 최상의 전략을 식별합니다.¹⁶

최근에는 작업 의존적¹⁷ 및 클래스 의존적¹⁸ 최적 증강 전략을 식별하기 위해 생성형 네트워크와 모델을 사용하는 연구가 진행되고 있습니다. 생성적 적대적 네트워크(GAN) 작업이 여기에 포함됩니다. GAN은 일반적으로 합성 데이터를 생성하는 데 사용되는 딥 러닝 네트워크로, 최근 연구에서는 GAN을 데이터 증강에 사용하는 방법을 조사했습니다. 예를 들어, 몇 가지 실험에 따르면 의료 영상 세트의 합성 데이터 증강은 기존 증강보다 분류¹⁹ 및 세분화²⁰ 모델 성능을 더 향상합니다. 이와 관련하여 텍스트 증강에 대한 연구는 대규모 언어 모델(LLM)과 챗봇을 활용해 증강 데이터를 생성합니다. 이 실험에서는 LLM을 사용하여 혼합 및 동의어 기법으로 입력 데이터의 증강 샘플을 생성하여 기존 증강보다 텍스트 분류 모델에 더 큰 긍정적인 영향을 미치는 것으로 나타났습니다.²¹

연구자와 개발자는 다양한 머신 러닝 작업을 위한 모델을 학습시킬 때 데이터 증강 기술을 널리 채택합니다. 이와 대조적으로 합성 데이터는 비교적 새로운 연구 영역입니다. 합성 데이터와 실제 데이터를 비교 실험한 결과, 합성 데이터로만 학습된 모델이 실제 데이터로 학습된 모델보다 성능이 뛰어난 경우도 있고, 성능이 떨어지는 경우도 있는 등 다양한 결과가 나타났습니다. 당연히 이 연구는 합성 데이터가 실제 데이터의 특성을 반영할 때 가장 유용하다는 것을 보여줍니다.²²