AutoML이란 무엇인가요?

AutoML 툴은 ML 모델을 구축하는 과정을 단순화합니다. 사용자는 생성형 AI 모델 및 기타 딥 러닝 시스템을 생성, 훈련, 검증 및 배포할 수 있는 직관적인 인터페이스의 이점을 누릴 수 있습니다. AutoML은 설명 가능하고 재현 가능한 결과를 통해 규제 대상 산업에서 AI 구현을 용이하게 합니다. 

AutoML이 없으면 데이터 준비, 데이터 사전 처리, 기능 엔지니어링, 하이퍼매개변수 최적화 등 머신 러닝(ML) 워크플로의 모든 단계를 수동으로 수행해야 합니다. AutoML은 머신 러닝의 잠재력을 탐색하는 데 관심이 있는 사람이라면 누구나 액세스할 수 있도록 함으로써 머신 러닝을 대중화합니다. 한편, 숙련된 MLOps 팀과 데이터 과학 전문가는 머신 러닝 워크플로의 일상적인 작업을 자동화하고, 더 까다로운 학습 작업에 집중할 수 있습니다. 

AutoML 솔루션은 의도한 작업을 처리하기 위해 수많은 머신 러닝 파이프라인을 구축한 다음 최적의 선택을 식별하는 방식으로 작동합니다. 모델 평가 및 모델 선택은 작업에 가장 적합한 모델을 선택하는 반복적인 프로세스의 일부로 자동화됩니다. 데이터 시각화 툴은 AutoML 프로세스를 훨씬 더 쉽게 사용할 수 있게 해줍니다. 

AutoML과 기존 머신 러닝의 차이점은 AutoML이 머신 러닝 파이프라인의 거의 모든 단계를 자동화한다는 점입니다. 기존 파이프라인은 시간이 많이 걸리고 리소스 집약적이며 인적 오류가 발생하기 쉽습니다. 이에 비해 AutoML의 발전은 더 큰 효율성과 더 나은 결과를 가져왔습니다. 

일반적인 머신 러닝 파이프라인은 다음 단계로 구성됩니다.  

데이터 준비는 원시 데이터를 수집하고 이를 학습 데이터 세트에 통합하는 프로세스입니다. 데이터 준비는 학습 데이터에 편향이 없도록 보장하며, 정확한 데이터는 정확한 예측과 인사이트로 이어져 모델의 성공을 위한 기반이 됩니다. 기업이 검색 증강 생성(RAG) 등을 통해 AI 시스템을 독점 데이터 저장소와 연결함에 따라 신뢰할 수 있는 AI 구현을 위해서는 데이터 준비가 매우 중요합니다. 

사용자는 AutoML 플랫폼을 학습 데이터의 소스(이상적으로는 학습에 사용할 수 있는 데이터가 포함된 대규모 데이터 세트)와 연결합니다. 데이터 준비 단계는 AutoML 솔루션이 배포되기 전에 수행됩니다. 

AutoML 솔루션이 개입하여 데이터를 추가로 전처리하고 정리합니다. 보다 철저한 데이터 사전 처리는 더 나은 AI 모델 성능으로 이어집니다. 

지도 학습 및 반지도 학습 작업을 위한 모델을 수동으로 구축할 때는 학습 데이터에 수동으로 레이블을 지정해야 합니다. 모델의 의도된 사용 사례에 따라 기능과 아웃풋을 선택해야 합니다. AutoML 솔루션은 사용자를 대신하여 특징 엔지니어링을 처리하여 모델 성능을 향상시킬 가능성이 가장 높은 데이터 특징을 선택할 수 있습니다. 

데이터 특징 또는 변수는 머신 러닝 모델이 의사 결정과 예측을 내리는 데 사용하는 데이터 세트의 속성입니다. 예를 들어, 식물 종을 식별하기 위해 구축된 컴퓨팅 비전 모델의 경우, 데이터 특징에는 잎 모양과 색상이 포함될 수 있습니다. 

특징 엔지니어링은 데이터 과학자가 입력 데이터에서 새로운 정보를 가져와 머신 러닝에 사용할 수 있도록 준비하는 혁신적인 프로세스입니다. 올바른 엔지니어링 및 특징 선택은 허용 가능한 모델 성능과 고품질 모델 성능 간의 차이를 결정할 수 있습니다.

자동화된 특징 엔지니어링은 특징 공간을 탐색하고, 누락된 값을 채우고, 사용할 특징을 선택하는 프로세스를 자동화합니다. 하나의 특징을 수동으로 구축하는 데는 몇 시간이 걸릴 수 있으며, 프로덕션 수준의 정확도 기준은 말할 것도 없고 최소한의 정확도 점수를 얻기 위해 필요한 특징의 수는 수백 개에 달할 수 있습니다. 자동화된 특징 엔지니어링은 이 단계를 며칠에서 몇 분으로 단축합니다. 

효율성 이점 외에도 자동화된 특징의 효율성은 AI 설명 가능성을 높여주며, 이는 의료 또는 금융과 같이 엄격하게 규제되는 산업에 중요합니다. 특징의 명확성이 높아지면 새로운 조직 KPI를 발견하여 모델을 더욱 설득력 있고 실행 가능하게 만들 수 있습니다.

의도한 사용 사례에 가장 적합한 모델 유형은 무엇인가요? 기존 머신 러닝에서 모델을 선택하려면 AI 모델 유형과 각 능력 및 제한 사항에 대한 전문 지식이 필요합니다. 

AutoML 툴은 다양한 알고리즘 및 하이퍼파라미터 구성을 사용하여 여러 모델을 동시에 자동으로 빌드하고 학습시켜 기존 프로세스를 개선합니다. 많은 AutoML 솔루션은 앙상블 학습이라는 프로세스에서 여러 모델을 결합합니다. 

심층 신경망을 구축할 때 가장 복잡하고 오류가 발생하기 쉬우며 시간이 많이 걸리는 작업 중 하나는 신경 아키텍처를 만드는 것입니다. 고급 작업에는 복잡한 하이퍼파라미터 구성이 포함된 다계층 네트워크가 필요합니다. 

신경 아키텍처 검색(NAS)은 이 프로세스를 자동화하여 소요 시간과 오류 가능성을 줄입니다. NAS는 고급 알고리즘을 사용하여 컨텍스트와 데이터 세트에 따라 최적의 아키텍처를 식별합니다. 최근 NAS의 발전은 관련 계산 비용을 줄이기 위한 보다 효율적인 기술의 개발에 중점을 두고 있습니다. 

하이퍼파라미터는 모델의 학습 프로세스를 제어하는 규칙입니다. 모델이 학습 중에 업데이트하는 내부 매개변수와 달리 하이퍼파라미터는 모델 외부에 있으며 데이터 과학자가 구성합니다. 신경망 구조는 또한 하이퍼파라미터에 의해 정의됩니다. 

소규모 데이터 모델링 컨텍스트에서는 하이퍼파라미터를 수동으로 구성하고 시행착오를 통해 최적화할 수 있습니다. 그러나 딥 러닝 애플리케이션을 사용하면 하이퍼파라미터의 수가 기하급수적으로 증가합니다. 자동화된 하이퍼파라미터 최적화를 통해 팀은 반복하고 실험하여 기능과 모델 전반에서 최상의 하이퍼파라미터를 발견할 수 있습니다. 

하이퍼파라미터 튜닝은 베이지안 최적화와 같은 고급 알고리즘을 통해 자동화됩니다. 자동화된 하이퍼파라미터 튜닝을 통해 데이터 과학자는 머신 러닝 프로세스 중에 방법보다는 모델을 만드는 이유에 집중할 수 있습니다. 대신 분석 팀은 지정된 사용 사례에 맞게 모델을 최적화하는 데 집중할 수 있습니다(예: 의료 테스트에서 오탐 최소화).

데이터 과학자는 훈련 중에 머신 러닝 알고리즘의 진행 상황을 검증해야 합니다. 훈련 후에는 실제 배포 전에 새로운 데이터로 모델을 테스트하여 성능을 평가합니다. 모델의 성능은 혼동 행렬, F1 점수, ROC 곡선 등의 메트릭으로 평가됩니다. 

훈련이 완료되면 AutoML 툴은 각 모델을 테스트하여 훈련 및 테스트 데이터 세트에서 가장 우수한 성능을 보이는 모델을 식별한 다음 배포할 최고 성능의 모델을 자동으로 선택합니다.

모델 생성은 제품 타임라인의 첫 번째 단계에 불과합니다. 완성된 모델은 사용자에게 제공하고, 성능을 모니터링하고, 시간이 지남에 따라 유지 관리하여 신뢰성과 정확성을 보장해야 합니다. 자동화가 없으면 개발팀은 스크립트를 작성하고 시스템을 구축하여 모델을 운영에 통합하고 사용자 기반에 제공해야 합니다. 

많은 AutoML 솔루션에는 원활한 실제 통합을 위한 배포 툴이 포함되어 있습니다. 모델은 웹사이트, 앱 또는 API 연결을 통해 액세스할 수 있는 서비스로 배포할 수 있습니다.  AutoML 플랫폼은 기존 제품에 대한 모델 배포를 자동화하고, 확장, 업데이트 및 버전 관리를 관리하며, 데이터 시각화를 통해 설명 가능성을 높일 수 있습니다.

AutoML 툴이 다양하다는 것은 이 기술을 다음과 같은 광범위한 머신 러닝 작업에 적용할 수 있음을 의미합니다. 

• 분류 

• Regression

• 컴퓨팅 비전 

• 자연어 처리 

분류는 데이터 입력을 지정된 카테고리에 할당하는 머신 러닝 작업입니다. 예측 모델은 입력 데이터 기능을 사용하여 올바른 레이블 또는 아웃풋을 예측합니다. AutoML 시스템은 테이블 형식 데이터를 처리하기 위해 랜덤 포레스트 및 지원 벡터 머신(SVM)과 같은 다양한 알고리즘을 구축하고 테스트할 수 있습니다. 

AutoML 툴은 레이블이 지정된 데이터 세트에서 패턴을 자동으로 감지하고 사기 탐지 및 이메일 스팸 필터링과 같은 일반적인 분류 작업을 위한 모델을 설계할 수 있습니다. 

머신 러닝의 회귀는 과거 데이터를 사용하여 미래 값을 예측하는 과제입니다. 선형 회귀는 하나 이상의 독립 변수(예: 위험 분석 또는 시장 예측)를 기반으로 종속 변수의 값을 예측합니다. 로지스틱 회귀 분석에서는 불연속 값이 아니라 환자가 질병에 걸릴 확률과 같은 미래 사건이 발생할 확률을 예측합니다. 

AutoML은 특히 복잡한 다변량 작업에서 입력 변수와 대상 변수 간의 관계를 설정하는 프로세스를 간소화합니다.

컴퓨팅 비전은 컴퓨터를 사용하여 이미지 및 비디오와 같은 시각적 데이터를 처리하는 것입니다. AutoML 시스템은 객체 감지, 이미지 분류, 지능형 광학 문자 인식을 포함한 비전 기반 분류 작업에 적합한 모델을 생성할 수 있습니다. 사용 사례에는 콘텐츠 관리 및 필터링, 이미지 태그 지정 및 기타 관련 작업이 포함될 수 있습니다. 

AutoML 시스템은 자율 주행 자동차와 같은 고급 컴퓨팅 비전 컨텍스트에서 사용하기 위해 모델을 미세 조정할 수도 있습니다.

자연어 처리(NLP)를 통해 AI 시스템은 사용자 프롬프트 및 법률 문서와 같은 텍스트 입력을 해석할 수 있습니다. 챗봇 생성, 다중 클래스 및 다중 레이블 텍스트 분류, 고객 감정 분석, Named Entity Recognition 및 언어 번역은 모두 AutoML로 쉽게 처리할 수 있는 복잡한 NLP 작업의 예입니다. 

데이터 과학자는 AutoML을 사용하여 의도한 사용 사례에서 강력한 성능을 발휘하도록 자동으로 최적화된 사용자 지정 모델을 만들 수 있습니다. 그렇지 않으면 NLP 모델을 수동으로 구축하는 경우 데이터 과학자는 처음부터 시작하거나 이전 모델을 기반으로 모델을 구축해야 하는데, 이는 자동으로 생성된 맞춤형 모델만큼 성능이 좋지 않을 수 있습니다.

AutoML은 AI 개발자에게 많은 이점을 제공하지만 인간의 지식, 경험, 기술 및 창의성을 완전히 대체하지는 못합니다. AutoML의 제한 사항은 다음과 같습니다. 

• 높은 비용: 작업이 더 까다로울수록 해당 모델도 더욱 발전되어야 합니다. 대규모의 복잡한 모델을 만드는 데 AutoML 기술을 적용하면 비용이 빠르게 통제 불능 상태가 될 수 있습니다. 

• 해석 가능성 부족: AutoML로 생성된 모델은 때때로 모델의 내부 작동이 모호한 '블랙박스 AI'의 함정에 빠질 수 있습니다. 인간 개발자는 설명 가능한 AI의 원칙에 따라 설계된 모델을 구축할 수 있지만, AutoML 솔루션에서는 이를 보장할 수 없습니다. 

• 과적합 위험: 학습된 모델이 학습 데이터에 너무 밀착하여 학습한 내용을 실제 데이터로 옮기지 못하는 과적합은 사람이 개입하고 학습 과정을 주의 깊게 모니터링하면 완화할 수 있습니다. 

• 제한된 제어: 개발자는 자동화를 통해 효율성을 높이고 제어력을 희생합니다. 고도로 맞춤화된 모델이 필요한 틈새 시장의 경우 AutoML 솔루션은 적절한 모델을 제공하는 데 어려움을 겪을 수 있습니다. 

• 데이터 의존성: AI 모델은 학습 데이터만큼만 강력합니다. 사람이 만든 모델과 AutoML로 만든 모델 모두 고품질 데이터가 제공되지 않으면 제대로 작동할 수 없습니다.

AI 모델 제작자는 다양한 AutoML 툴을 손쉽게 사용할 수 있습니다. 옵션은 다음과 같습니다. 

• AutoKeras: Keras 라이브러리와 TensorFlow를 기반으로 구축된 오픈 소스 툴입니다. 

• Auto-PyTorch: PyTorch로 만든 머신 러닝 프로젝트를 자동화하도록 설계된 AutoML 솔루션입니다. 

• Google Cloud AutoML: 머신 러닝을 위해 클라우드 플랫폼에서 사용할 수 있는 Google의 AutoML 솔루션입니다. 

• Lale¹: scikit-learn 파이프라인과 원활하게 통합되는 오픈 소스 반자동 Python 라이브러리입니다. 

• Microsoft Azure AutoML: Microsoft Azure를 사용하는 개발자는 AutoML 기능의 이점을 누릴 수 있습니다. 

• Auto-Sklearn: scikit-learn 라이브러리를 기반으로 하는 오픈 소스 AutoML 플랫폼입니다.