리더로 선정된 IBM

Gartner는 "2021 Magic Quadrant for Data Science and Machine Learning Platforms"를 발표했습니다.

AutoML에서 AutoAI까지

AI 및 모델 라이프사이클 관리 가속화

AutoML이란 무엇일까요? AutoML(Automated Machine Learning)은 데이터 사이언티스트들이 머신 러닝 모델(ML 모델)을 구축하고 훈련할 때 완료해야 하는 수동 작업을 자동화하는 프로세스입니다. 여기에는 피쳐 엔지니어링 및 선택, 머신 러닝 알고리즘의 유형 선택, 알고리즘을 기반으로 분석 모델 구축, 하이퍼 매개변수 최적화, 테스트된 데이터 세트에 대해 모델 훈련, 점수와 결과를 생성하기 위해 모델 실행 등이 포함됩니다. 연구원들은 데이터 사이언티스트가 ML 모델에 대한 전문 지식 없이도 예측 모델을 구축할 수 있도록 지원하기 위해 AutoML을 개발했습니다. 또한 AutoML은 데이터 사이언티스트들이 머신 러닝 파이프라인을 구축할 때 기계적으로 반복하는 작업에서 벗어나 중요한 비즈니스 문제를 해결하기 위해 필요한 통찰력을 이끌어내는 데 집중할 수 있도록 지원합니다.

AutoAI란 무엇일까요? AutoAI는 AutoML의 변형입니다. 전체 AI 라이프사이클로 모델 구축 자동화를 확장합니다. AutoML처럼, AutoAI는 예측적 머신 러닝 모델을 구축하는 단계에 지능형 자동화를 적용합니다. 이러한 단계에는 훈련을 위한 데이터 세트 준비, 분류 또는 회귀 모델과 같이 주어진 데이터에 대한 최상의 모델 유형 식별, 기능 선택으로 알려진 모델이 현재 해결하고 있는 문제를 가장 잘 지원하는 데이터 열 선택 등이 포함됩니다. 그런 다음 자동화는 정확도 및 정밀도와 같은 메트릭을 기반으로 모델 후보 파이프라인을 생성하고 순위를 정할 때 최상의 결과에 도달할 수 있도록 다양한 하이퍼 매개변수 튜닝 옵션을 테스트합니다. 최상의 성능을 발휘하는 파이프라인을 프로덕션에 배치하여 새 데이터를 처리하고 모델 훈련을 기반으로 예측할 수 있습니다.

빠른 기능 비교

AutoAI vs. AutoML

통합 대상 AutoAI AutoML
데이터 준비
피쳐 엔지니어링
하이퍼 매개변수 최적화
자동화된 모델 배치
원클릭 배치
모델 테스트 및 스코어링
코드 생성
지원 기능:
편향성 제거 및 드리프트 완화
모델 리스크 관리
AI 라이프사이클 관리
전이 학습
모든 AI 모델
고급 데이터 정제

AutoAI의 중요성

지능형 자동화를 통해 모든 사용자의 역량 강화 실현

AutoAI의 사용 방법

ModelOps 구축

한 사람이 필기를 하면서 회의를 하고 있는 3명의 직원

ModelOps 구축

데이터 사이언티스트와 DevOps 간의 협업을 촉진하여 AI 모델을 애플리케이션에 통합하는 과정을 최적화합니다.

책임 있는, 설명 가능한 AI 조성

사무실에서 데스크탑 모니터의 왼쪽을 바라보고 있는 직원

책임 있는, 설명 가능한 AI 조성

더 신속하게 결과를 창출하고 리스크와 규제 준수를 관리하면서 프로덕션 AI에 대한 신뢰 구축의 중요성을 알아봅니다.

시계열 예측 자동화

서류와 노트북을 들고 회의하고 있는 두 명의 직원

시계열 예측 자동화

단일 클래스가 아닌 가능한 모든 모델 클래스에서 최상의 성능을 발휘하는 모델을 통합하여 모델이 향후 시계열 값을 어떻게 예측하는지 알아봅니다.

AutoAI의 기능

모델 라이프사이클에서 주요 단계 자동화

데이터 사전 처리

다양한 알고리즘 또는 추정기를 적용하여 머신 러닝에 대한 원시 데이터를 분석하고, 정리 및 준비합니다. 범주형 또는 숫자와 같은 데이터 유형을 기반으로 기능을 자동으로 발견하고 분류합니다. 하이퍼 매개변수 최적화를 사용하여 누락된 값 대치, 기능 인코딩 및 기능 스케일링에 대한 최상의 전략을 판별합니다.

자동화된 모델 선택

데이터의 소형 서브세트에 대한 후보 알고리즘 테스트 및 순위 지정을 통해 모델을 선택합니다. 가장 유망한 알고리즘에 대한 서브세트의 크기를 점진적으로 늘립니다. 데이터에 가장 적합한 모델 선택을 위해 여러 후보 알고리즘의 순위를 지정할 수 있습니다.

피쳐 엔지니어링

가장 정확한 예측을 수행하기 위해 문제점을 가장 잘 표현하는 기능 조합으로 원시 데이터를 변환합니다. 강화 학습을 사용하여 모델 정확도를 점진적으로 극대화하면서, 소모적이지 않은 구조화된 방식으로 다양한 기능 구성 선택 사항을 살펴볼 수 있습니다.

하이퍼 매개변수 최적화

머신 러닝에 있어 전형적인 모델 훈련 및 스코어링을 사용하여 모델 파이프라인을 세분화 및 최적화합니다. 성능을 기반으로 프로덕션에 배치할 최상의 모델을 선택합니다.

모델 모니터링 통합

모델 입력 및 출력 세부사항, 훈련 데이터 및 페이로드 로깅을 통해 모델 드리프트, 공정성 및 품질에 대한 모니터링을 통합합니다. 직접 및 간접 편향성을 분석하는 동안 수동 또는 활성 편향성을 구현합니다.

모델 검증 지원

모델 및 데이터 통찰력으로 확장하고 모델이 예상 성능을 만족하는지 검증합니다. 모델 품질을 측정하고 모델 성능을 비교하여 모델을 지속적으로 향상시킵니다.

강력한 AutoAI 활용

IBM Watson Studio에서 작동하는 AutoAI

AutoAI 구성

데이터 소스를 추가하고 AutoAI 실험에 대한 구성 세부사항을 선택하는 위치를 보여주는 IBM Watson Studio의 스크린샷

AutoAI 구성

.csv 파일을 끌어서 예측할 열을 선택합니다.

파이프라인 리더보드

관계 맵 및 파이프라인 리더 보드를 표시하는 IBM Watson Studio의 스크린샷

파이프라인 리더보드

모델 정확도 순위를 지정하고 파이프라인 정보를 표시합니다.

모델 평가

모델 평가 측정값 목록을 포함하여 파이프라인에 대한 모델 평가를 표시하는 IBM Watson Studio의 스크린샷

모델 평가

정확도, 정밀도 및 재호출을 검토하여 모델을 평가합니다.

모델 배치

테스트를 배치 공간으로 승격하는 위치를 표시하는 IBM Watson Studio의 스크린샷

모델 배치

모델을 배치 공간으로 승격합니다.

고객 사례

Regions Bank의 신뢰할 수 있는 AI 개발

데이터를 분석하고, 데이터 드리프트를 평가하며, 모델 성능을 측정하기 위해 이 은행에서 IBM Cloud Pak for Data를 사용하여 얻은 이점을 알아봅니다.

Highmark Health의 모델 구축 시간 90% 단축

이 의료 네트워크에서 어떻게 보험 청구 데이터를 사용하여 패혈증에 걸릴 가능성이 있는 환자를 식별하는 예측 모델을 구축했는지 알아봅니다.

AI를 재해석한 Wunderman Thompson

이 마케팅 커뮤니케이션 에이전시에서 AutoAI를 사용하여 어떻게 대량의 예측을 추진하고 새로운 고객을 식별하는지 알아봅니다.

IBM의 AutoAI를 선택해야 하는 이유

IBM Research에 의한 집중적인 개발

IBM Research 팀은 머신 러닝 및 데이터 사이언스 워크플로우의 작성을 가속화하고 최적화하기 위해 AI, ML 및 데이터 관리의 최신 기술을 적용하는 데 최선을 다하고 있습니다. 이 팀의 AutoML에 대한 첫 번째 노력은 하이퍼 매개변수 검색에 하이퍼밴드/베이지안 최적화를 사용하고 신경 구조망 탐색에 하이퍼밴드/ENAS/DARTS를 사용하는 데 집중한 것입니다.

파이프라인 구성 자동화와 하이퍼 매개변수 최적화를 포함하여 계속해서 AutoAI 개발에 주력하고 있습니다. 중요한 개선사항은 하이퍼 매개변수 최적화 알고리즘이며 모델 훈련 및 스코어링과 같은 비용 함수 평가에 최적화되어 있습니다. 최상의 솔루션으로 신속하게 통합할 수 있습니다.

또한 IBM Research는 AI 모델의 신뢰와 설명 가능성을 보장하기 위해 자동화된 인공지능을 적용하고 있습니다. 사용자는 IBM Watson Studio의 AutoAI를 사용하여 데이터 준비부터 알고리즘 선택, 모델 작성에 이르기까지 프로세스의 각 단계에 대한 시각화를 확인할 수 있습니다. 또한, IBM AutoAI는 모델을 지속적으로 향상시키기 위한 작업을 자동화하고, ModelOps 기능을 통해 AI 모델 API를 애플리케이션에 쉽게 통합할 수 있도록 지원합니다. IBM Watson Studio 제품 내의 AutoAI의 발전은 IBM이 2021 Gartner Magic Quadrant for Data Science and Machine Learning Platforms에서 리더로 선정되는 데 크게 기여한 바가 있습니다.

심층 분석하기

AutoML 및 딥 러닝

딥 러닝은 머신 러닝의 하위 범주로 사용자의 개입 없이 분석 및 물리적 작업을 수행하는 AI 애플리케이션 및 서비스를 지원하는 것으로 알려져 있습니다. 딥 러닝에 대한 예제 유스케이스에는 챗봇, 의료 이미지 인식 기술 및 사기 탐지 기능이 포함됩니다. 그러나 머신 러닝과 마찬가지로 딥 러닝 알고리즘을 설계하고 실행하려면 엄청난 양의 인력 자원과 컴퓨팅 성능이 필요합니다.

IBM Research 팀에서는 딥 러닝에서 가장 복잡하고 시간이 많이 소요되는 프로세스 중 하나인 "NAS(Neural Architecture Search)라는 기술을 통한 신경 구조 생성"을 살펴보았습니다. 연구 팀은 실험자들이 적절한 방법을 선택할 수 있도록 돕는 것을 목표로 각각의 장점을 개발하고 제시한 NAS 방법을 검토했습니다. 머신 러닝 모델을 위한 최적의 아키텍처를 찾는 방법을 자동화하면 더 강력한 AI의 민주화로 이어질 수 있지만 문제는 해결하기가 어렵고 복잡해질 수 있습니다.

IBM Watson Studio 내에서 딥 러닝 서비스를 사용하면 계속해서 딥 러닝을 빠르게 시작할 수 있습니다. 이 서비스는 복잡한 신경망을 설계한 후 최적화된 머신 러닝 모델을 배치하기 위해 규모에 맞게 실험할 수 있도록 지원합니다. 모델의 훈련 프로세스를 간소화하도록 설계되었으며, 이 서비스에서는 컴퓨팅 성능 요구사항을 해결하기 위해 온디맨드 GPU 컴퓨팅 클러스터도 제공합니다. 또한 TensorFlow, Caffe, Torch 및 Chainer와 같은 인기 있는 오픈 소스 ML 프레임워크를 통합하여 여러 GPU에서 모델을 훈련하고 결과를 빠르게 창출할 수 있습니다. IBM Watson Studio에서 AutoML, IBM AutoAI 및 딥 러닝 서비스를 결합하여 실험을 가속화하고, 구조화된 데이터와 구조화되지 않은 데이터를 분석하고, 더 우수한 모델을 더 빠르게 배치할 수 있습니다.

오픈 소스 패키지

AutoML에 대한 수요는 데이터 사이언스 전문가와 비전문가들이 함께 사용할 수 있는 오픈 소스 소프트웨어의 개발로 이어지고 있습니다. 업계 최고 수준의 오픈 소스 툴에는 auto-sklearn, auto-keras 및 auto-weka가 포함됩니다. IBM Research는 알고리즘 선택, 하이퍼 매개변수 조정 및 토폴로지 검색을 포함하여 다양한 범위의 자동화를 지원하기 위해 scikit-learn의 기능을 확장하는 Python 라이브러리인 Lale(IBM 외부 링크)에 기여합니다. IBM Research의 보고서(PDF, 1.1 MB)에 설명된 대로 Lale는 설정된 AutoML 툴에 대한 검색 공간을 자동으로 생성하는 방식으로 작동합니다. 실험 결과에 따르면 이러한 검색 공간은 더 많은 융통성을 제공하면서 최신 툴로 경쟁력 있는 결과를 얻을 수 있다는 것을 보여줍니다.

문서 및 지원

문서

IBM Watson Studio 문서에서 빠르게 답변을 찾을 수 있습니다.

지원

IBM의 기술 지원을 시작합니다.

커뮤니티

IBM Watson Studio의 다른 사용자로부터 기술 팁을 받을 수 있습니다.

AutoAI 시작하기

IBM Cloud Pak for Data의 IBM Watson Studio로 AutoAI를 체험해 보세요.