시계열 모델: AI 예측의 조용한 혁명

대규모 언어 모델은 헤드라인을 장식할 수 있지만, 다른 종류의 AI는 기업이 미래를 예측하는 방식을 바꿀 수 있습니다. 컴팩트하고 효율적인 시계열 모델은 산업 전반에 걸쳐 예측을 혁신하고 있습니다.

IBM의 TinyTimeMixer(TTM)가 이러한 추세를 잘 보여줍니다. 매개변수가 100만 개 미만인 TTM은 대규모 매개변수의 계산 요구 없이 강력한 예측을 제공합니다.

IBM 기술 전략가인 Joshua Noble은 "예측을 올바르게 적용하면 강력한 도구가 될 수 있습니다."라고 설명합니다. "수요, 수익, 비용, 디바이스 장애 또는 시장 변화를 예측하는 능력은 모든 규모의 비즈니스에 강력한 자산입니다."

최근 AI 업계는 더 작고 효율적인 언어 모델에 대한 관심이 급증하고 있습니다. 이러한 컴팩트한 모델은 더 적은 컴퓨팅 성능과 메모리를 필요로 하는 동시에 대형 모델에 필적하는 성능을 제공하는 것을 목표로 합니다. 예를 들어, Mistral AI는 비교적 적은 매개변수 수로 뛰어난성능을 달성하기 위해 전문가들의 조합 접근 방식을 사용하는 Mixtral 8x7B 모델로 주목을 받았습니다.

'AI 라이트'를 향한 이러한 추세는 실용적인 배포와 접근성에 대한 관심이 높아지고 있으며, 더 광범위한 애플리케이션과 장치에 AI 기술이 대중화될 잠재력이 있음을 반영합니다.

TTM은 시퀀스의 모든 요소가 다른 모든 요소와의 관계를 평가하는 기존의 머신 러닝 셀프 어텐션을 시계열 변수를 연결하기 위해 간단한 퍼셉트론 블록을 선택적으로 제어하는 메커니즘인 게이티드 어텐션으로 대체합니다. 이 간소화된 접근 방식은 집중도를 높이고 학습 및 미세 조정의 계산 비용을 절감하여 시계열 작업에 탁월한 간결하고 효율적인 모델을 만듭니다.

베이징 대기질 데이터 세트는 과거 데이터와 기상 변수를 사용하여 PM2.5 대기 오염 수준을 예측하는 TTM의 능력을 보여주는 실제 테스트 사례입니다. 이 애플리케이션은 환경 모니터링과 도시 계획에서 이 모델의 잠재력을 보여줍니다.

시계열 모델이 가능성을 보여주긴 하지만, 여전히 도전 과제가 남아 있습니다. Noble은 다음과 같이 경고합니다. “대부분의 AI와 마찬가지로 Forecasting도 좋은 데이터와 예측 가능한 패턴에 달려 있습니다. 예측하기 어려운 현상도 있으며, 어떤 모델도 이 문제를 해결할 수 없습니다."

미세 조정은 데이터 준비, 모델 로드, 평가, 미세 조정 및 재평가라는 간소화된 프로세스를 통해 모델 제한 사항을 해결합니다. 베이징 공기질 예측의 경우 미세 조정을 통해 평가 손실을 0.426에서 0.253으로 줄여 예측 정확도가 크게 향상되는 등 그 영향은 명확합니다. 이 실제 사례는 특정 작업에 대한 모델 성능을 향상시키는 미세 조정이 얼마나 효과적인지 보여줍니다.

미세 조정 프로세스에는 데이터 세트 분할, 사전 학습된 모델 로드, 기준선 성능 설정, 조기 중지를 통한 학습 데이터 미세 조정, 최종 평가가 포함됩니다. 이러한 접근 방식은 복잡한 데이터 패턴을 캡처하는 모델의 능력을 향상시켜 보다 정확한 예측을 수행합니다.

TTM의 예측 파이프라인은 대상 변수와 외부 요인을 모두 통합하여 복잡한 시계열 데이터를 처리합니다. PM2.5 예측 예시로 돌아가서, 이 접근 방식을 통해 TTM은 대기 질에 영향을 미치는 다양한 요소 간의 복잡한 관계를 포착할 수 있습니다. 이 모델은 여러 변수를 동시에 고려함으로써 시간이 지남에 따라 대기 질에 영향을 미치는 요인의 복잡한 상호 작용을 고려하여 보다 정확하고 미묘한 예측을 제공합니다.

IBM® watsonx 플랫폼은 이러한 기능을 더 많은 고객에게 제공합니다. 이 플랫폼을 통해 사용자는 모델을 효율적으로 학습, 검증, 조정 및 배포하여 모든 규모의 비즈니스에 대한 AI 기반 예측을 대중화할 수 있습니다.

TTM과 같은 시계열 모델이 발전함에 따라 비즈니스 예측에 미치는 영향도 커지고 있습니다. 이러한 모델은 공급망 최적화부터 시장 동향 예측에 이르기까지 불확실성을 탐색할 수 있는 강력한 도구를 제공합니다.

Noble은 이러한 모델의 잠재력을 다음과 같이 요약합니다. "시계열 데이터로 훈련된 파운데이션 모델은 이미 많은 학습 데이터가 내장되어 있기 때문에 이러한 종류의 예측에 대한 진입 장벽을 줄이는 데 도움이 될 수 있습니다."