피처 스토어란 무엇인가요?

머신 러닝에서 피처는 원시 데이터로부터 파생되어 모델이 예측을 생성하기 위한 입력으로 사용하는 변수 또는 속성을 의미합니다. 피처는 구매 빈도 또는 지리적 위치와 같이 데이터 내 행동, 컨텍스트 또는 상태의 측정 가능한 측면을 나타냅니다.

예를 들어 사기 탐지에서는 모델이 원시 데이터가 아니라 선별된 신호에 의존합니다. 피처에는 지난주 거래 횟수 또는 최근 구매 위치와 같이 사기 행위를 나타낼 수 있는 패턴을 포착하도록 설계된 표현이 포함될 수 있습니다.

피처(일반적으로 ML 피처라고도 함)는 여러 데이터 소스로부터 생성되며 데이터 세트로 구성되어 데이터 과학 및 머신 러닝 워크플로를 모두 지원합니다. 이러한 피처는 이후 모델 학습, 지표 평가 및 모델의 프로덕션 시스템 배포에 사용됩니다.

머신 러닝 모델은 데이터의 수치 표현을 기반으로 작동합니다. 각 데이터 포인트는 일반적으로 벡터 형태의 피처 값 집합으로 표현되며, 각 차원은 특정 속성에 대응합니다. 회계 정보와 같은 일부 정형 데이터 유형은 본질적으로 수치형이지만 텍스트, 이미지 또는 오디오와 같은 다른 데이터는 비정형 데이터이므로 모델에서 사용하기 전에 정형화된 수치 형태로 변환해야 합니다.

비정형 데이터를 변환하는 한 가지 방법은 피처 엔지니어링이며, 여기서는 집계, 필터링 및 인코딩과 같은 기법을 사용해 원시 데이터를 구조화된 기계 판독 가능 입력으로 변환합니다. 피처 엔지니어링에는 또한 피처 추출(알고리즘이 원시 데이터로부터 의미 있는 표현을 도출하는 과정)과 피처 선택(가장 관련성이 높은 변수를 식별하는 과정)이 포함됩니다.

머신 러닝 워크플로는 모델 학습과 추론 전반에 걸쳐 있으므로 피처는 과거 데이터와 프로덕션 환경의 신규 데이터 모두로부터 계산됩니다. 이러한 일관성을 유지하려면 데이터 파이프라인, 피처 파이프라인 및 데이터 엔지니어링 시스템 전반의 조율이 필요하며, 피처 스토어는 바로 이러한 과제를 해결하도록 설계되었습니다.

실제 환경에서 피처 스토어는 머신 러닝 라이프사이클의 각 단계를 지원합니다.

• 피처 엔지니어링 및 개발: 새로운 피처를 정의하기 위한 구조화된 환경을 제공하여 팀이 피처를 공유하고 재사용하며 중복 구현을 방지할 수 있도록 합니다.

• 모델 학습: 과거 피처 데이터 및 학습 데이터를 제공하여 모델이 신뢰할 수 있는 데이터 세트로 학습되도록 보장합니다.

• 추론 및 서빙: 온라인 피처 스토어 시스템을 통해 실시간으로 피처 값을 제공하여 낮은 지연 시간 기반 예측을 가능하게 합니다.

• 모니터링 및 반복 개선: 지표를 추적하고 데이터 왜곡(또는 불균형한 데이터 분포)을 탐지하며 워크플로 내 피처 품질을 모니터링합니다.

오늘날 많은 인공지능(AI) 시스템의 기반이 되는 머신 러닝 모델의 성능은 입력 변수의 품질에 직접적으로 좌우됩니다. 입력되는 데이터가 결과를 결정합니다.

피처 값은 모델이 학습 데이터의 패턴을 어떻게 해석하고 그 패턴을 신규 데이터에 어떻게 적용할지를 결정합니다. 이러한 조율은 대규모 피처 데이터를 관리하는 동시에 학습과 추론 전반에서 일관성을 제공함으로써 모델 성능을 향상시킵니다.

머신 러닝 시스템 규모가 커질수록 피처 데이터 관리는 점점 더 복잡해집니다. 피처는 여러 워크플로 전반에서 생성되고 활용되며, 이는 주로 분산 환경에서 작업하는 데이터 엔지니어링 및 ML 팀에 의해 이루어집니다.

중앙 집중식 시스템이 없으면 중복 피처와 일관되지 않은 피처 정의가 발생하게 됩니다. 팀마다 동일한 피처를 약간씩 다른 로직으로 계산할 수 있으며, 이는 데이터 세트 및 파이프라인 내 불일치로 이어질 수 있습니다. 이러한 불일치는 피처 재사용을 어렵게 만들고 모델 개발에 위험 요소를 초래합니다.

모델 학습 과정에서 피처는 과거 데이터로부터 계산되어 학습 데이터 세트로 구성됩니다. 배포 이후에는 동일한 피처 정의를 신규 데이터에 적용하고 추론을 위해 다시 계산해야 하며, 이는 일반적으로 실시간 또는 준실시간 환경에서 이루어집니다.

피처 계산 방식의 작은 차이만으로도 학습 입력과 프로덕션 입력 간 불일치가 발생할 수 있으며, 이는 일반적으로 학습-서빙 왜곡(training-serving skew)이라고 불리고 모델 성능 저하로 이어질 수 있습니다.

피처 스토어는 피처 정의를 중앙 집중화하고 피처 변환을 표준화함으로써 이러한 과제를 해결합니다. 피처는 한 번 정의된 후 공유 시스템에 저장되며 애플리케이션 프로그래밍 인터페이스(API) 또는 소프트웨어 개발 키트(SDK) 인터페이스를 통해 액세스됩니다. 일반적으로 피처 레지스트리를 통해 관리되는 이러한 조율은 팀이 여러 파이프라인, 모델 및 사용 사례 전반에서 피처를 재사용할 수 있도록 합니다.

피처 스토어 아키텍처는 다음을 포함한 머신 러닝의 여러 핵심 단계 간 데이터를 연결합니다.

• 수집 및 변환
• 스토리지 계층
• 피처 서빙
• 피처 레지스트리 및 메타데이터
• 오케스트레이션 및 라이프사이클 관리

데이터는 여러 데이터 소스로부터 수집되어 수집 파이프라인을 통해 처리됩니다. 이러한 파이프라인은 원시 데이터를 피처 값으로 변환하기 위해 데이터 및 피처 변환을 적용합니다.

피처 계산은 여러 방식으로 수행될 수 있습니다. 예를 들어 기존에 수집된 데이터에 대한 배치 처리, 실시간 업데이트를 위한 스트리밍 파이프라인, 그리고 추론 시점의 온디맨드 피처 계산 등이 있습니다. 이러한 변환은 일반적으로 Python, 정형 쿼리 언어(SQL) 또는 자동화된 워크플로 내 다른 시스템을 사용해 구현됩니다.

피처 스토어는 오프라인 스토어와 온라인 스토어로 구성된 이중 스토리지 모델을 사용합니다. 오프라인 스토어 또는 오프라인 피처 스토어는 과거 피처 데이터를 유지하며 학습 데이터 및 학습 데이터 세트에 대한 액세스를 제공함으로써 모델 학습을 지원합니다. 일반적으로 이는 데이터 웨어하우스 또는 데이터 레이크 위에 구축됩니다.

온라인 스토어 또는 온라인 피처 스토어는 현재 피처 값을 유지하며 모델 추론 중 낮은 지연 시간 기반 조회를 지원합니다. 오프라인 스토어와 온라인 스토어 간 분리는 다양한 워크로드 전반에서 확장성과 성능을 모두 가능하게 합니다.

피처 서빙은 머신 러닝 모델에 피처 값을 제공하는 과정입니다. API 또는 SDK 계층은 애플리케이션이 여러 환경 간 피처를 검색할 수 있도록 하며, 이를 통해 피처 정의의 일관성을 유지합니다. 또한 학습-서빙 왜곡을 최소화하고 모델이 예측 수행 시 최신 피처 값을 사용할 수 있도록 보장합니다.

피처 레지스트리는 피처 정의를 위한 중앙 집중식 기준 시스템 역할을 합니다. 이는 메타데이터, 계보 및 버전 관리 정보를 저장하며 피처가 어떻게 생성되고 어디에서 사용되는지에 대한 가시성을 제공합니다. 이러한 추적 가능성은 재사용 가능한 피처를 더 쉽게 검색하고 거버넌스 및 액세스 제어를 시행하며 워크플로 내 종속성을 추적할 수 있도록 합니다.

피처 스토어는 전체 피처 라이프사이클 전반에서 파이프라인 및 워크플로를 오케스트레이션합니다. 일반적인 작업에는 피처 계산 자동화, 과거 피처 데이터에 대한 백필 작업 관리, 정의 변경 시 피처 재계산 및 중복되거나 오래된 피처 식별이 포함됩니다. 따라서 오케스트레이션은 데이터 플랫폼 전반에서 피처 파이프라인의 안정성과 확장성을 유지하도록 보장합니다.

구현 방식은 다를 수 있지만 대부분의 피처 스토어는 핵심 아키텍처를 넘어서는 일관된 기능 세트를 제공하며, 이를 통해 확장 가능하고 안정적인 머신 러닝 워크플로를 지원합니다.

이러한 기능은 함께 머신 러닝 워크플로에서 피처 데이터가 어떻게 관리되는지를 정의합니다. 또한 이는 피처 스토어가 보다 광범위한 데이터 아키텍처 내에서 어떻게 위치하는지를 보여줍니다.

웨어하우스 및 기타 데이터 저장소와 같은 기존 데이터 시스템은 조직 전반에서 데이터를 처리하고 이동하도록 설계되었습니다. 그러나 이러한 데이터는 본질적으로 머신 러닝에 바로 사용할 수 있는 형태는 아닙니다.

피처 스토어는 이러한 기반 위에서 피처 데이터를 머신 러닝 모델용 재사용 가능한 입력으로 구성하고 개발 및 프로덕션 단계에서 피처가 정의, 계산 및 제공되는 방식을 표준화합니다.

피처 스토어는 머신 러닝 시스템의 개발 및 유지 관리 방식을 개선하는 여러 실질적인 이점을 제공합니다.

• 향상된 모델 개발 효율성: 재사용 가능한 피처 정의는 새로운 프로젝트마다 피처를 다시 구축해야 하는 필요성을 줄여주며, 팀이 데이터 준비보다 모델 설계에 집중할 수 있도록 합니다.

• 머신 러닝 모델 전반의 일관성: 표준화된 피처 파이프라인은 학습과 추론 과정에서 피처가 동일한 방식으로 계산되도록 보장하여 학습-서빙 왜곡 위험을 줄입니다.

• 강화된 팀 간 협업: 중앙 집중식 피처 데이터는 데이터 과학자, 데이터 엔지니어링 및 ML 팀이 피처를 공유하고 공통 기준 시스템(SOR)을 기반으로 작업할 수 있도록 합니다.

• 거버넌스 및 추적 가능성: 피처 스토어는 피처 정의를 위한 구조화된 SOR를 도입하여 일관된 표준을 적용하는 동시에 피처가 모델 전반에서 어떻게 정의되고 사용되는지 더 쉽게 이해할 수 있도록 합니다.

• 실시간 머신 러닝 지원: 피처 스토어는 온라인 피처 스토어 시스템을 통해 피처 값에 대한 낮은 지연 시간 기반 액세스를 가능하게 하며, 초개인화 및 추천 엔진과 같은 사용 사례를 지원합니다.

• 확장 가능하고 반복 가능한 워크플로: 자동화된 피처 파이프라인 및 오케스트레이션은 머신 러닝 운영(MLOps)을 지원합니다. 이를 통해 조직은 팀 및 사용 사례 전반에서 머신 러닝 시스템을 확장할 수 있습니다.

피처 스토어는 또한 최적화된 스토리지 계층 및 Redis와 같은 키-값 시스템을 사용해 고처리량 피처 서빙을 지원하며, 이러한 시스템은 일반적으로 현대적인 데이터 플랫폼에서 관리형 인메모리 서비스로 배포됩니다. 이 접근 방식은 모델이 최신 피처 값을 효율적으로 검색할 수 있도록 지원합니다.

피처 스토어 선택은 조직의 데이터 아키텍처, 인프라 및 머신 러닝 성숙도에 따라 달라집니다. 일반적인 고려 사항은 다음과 같습니다.

• 기존 데이터 플랫폼과의 통합
• 오픈 소스 및 관리형 옵션
• 아키텍처 요구 사항 및 워크로드
• 거버넌스 및 신뢰성

피처 스토어는 기존 데이터 파이프라인, 데이터 웨어하우스, 데이터 레이크 및 보다 광범위한 데이터 플랫폼 시스템과 연계되어야 합니다. 그러나 기존 워크플로에 피처 파이프라인을 통합하려면 데이터 변환 리팩터링 및 팀 간 조율이 필요한 경우가 많습니다.

그 결과 조직은 일반적으로 피처 스토어가 Snowflake, Databricks 및 SageMaker Feature Store와 같은 AWS 서비스 등 기존 툴과 어떻게 통합되는지 평가하는 것부터 시작합니다. 피처 스토어는 데이터 엔지니어링과 모델 배포를 연결하는 보다 광범위한 MLOps 시스템의 일부로 통합되는 경우가 많습니다.¹

피처 스토어 구현 방식은 매우 다양하며, 조직은 지속적으로 성능, 확장성 및 운영 복잡성 간 균형을 맞추고 있습니다.² Feast와 같은 오픈 소스 피처 스토어 프레임워크는 기업이 자체 피처 파이프라인과 인프라를 구축 및 관리할 수 있도록 하며, Tecton과 같은 플랫폼은 완전 관리형 프로덕션 준비 솔루션을 제공합니다.

그러나 일부 조직은 보다 광범위한 시스템의 일부로 피처 스토어 기능을 포함하는 Uber의 Michelangelo와 같은 자체 엔드투엔드 머신 러닝 플랫폼을 구축하기도 합니다. 궁극적으로 피처 스토어를 구축할지 도입할지는 내부 전문성과 장기적인 확장성 요구 사항에 따라 달라집니다.

아키텍처 요구 사항은 핵심적인 역할을 합니다. 일부 사용 사례는 실시간 또는 낮은 지연 시간 기반 피처 서빙을 요구하는 반면, 다른 사용 사례는 배치 처리 또는 온디맨드 피처 계산에 의존합니다. 고처리량 요구 사항 역시 데이터 규모가 증가함에 따라 인프라에 상당한 부담을 줍니다.

오프라인 및 온라인 피처 값 간 일관성을 유지하면서 과거 데이터 처리와 실시간 추론을 모두 지원하는 것은 복잡한 작업이 됩니다. 연구에 따르면 피처 스토어 설계는 종종 이러한 워크로드 요구 사항에 의해 결정되며, 지연 시간, 확장성 및 특정 시점 기준 정확성과 같은 문제가 핵심 요소로 지적됩니다.³

거버넌스 또한 매우 중요합니다. 피처 스토어는 공유 피처 데이터를 기반으로 운영되므로 조직은 피처가 어떻게 정의, 테스트 및 사용되는지에 대한 명확한 가시성이 필요합니다.

피처 데이터가 여러 팀 간 공유되므로 조직은 데이터 유출을 방지하고 피처가 일관되게 계산되도록 제어를 시행해야 합니다. 공식적인 거버넌스 프레임워크는 피처 파이프라인 전반에서 일관성, 계보 및 규정 준수를 지원할 수 있으며,⁴ 머신 러닝 시스템에 대한 신뢰 유지에도 도움이 됩니다.