데이터 유효성 검사란 무엇인가요?

데이터 유효성 검사는 데이터가 깨끗하고, 정확하고, 사용할 준비가 되었는지 확인하는 프로세스입니다.
 

유효한 데이터는 허용된 한도 또는 범위 내에 속하고, 지정된 데이터 형식을 준수하고, 부정확성이 없으며, 조직 자체의 특정 유효성 검사 기준을 준수합니다.

데이터 유효성 검사는 데이터 관리 워크플로에서 오랫동안 확립된 단계입니다. 잘못된 데이터는 결국 데이터 분석에 혼란을 야기할 수 있기 때문입니다. 하지만 조직이 데이터 기반 의사 결정 및 인공 지능(AI) 이니셔티브를 강화하기 위해 전례 없는 수준의 데이터 수집에 참여함에 따라 그 시급성과 중요성이 배가되고 있습니다.

오늘날 기업은 테라바이트 또는 페타바이트 규모의 데이터가 포함된 대규모 데이터 세트를 일상적으로 축적합니다. 이러한 정보는 사물인터넷(IoT) 디바이스 또는 소셜 미디어와 같은 다양한 데이터 소스에서 가져오며, 데이터 웨어하우스 및 기타 대상 시스템으로 이동되는 경우가 많습니다. 그러나 광범위한 소스에서 들어오는 정보와 대규모 데이터 마이그레이션의 규모는 일치하지 않는 형식과 불일치, 중복 데이터, 불완전한 데이터 필드, 데이터 입력 오류, 심지어 데이터 포이즈닝 등 다양한 문제의 발판을 마련할 수 있습니다.

이러한 데이터 품질 문제는 데이터 무결성을 손상시키고 정보에 기반한 의사 결정을 위태롭게 할 수 있습니다. 또한 잘못된 데이터는 데이터 분석가에게만 골칫거리가 되는 것이 아니라, 엔지니어, 데이터 과학자 그리고 AI 모델 작업을 하는 모든 사람에게도 문제가 됩니다.

머신 러닝 모델과 생성형 AI 모델을 포함한 AI 모델은 모델 학습 및 성능을 위해 안정적이고 정확한 데이터가 필요합니다. 효과적인 AI 구현이 중요한 경쟁 우위가 됨에 따라 기업은 잘못된 데이터가 AI 활동을 위태롭게 하는 것을 허용할 수 없습니다. 기업은 데이터 유효성 검사 프로세스를 사용하여 데이터 분석 및 AI에 사용하기에 충분한 데이터 품질을 보장합니다.

또한 데이터 유효성 검사는 규정 준수와 관련하여 점점 더 중요해지고 있습니다. 예를 들어, EU 인공 지능법에 따라 '고위험' AI 시스템에 대한 데이터 유효성 검사는 엄격한 데이터 거버넌스 관행의 적용을 받습니다.

데이터 유효성 검사에는 비즈니스 규칙과 데이터 유효성 검사의 수립 및 시행이 수반됩니다.

조직마다 다른 규칙과 데이터 유효성 검사 기술을 사용하지만, 가장 일반적인 유형의 데이터 유효성 검사는 다음과 같습니다.

• 코드 검사
• 일관성 검사
• 데이터 유형 검사
• 형식 검사
• 범위 검사
• 고유성 검사

코드 검사는 데이터 값을 허용 가능한 값 목록과 비교하여 데이터 값이 유효한지 여부를 결정합니다. 몇 가지 예로는 기업을 분류하기 위한 국가 코드, 국제 표준 도서 번호(ISBN) 코드, 북미 산업 분류 시스템(NAICS) 코드가 있습니다.

일관성 검사는 입력 데이터가 논리적이며 다른 값과 충돌하지 않는지 확인합니다. 예를 들어, 결혼한 부부 데이터베이스에서 약혼 날짜는 결혼 날짜보다 빨라야 합니다.

데이터 유형은 특정 열의 데이터에 유효한 형식을 정의합니다. 데이터 유형의 예로는 텍스트, 숫자 또는 날짜가 포함될 수 있습니다. 이 검사는 길이, 정밀도 또는 배율 면에서 선택한 데이터 형식과 일치하지 않거나 지정된 데이터 형식을 위반하는 각 값을 식별합니다.

형식 검사는 전화번호, 이메일 주소 및 날짜에 대한 열과 같은 특정 데이터 형식 요구 사항이 있는 열에 대해 구현됩니다.

범위 검사는 숫자 데이터가 미리 정의된 최소값과 최대값 범위 내에 있는지 여부를 확인합니다. 예를 들어, 허용되는 차량 타이어 공기압의 범위는 평방인치당 30~35파운드일 수 있습니다.

고유성 검사는 모든 데이터 입력이 고유해야 하고 중복 값이 없는 열에 적용됩니다.

데이터 유효성 검사에 사용되는 다른 검사에는 길이 검사(필드에 올바른 수의 문자가 있는지 확인), 존재 여부 검사(필수 필드가 비어 있지 않은지 확인), 스키마 유효성 검사(데이터가 미리 정의된 구조를 준수하는지 확인) 등이 있습니다.

데이터 유효성 검사는 원시 데이터 세트의 오류와 불일치를 수정하는 데이터 정리와 같은 호흡으로 언급되는 경우가 많습니다. 데이터 유효성 검사는 데이터 정리의 구성 요소로 간주되는 경우도 있지만 다른 경우에는 별개의 프로세스로 간주됩니다.

데이터 유효성 검사와 데이터 정리는 모두 조직에서 고품질 데이터를 유지하기 위한 일련의 관행인 데이터 품질 관리(DQM)의 요소입니다. 보완적인 추가 DQM 프로세스에는 데이터 프로파일링, 데이터 품질 모니터링, 메타데이터 관리가 포함됩니다.

데이터 유효성 검사는 수동으로 수행할 수 있지만, 힘들고 시간이 많이 걸리는 작업일 수 있습니다. 데이터 전문가는 다양한 데이터 툴을 사용하여 데이터 유효성 검사 프로세스를 가속화, 자동화 및 간소화할 수 있습니다.