OpenLineage 이벤트 매핑
OpenLineage 이벤트에 대한 매핑 규칙을 사용하여 지원되지 않거나 사용자 지정 기술을 리니지에서 표현하세요. 각 규칙은 규칙이 적용되는 시기를 정의하는 조건과 이벤트 해석 방법을 정의하는 작업으로 구성됩니다.
데이터 흐름에 지원되지 않는 기술이 포함된 경우, 계보에 전체 데이터 흐름이 표시되지 않을 수 있습니다. OpenLineage 이벤트를 가져와서 매핑을 사용하여 해당 기술을 인식하고 계보에 표시하는 방법을 정의할 수 있습니다. 매핑은 OpenLineage 이벤트의 데이터를 해석하고 계보에서 표현하는 방법을 정의하는 규칙입니다.
OpenLineage 이벤트에 대한 매핑을 생성하면 다음과 같은 방식으로 계보가 개선됩니다:
- 사용자 지정 작업 및 데이터 세트가 올바른 기술 아래에 표시됩니다.
- 리니지 경로는 자리 표시자가 아닌 노드를 올바르게 연결합니다.
매핑 규칙 구조
각 매핑 규칙은 두 부분으로 구성됩니다:
- 조건 - 네임스페이스 또는 접두사 및 적용 가능한 범위를 기준으로 규칙을 적용할 시기를 정의합니다.
- 액션은 규칙이 적용될 때 어떤 일이 발생하는지 정의합니다. 작업에는 기술 할당, 자산 계층 구조 설정, 올바른 데이터 소스 정의에 연결하여 자산이 올바른 시스템 아래에 위치하도록 하는 작업이 포함됩니다.
매핑 OpenLineage 이벤트 개요
OpenLineage 이벤트 매핑에는 다음 프로세스가 포함됩니다:
- 이벤트에서 참조되는 시스템에 대한 데이터 소스 정의를 만듭니다.
- 에셋 유형과 계층 구조를 정의하는 사용자 지정 기술 구조를 만듭니다.
- 규칙이 처리되는 시기와 수행되는 작업을 정의하는 매핑 규칙을 만듭니다.
- 메타데이터 가져오기를 실행하여 OpenLineage 이벤트를 입력 파일로 추가합니다.
- 계보에서 가져온 데이터를 검토합니다.