여러 메타데이터 검색 파드에서 메타데이터 가져오기 작업을 동시에 실행하기

동시 메타데이터 가져오기 작업의 실행 여부는 다음 변수에 따라 달라집니다:

  • 데이터 소스 수준에서 사용자당 세션 수.
  • 귀하의 사이트에서 발생하는 제한 사항.
  • 동일한 데이터 소스에 연결되는 다른 병렬 작업을 실행하는 경우.
  • 포드 수와 wdp-connect-connectionmetadata-discovery 포드 수.

문제점 설명

여러 metadata-discovery 포드에서 메타데이터 가져오기 작업을 병렬로 실행할 때 오류가 발생할 수 있으며, 다음과 유사한 오류 메시지가 작업 실행 로그에 기록됩니다:

Error 429: CDICW9926E: Too many concurrent user requests: 50

임시 해결책

다음 방법 중 하나를 통해 이 문제를 해결할 수 있습니다:

  • 사용자당 허용되는 최대 동시 요청 수를 늘립니다. 포드 wdp-connect-connection 내에서 MAX_CONCURRENT_REQUESTS_PER_USER 환경 변수의 값을 변경합니다. 예를 들어:

    MAX_CONCURRENT_REQUESTS_PER_USER: 100

  • 사용자당 동시 요청 수를 늘릴 만한 자원이 충분하지 않다면, 소스에 연결되는 스레드 수를 줄이십시오. 기본적으로, 하나의 metadata-discovery 포드 내 20개의 워커 스레드가 해당 wdp-connect-connection 포드에 동시에 액세스합니다. 메타데이터 가져오기를 위해 4개의 포드를 정의하면, 80개의 작업자 스레드가 동시에 데이터 소스에 액세스하게 됩니다. 포드 metadata-discovery 내에서 환경 discovery_create_asset_thread_count 변수의 값을 변경하십시오. 예를 들어, 다음과 같습니다.

    discovery_create_asset_thread_count: 10