SD-모니터

SD 모니터는 Kafka 주제에서 페치되는 Kafka 메시지에 대한 지표를 확보합니다.

이 태스크에 대한 정보

SD 모니터는 Kafka 주제에서 페치되는 Kafka 메시지에 대한 정보를 제공합니다.

IBM 데이터 카탈로그 서비스에서 각 Kafka 주제는 NFS, IBM Storage 규모, COS 및 S3 와 같은 연결 유형을 나타내며, 여러 소비자가 데이터 소스에 연결하여 데이터를 스캔할 때 생산자로부터 전송되는 메시지를 가져오는 여러 소비자를 가지고 있습니다.

SD 모니터에서 다음 메트릭을 검색할 수 있습니다.
  • 토픽 및 파티션 세트에 대한 현재 커미트된 오프셋입니다.
  • 로그 종료 오프셋 (파티션에서 가장 높은 오프셋).
  • 래그, 현재 커미트된 오프셋과 로그 종료 오프셋 값 사이의 차이입니다.

프로시저

다음 단계에 따라 SD 모니터 정보를 가져오십시오.
  1. 다음 명령을 실행하여 SD 모니터 팟 (Pod) 의 로그를 가져오십시오.
    (oc logs $( oc get pods -n ibm-data-cataloging | grep sdmonitor | awk '{print $1}' ) -n ibm-data-cataloging) | grep Fetch
  2. 디버그할 연결 유형에 대한 메트릭을 포함하는 배열을 찾으십시오.
    NFS 연결에 대한 예제 배열입니다.
    'file-scan-topic': {0: [30768, 30768, 0], 1: [31050, 31050, 0], 2: [30897, 30897, 0], 3: [30788, 30788, 0], 4 : [30608, 30608, 0], 5: [30525, 30525, 0], 6: [30908, 30908, 0], 7: [30610, 30610, 0], 8: [30726, 30726, 0], 9 : [30959, 30959, 0]}
    참고: 각 하위 배열 0: [30768, 30768, 0] 은 이용자 중 하나와 관련된 메트릭을 표시합니다. 이 하위 배열에서 첫 번째 값은 현재 커미트된 오프셋을 나타냅니다. 두 번째 값은 로그 종료 오프셋이고 세 번째 값은 래그를 나타냅니다.
    로그 정보를 읽을 때 다음 사항을 고려하는 것이 중요합니다.
    • SD 모니터는 각 이용자가 수신하는 Kafka 메시지의 압축된 지표를 제공합니다.

      예를 들어, 두 개의 서로 다른 NFS 스캔을 실행하는 경우 두 스캔에서 전송된 모든 Kafka 메시지의 지표를 가져오는 것이 좋습니다.

    • SD 모니터는 30초마다 실행됩니다. 즉, 스캔 진행 상태와 SD 모니터 로그에 보고되는 메트릭 사이에 약간의 차이가 있음을 확인할 수 있습니다.