계보 메타데이터 가져오기를 위한 에이전트 구성

개요

대부분의 경우, 여러 데이터 소스에 직접 접근할 Cloud Pak for Data 수 있습니다. 그러나 항상 가능하거나 최선의 방법은 아니다. 그런 다음 계보 분석을 위해 메타데이터를 추출하려는 외부 시스템과 동일한 위치 또는 네트워크 세그먼트에 설치하는 Manta 에이전트를 사용할 수 있습니다. 가장 일반적인 사용 사례는 다음과 같습니다:

• 온프레미스 데이터 소스에 연결할 수 없습니다.
• 특정 타사 도구나 라이브러리가 필요한 데이터 소스에 연결할 때 Cloud Pak for Data, 해당 도구나 라이브러리를 설치할 수 없거나 설치하고 싶지 않은 경우입니다.
• 귀사의 데이터 센터는 여러 지리적 위치에 분산되어 있으며, 데이터 전송 지연(네트워크 지연)을 방지하고자 합니다.

다음 목록은 Manta 에이전트를 사용하여 계보 메타데이터를 가져오기 위해 필요한 단계를 요약한 것입니다:

1. Manta 에이전트 실행 파일을 다운로드하여 대상 위치에 저장하십시오. 이 파일들은.zip 파일로 압축되어 있습니다. 파일을 추출하십시오.
2. 에 Manta Data Lineage 새 에이전트 인스턴스를 등록하고 구성 파일을 저장하십시오.
3. 에이전트 인스턴스 구성 파일을 대상 위치로 복사하고 에이전트를 시작하십시오.
4. 메타데이터 가져오기를 생성할 때 목록에서 에이전트를 선택하십시오.

전제조건

각 에이전트 인스턴스에 대해 새 사용자 계정을 생성하십시오:

• On Cloud Pak for Data : 외부 시스템의 에이전트가 통신하기 위해 사용하는 Cloud Pak for Data 기술적 사용자. 해당 사용자 계정의 사용자 이름과 API 키는 에이전트 등록 시 제공됩니다.
• 외부 시스템에서: 에이전트를 실행하는 데 사용되는 운영 체제 사용자 계정. 에이전트 실행 파일과 에이전트 구성 파일은 이 사용자 계정에 저장됩니다. Java 런타임 환경(JRE) 버전 21 이상을 사용하십시오.

다음과 같은 이유로 각 에이전트 인스턴스에 대해 전용 사용자 계정을 생성하는 것이 중요합니다:

• 에이전트는 API 키를 사용하여 인증합니다. API 키가 변경될 때마다 에이전트 인스턴스를 다시 등록하여 구성 파일을 업데이트하고 외부 시스템에서 기존 구성 파일을 새 파일로 교체해야 합니다. 에이전트 전용으로 분리된 사용자 계정을 보유할 경우, 동일한 API 키를 사용하는 다른 애플리케이션 및 스크립트와 독립적으로 운영됩니다. API 키를 재생성해야 하는 경우, 다른 프로세스를 중단시키지 않고 안전하게 수행할 수 있습니다. 다른 사람이 API 키를 재생성하더라도 에이전트에는 영향을 미치지 않습니다.
• 데이터의 보안. 에이전트 구성 파일에는 사용자 이름과 API 키를 포함한 기밀 정보가 포함되어 있습니다. 이 파일은 항상 보호되어야 합니다. 외부 시스템에는 승인된 사용자만 접근할 수 있습니다. 외부 시스템에서 에이전트를 실행하기 위한 전용 사용자 계정을 통해 기밀 데이터가 안전하게 보호됩니다. 또한 데이터가 유출되더라도 그 영향은 단일 에이전트 인스턴스로만 제한됩니다.

이러한 이유로, 각 에이전트 인스턴스에 대해 새 사용자 계정을 생성하고, 다양한 에이전트 인스턴스에 동일한 사용자를 재사용하지 마십시오.

Manta Agent 실행 파일 다운로드

웹사이트에서 Passport Advantage Manta Agent 실행 파일을 다운로드하십시오.

실행 파일이 허용되는 위치에.zip 파일을 추출하십시오. 예를 들어, 운영 Linux 체제에서 /usr/local/bin/manta-agent 실행될 수 있으며, C:/manta-agent Windows 운영 체제에서 실행될 수 있습니다.

최신 에이전트 버전을 설치했는지 확인하십시오. 현재 에이전트 설치 업그레이드 방법에 대한 정보는 에이전트 버전 업데이트를 참조하십시오.

에이전트 등록 Manta Data Lineage

새 에이전트를 등록하려면 다음 단계를 Manta Data Lineage 완료하십시오:

1. 데이터 > 데이터 계보 로 이동한 후 데이터 계보 설정 링크를 클릭하세요.
2. 에이전트 관리 탭에서 새 에이전트를 클릭합니다.
3. 외부 시스템에 이미 Manta 에이전트 실행 파일이 있다면 다음 단계로 진행하십시오. 그렇지 않다면,.zip 파일을 다운로드하여 외부 시스템에서 압축을 풀어주세요.
4. 다음 세부 사항을 정의하십시오:
   • 이름 : 에이전트 인스턴스의 이름으로, 공백을 포함할 수 없습니다. 연결된 데이터 소스를 명확하게 식별할 수 있는 의미 있는 이름을 지정하십시오.
   • 사용자 이름 : API 키가 생성된 사용자의 이름입니다. 각 에이전트마다 새로운 사용자 및 API 키를 생성하는 것이 가장 좋은 방법입니다. 자세한 내용은 필수 조건을 참조하십시오.
   • API 키 : 앞서 제공한 사용자 이름과 연결된 API 키입니다.
5. 등록을 클릭하십시오.
6. 구성 파일을 다운로드하십시오. 이를 사용하여 외부 시스템에서 에이전트 구성을 완료하게 됩니다.

현재 에이전트 상태는 등록됨 입니다.

외부 시스템에서 에이전트 구성

외부 시스템에서 에이전트 구성을 완료하려면 다음 단계를 수행하십시오:

1. 에이전트 구성 파일을 에이전트 실행 파일을 추출한 동일한 위치로 복사하십시오.
2. 시작 스크립트를 실행하십시오. 운영 체제에 따라 또는 run.sh 입니다 run.bat. 스크립트는 bin 폴더에 있습니다.

현재 에이전트 상태는 온라인 입니다. 메타데이터 가져오기에 사용할 준비가 되었습니다. 자세한 내용은 메타데이터 가져오기 생성을 참조하십시오.

에이전트를 처음 실행할 때,.zip 파일을 추출한 위치에 data 폴더가 생성됩니다. 해당 data 폴더에는 에이전트의 로그 파일이 포함되어 있으며, 여기서 에이전트의 상태 업데이트 및 진행 중인 추출 작업에 대한 정보를 확인할 수 있습니다.
해당 bin 폴더에서 에이전트에 대한 유용한 정보가 담긴 파일을 README.md 찾을 수 있습니다.

에이전트 버전 업데이트

때때로 에이전트 버전을 최신 버전으로 업데이트해야 합니다. 현재 에이전트 버전이 오래된 경우, 에이전트가 시작되지 않으며 로그 파일에 최신 버전을 설치해야 한다는 오류 메시지가 포함됩니다.

에이전트를 업데이트하려면 다음 단계를 완료하십시오:

1. 웹사이트에서 Passport Advantage 최신 에이전트 버전을 다운로드하십시오.
2. 이전 에이전트 버전과 다른 위치에 에이전트 파일을 저장하고 새 에이전트 파일을 추출하십시오.
3. 운영 체제에 따라 또는 shutdown.bat shutdown.sh 스크립트를 실행하여 이전 에이전트 버전을 중지하십시오.
4. 기존 에이전트 config.json 구성 파일의 백업 사본을 생성하고, 이를 새 에이전트 폴더에 저장하십시오. 폴더를 data 새 위치로 이동하지 마십시오.
5. 이전 에이전트 파일이 포함된 전체 폴더를 삭제하십시오.
6. 운영 체제에 따라 또는 run.bat run.sh 스크립트를 실행하여 새 에이전트를 시작하십시오.
7. 데이터 > 데이터 계보 > 데이터 계보 설정 > 에이전트 관리로 이동하여 새 에이전트의 상태가 온라인인지 확인하십시오.

에이전트가 업데이트되었습니다. API 키를 수정할 필요가 없습니다.

API 키 업데이트

경우에 따라 에이전트의 API 키를 업데이트해야 할 수 있습니다. 이러한 사례는 다음과 같습니다:

• 에이전트 구성 파일이 손실되었습니다. 이 경우 API 키를 재생성하고 새 구성 파일을 생성해야 합니다.
• 해당 서비스 또는 플랫폼의 API 키가 재생성되었으며, 업데이트된 API 키로 새 구성 파일을 생성해야 합니다.

에이전트의 API 키를 업데이트하려면 다음 단계를 완료하십시오:

1. 새 API 키를 생성하십시오. 자세한 정보는 인증을 위한 API 키 생성을 참조하십시오.
2. 데이터 > 데이터 계보 > 데이터 계보 설정 으로 이동하십시오.
3. 에이전트 관리 탭에서 업데이트하려는 에이전트를 찾아 클릭하면 세부 정보 패널이 표시됩니다.
4. API 키 업데이트를 클릭하세요.
5. 사용자 이름과 API 키에 대한 새 값을 제공하십시오.
6. 새 구성 파일을 다운로드하십시오.
7. 외부 시스템에서 기존 구성 파일을 새 파일로 교체하십시오.
8. 운영 체제에 따라 또는 shutdown.shshutdown.bat 스크립트와 run.sh 또는 run.bat 스크립트를 사용하여 에이전트를 다시 시작하십시오.

에이전트 제거

에이전트를 제거하려면 다음 단계를 순서에 관계없이 완료하십시오:

• 관리 에이전트 탭에서 Cloud Pak for Data 에이전트를 찾아 세부 정보 패널을 열고 '에이전트 삭제'를 클릭하세요.
• 외부 시스템에서 또는 shutdown.bat shutdown.sh 스크립트를 사용하여 에이전트를 중지하고,.zip 파일에서 추출한 파일과 에이전트 구성 파일을 삭제하십시오.

스크립트에서 setenv 에이전트 설정 구성

각 에이전트 설치에 대해 다음 설정을 구성할 수 있습니다:

메모리 설정
이 AGENT_JVM_OPTS 속성은 에이전트의 Java 가상 머신 설정을 제어하며, 주로 메모리 할당을 담당합니다.

예제 값:

• Linux 또는 macOS 운영 체제: export AGENT_JVM_OPTS="-Xms1g -Xmx4g -XX:+UseG1GC"
• Windows 운영 체제: set "AGENT_JVM_OPTS=-Xms1g -Xmx4g -XX:+UseG1GC"

다음 매개변수를 조정할 수 AGENT_JVM_OPTS 있습니다:

• -Xms이 매개변수는 초기 Java 힙 크기를 설정합니다. 예를 들어, 1기가바이트를 의미하는 로 1g 설정할 수 있습니다.
• -Xmx이 매개변수는 최대 Java 힙 크기를 설정합니다. 에이전트가 대용량 데이터 소스를 처리하거나 에이전트 실행 시 메모리 부족 오류가 발생하는 경우, 이 매개변수의 값을 예를 들어 -Xmx8g 또는 으로 증가시킬 -Xmx16g 수 있습니다. 에이전트의 메모리 사용량을 모니터링하여 최적의 값을 찾으십시오.
• -XX:+UseG1GC이 매개변수는 (Garbage-First G1 ) 가비지 컬렉터를 선택하며, 이는 더 큰 힙 크기를 가진 애플리케이션에 더 나은 성능을 제공할 수 있습니다.

에이전트 추출기 메모리
이 LINEAGE_AGENT_EXTRACTOR_MEMORY 속성은 에이전트의 추출기 부분이 사용할 수 있는 최대 메모리(메가바이트 단위)를 지정합니다.

예제 값:

• Linux 또는 macOS 운영 체제: export LINEAGE_AGENT_EXTRACTOR_MEMORY=4096
• Windows 운영 체제: set "LINEAGE_AGENT_EXTRACTOR_MEMORY=4096"

기본값이 설정되지 않은 경우, 시스템 메모리 또는 사전 구성된 내부 기본값에서 파생될 수 있습니다. 에이전트가 대용량 또는 복잡한 데이터 소스를 추출할 때 메모리 부족 오류가 발생하면, 값을 8GB의 경우 로 8192 , 16GB의 경우 16384 로 증가시킬 수 있습니다. 값을 조정할 때는 `memory_allocation AGENT_JVM_OPTS`을 사용하여 메인 에이전트에 할당된 메모리 양을 확인하고, 시스템 총 메모리보다 큰 값을 설정하지 마십시오.

에이전트 사전 배치 크기
이 LINEAGE_AGENT_DICTIONARY_BATCH_SIZE 속성은 단일 배치로 중앙 서비스에 전송되는 사전 항목의 수를 지정합니다.

예제 값:

• Linux 또는 macOS 운영 체제: export LINEAGE_AGENT_DICTIONARY_BATCH_SIZE=1000
• Windows 운영 체제: set "LINEAGE_AGENT_DICTIONARY_BATCH_SIZE=1000"

기본값은 약 500 또는 1000입니다. 대형 사전(dictionary)을 채울 때나 에이전트와 서버 간 네트워크 지연이 발생할 때 값을 2000 또는 5000으로 증가시킬 수 있습니다. 메모리 사용량이 너무 높다면, 기본값보다 낮은 값을 설정할 수 있습니다.

로깅 수준
이 LOGGING_LEVEL_COM_IBM_WDP_DATALINEAGE 속성은 에이전트의 로그, 특히 계보 관련 구성 요소에 대한 상세 수준을 조정합니다.

예제 값:

• Linux 또는 macOS 운영 체제: export LOGGING_LEVEL_COM_IBM_WDP_DATALINEAGE=DEBUG
• Windows 운영 체제: set "LOGGING_LEVEL_COM_IBM_WDP_DATALINEAGE=DEBUG"

이 속성은 다음 값 중 하나로 설정할 수 있습니다: INFO (기본값), DEBUG, WARN, ERROR. 문제를 조사하거나 지원이 IBM 포함된 문제를 처리할 때는 이 속성을 로 DEBUG 설정하십시오. 대부분의 경우 기본값으로 INFO 충분합니다.

프로시저

이러한 설정을 수정하려면 다음 단계를 완료하십시오:

1. 에이전트 설치 폴더에서 bin 폴더로 이동한 후, 편집을 위해 setenv 스크립트를 엽니다. 운영 체제에 따라 스크립트는 또는 setenv.sh 입니다 setenv.bat.
2. 수정하려는 속성의 주석을 해제하고 사용자 정의 값을 입력하십시오.
3. 변경사항을 저장하십시오.
4. 운영 체제에 따라 또는 run.bat run.sh 스크립트를 실행하여 새 에이전트를 시작하십시오.

FIPS 지원 환경에서 에이전트 실행 구성

FIPS 지원 환경에서 에이전트를 사용할 수 있습니다. 에이전트는 바이너리를 IBMSemeru Runtime 사용하도록 구성되어야 합니다. 자세한 내용은 IBMSemeru 런타임의 FIPS 140-3 암호화 솔루션을 참조하십시오.

export JAVA_HOME="<path to IBM Semeru Runtimes installation>"
export AGENT_JVM_OPTS="-Xms1g -Xmx4g -XX:+UseG1GC -Dsemeru.fips=true -Dsemeru.customprofile=OpenJCEPlusFIPS.FIPS140-3"

set "JAVA_HOME=<path to IBM Semeru Runtimes installation>"
set "AGENT_JVM_OPTS=-Xms1g -Xmx4g -XX:+UseG1GC -Dsemeru.fips=true -Dsemeru.customprofile=OpenJCEPlusFIPS.FIPS140-3"

자세히 보기

• 인증을 위해 API 키 생성

• 메타데이터 가져오기 생성