일반적인 S3 커넥터 ( DataStage )

일반형 S3 커넥터를 사용하여 S3 API를 지원하는 객체 저장소에 연결하고 다양한 읽기 및 쓰기 기능을 수행하십시오.

전제조건

연결을 만드세요. 사용 방법은 및 을 데이터 소스에 연결하기 DataStage® 참조하십시오 일반적인 S3 연결.

일반적인 S3 커넥터를 소스로 구성하기

읽기 프로세스를 구성하십시오.

표 1. 일반적인 객체( S3 ) 로부터 데이터 읽기
읽기 모드 프로시저
단일 파일 읽기 파일이 포함된 버킷 이름을 지정한 다음, 읽을 파일의 이름을 지정하십시오.
2진 데이터 읽기 파일이 포함된 버킷 이름을 지정한 다음, 읽을 파일의 이름을 지정하십시오.
와일드카드를 사용하여 여러 파일에서 2진 데이터 읽기 바이너리 데이터의 파일 이름에 와일드카드 문자를 지정하십시오. 예를 들어, 파일 이름 : test.*.gz

이 옵션을 사용하면 여러 바이너리 파일을 연속적으로 읽을 수 있으며, 각 파일은 레코드 단위로 읽힙니다.

'행에 파일 읽기'를 선택하는 경우, 소스 단계의 출력 탭에서 두 개의 열 이름을 반드시 지정해야 합니다:

  • 첫 번째 열은 문자열 데이터 유형이어야 합니다. 이 열은 파일 이름을 위한 것입니다.
  • 두 번째 열은 반드시 이진 데이터 유형이어야 합니다. 이 열은 파일을 위한 것입니다. 이진 열의 정밀도 값은 최대 파일 크기보다 크거나 같아야 합니다.
regex 표현식을 사용하여 여러 파일 읽기 파일이 포함된 버킷 이름을 지정하십시오. 파일 이름에 자바 정규 표현식을 사용할 수 있습니다.

예:

  • ^csv_write_datatypes_h.[0-9]$
  • csv_write_datatypes_h.[^12]
와일드카드를 사용하여 여러 파일 읽기 별표(*)를 지정하여 0개 이상의 문자와 일치시킵니다. 예를 들어,.txt 확장자를 가진 모든 파일을 일치시키려면 을 *.txt 지정하십시오.

물음표(?)를 지정하여 한 문자를 일치시킵니다.

예:

  • csv_write_datatypes.*
  • ?_abc_test*