Apache Kafka 프로토콜 구성 옵션

IBM QRadar 는 Apache Kafka 프로토콜을 사용하여 이용자 API를 사용하는 Kafka 클러스터의 토픽에서 이벤트 데이터의 스트림을 읽습니다. 주제는 메시지가 저장 및 게시되는 Kafka에서의 카테고리 또는 피드 이름입니다. Apache Kafka 프로토콜은 아웃바운드 또는 활성 프로토콜이며 사용자 정의 로그 소스 유형을 사용하여 게이트웨이 로그 소스로 사용할 수 있습니다.

Apache Kafka 프로토콜은 거의 모든 크기의 주제를 지원합니다. 단일 주제 (예: 모든 방화벽) 에서 수집하도록 여러 QRadar 콜렉션 호스트 (EP/EC) 를 구성할 수 있습니다. 자세한 정보는 Kafka 문서 (http://kafka.apache.org/documentation/) 를 참조하십시오.

다음 표에는 Apache Kafka 프로토콜의 프로토콜 특정 매개변수가 설명되어 있습니다.

표 1. Apache Kafka 프로토콜 매개변수
매개변수	설명
로그 소스 ID	로그 소스의 고유 이름을 입력하십시오. 로그 소스 ID는 임의의 유효값일 수 있으며 특정 서버를 참조하지 않아도 됩니다. 로그 소스 이름과 동일한 값일 수도 있습니다. 둘 이상의 Apache Kafka 로그 소스를 구성한 경우 각각에 고유한 이름을 지정해야 합니다.
부트스트랩 서버 목록	부트스트랩 서버의 `< hostname/ip>: < port>` . 이 예와 같이 쉼표로 구분된 목록에 여러 서버를 지정할 수 있습니다: `hostname1:9092,1.1.1.1:9092`, `[fdff:ffff:ffff:ffff:ffff:ffff:ffff]:9092`.
컨슈머 그룹	이 로그 소스가 속한 이용자 그룹을 식별하는 고유 문자열 또는 레이블입니다. Kafka 주제에 게시되는 각 레코드는 각 등록 이용자 그룹 내의 한 이용자 인스턴스로 전달됩니다. Kafka는 이러한 레이블을 사용하여 그룹에 있는 모든 이용자 인스턴스에서 레코드의 로드 밸런스를 유지합니다.
주제 등록 방법	Kafka 주제를 등록하는 데 사용하는 방법입니다. 주제 목록 옵션을 사용하여 특정 주제 목록을 지정하십시오. 사용 가능한 주제에 대해 일치시킬 정규식을 지정하려면 정규식 패턴 일치 옵션을 사용하십시오.
토픽 목록	등록할 주제 이름 목록. 목록은 쉼표로 구분해야 합니다 (예: `Topic1,Topic2,Topic3` ). 이 옵션은 주제 등록 방법 옵션에 대해 주제 목록이 선택된 경우에만 표시됩니다.
주제 필터 패턴	등록할 주제와 일치되는 정규식. 이 옵션은 주제 등록 방법 옵션에 대해 정규식 패턴 일치가 선택된 경우에만 표시됩니다.
SASL 인증 사용	이 옵션은 SASL 인증 구성 옵션을 표시합니다. 클라이언트 인증 없이 사용되는 경우 /opt/qradar/conf/trusted_certificates/ 디렉토리에 서버 인증서 사본을 배치해야 합니다.
SASL 메커니즘	Kafka 구성과 호환 가능한 SASL 메커니즘을 선택하십시오. `PLAIN` `SCRAM-SHA-256` `SCRAM-SHA-512`
SASL 사용자 이름	SASL 인증에 사용되는 사용자 이름입니다.
SASL 비밀번호	SASL 인증에 사용되는 비밀번호입니다.
SSL 사용	Kafka 구성이 SSL (TLS) 암호화를 지원하거나 필요로 하는 경우 이를 사용으로 설정하려면 이 옵션을 선택하십시오.
클라이언트 인증 사용	클라이언트 인증 구성 옵션을 표시합니다. SSL 사용 매개변수를 사용으로 설정하고 인증 및 데이터 전송에 SSL (TLS) 을 사용하는 경우에만 이 옵션을 사용으로 설정할 수 있습니다.
TLS 프로토콜	이 프로토콜에 허용되는 TLS 버전입니다. 클라이언트는 서버에 대해 선택한 버전과 동일한 버전을 사용하여 요청을 보내야 합니다. TLSv1.3 QRadar 버전 7.5.0 UP5 이상에서 지원됩니다.
키 저장소/신뢰 저장소 유형	키 저장소 및 신뢰 저장소 유형의 아카이브 파일 형식입니다. 다음 옵션은 아카이브 파일 형식에 사용할 수 있습니다. JKS PKCS12
신뢰 저장소 파일 이름	신뢰 저장소 파일의 이름입니다. 신뢰 저장소는 /opt/qradar/conf/trusted_certificates/kafka/에 있어야 합니다. 파일에는 사용자 이름 및 비밀번호가 포함됩니다.
키 저장소 파일 이름	키 저장소 파일의 이름입니다. 키 저장소는 /opt/qradar/conf/trusted_certificates/kafka/에 있어야 합니다. 파일에는 사용자 이름 및 비밀번호가 포함됩니다.
게이트웨이 로그 소스로 사용	이 옵션을 사용하면 수집된 이벤트가 QRadar 트래픽 분석 엔진을 통과하고 적절한 로그 소스를 자동으로 발견할 수 있습니다.
로그 소스 ID 패턴	게이트웨이 로그 소스로서 사용 선택란이 선택되면 처리 중인 이벤트의 사용자 정의 로그 소스 ID를 정의합니다. 키-값 쌍은 사용자 정의 로그 소스 ID를 정의할 때 사용됩니다. 키는 ID 형식 문자열이며 이는 결과로 생성되는 소스 또는 오리진 값입니다. 값은 현재 페이로드를 평가하는 데 사용되는 연관된 정규식 패턴입니다. 이 값은 키를 추가로 사용자 정의하는 데 사용할 수 있는 캡처 그룹도 지원합니다. 여러 키-값 쌍은 새 행에 각 패턴을 입력하여 정의합니다. 여러 패턴은 나열되는 순서대로 평가됩니다. 일치하는 내용을 발견하면 사용자 정의 로그 소스 ID가 표시됩니다. 다음 예제에서는 다중 키-값 쌍 함수를 보여줍니다. 패턴 `VPC=\sREJECT\sFAILURE` `$1=\s(REJECT)\sOK` `VPC-$1-$2=\s(ACCEPT)\s(OK)` 이벤트 `{LogStreamName: LogStreamTest,Timestamp: 0,Message: ACCEPT OK,IngestionTime: 0,EventId: 0}` 결과로 생성되는 사용자 정의 로그 소스 ID VPC-ACCEPT-OK
고급 옵션 표시	Kafka 구성에 대한 선택적 고급 옵션을 표시합니다. 고급 옵션 값은 표시 여부에 관계없이 유효합니다.
페이로드 추출 사용	페이로드를 추출하여 이벤트 파이프라인으로 전송하려면 이 매개변수를 사용으로 설정하십시오. 이 매개변수는 Kafka 로그 레코드 내에 있는 경우 지정된 페이로드를 식별합니다. 새 행에 각 패턴을 입력하여 여러 정규식을 정의할 수 있습니다. 다중 페이로드 추출 패턴이 사용되는 경우 일치가 발견되고 추출된 페이로드가 리턴될 수 있을 때까지 순서대로 평가됩니다. 이 페이로드 추출은 문자 대체 전에 발생합니다.
페이로드 추출 정규식	QRadar에 보낼 수 있도록 Kafka 로그 레코드 내에서 지정된 페이로드를 식별하는 정규식입니다. 이 표현식은 캡처 그룹을 포함해야 하며 첫 번째 캡처 그룹을 새 페이로드로 사용합니다.
예측 구문 분석 사용	이 매개변수를 사용으로 설정하면 알고리즘이 로그 소스 ID 패턴을 추출하고 모든 이벤트에 대해 regex를 실행하지 않고 이벤트에서 페이로드를 추출하여 구문 분석 속도를 높입니다. 드문 경우지만 알고리즘이 올바르지 않은 예측을 작성할 수 있습니다. 높은 이벤트 비율을 수신할 것으로 예상되고 더 빠른 구문 분석이 필요한 로그 소스 유형에 대해서만 예측 구문 분석을 사용으로 설정하십시오.
문자 시퀀스 대체	이벤트 페이로드에 있는 특정 리터럴 문자 시퀀스를 실제 문자로 대체합니다. 하나 이상의 다음 옵션을 사용할 수 있습니다. 줄 바꾸기(CR LF) 문자(\r\n) 줄 바꾸기 문자(\n) 캐리지 리턴 문자(\r) 탭 문자(\t) 공백 문자(\s) JSON 데이터 이스케이프 해제 팁: 페이로드 추출 후에 전체 페이로드가 JSON 이스케이프 해제되도록 하려면 이 옵션을 선택하십시오. JSON 메시지의 이스케이프를 해제하면 구문 분석을 방지하는 문자가 메시지에서 제거됩니다. JSON 오브젝트에 임베드된 JSON 메시지를 추출하려는 경우 이 옵션을 사용으로 설정하십시오.
Kafka 이용자 특성 대체	Kafka 이용자에게 특정 구성 특성을 제공하는 데 사용할 수 있는 `key=value` 쌍의 목록입니다. 목록은 행당 하나의 쌍을 사용합니다. 예를 들어, `key=value` 쌍 `session.timeout.ms=10000` 은 세션 제한시간 (밀리초) 을 구성합니다. 사용 가능한 `key=value` 쌍의 목록은 Kafka 소비자 구성 문서 ( https://ibm.biz/kafkaconsumerconfigs )를 참조하세요. 이 필드에 입력되는 모든 매개변수는 로그 소스의 구성 단계 중에 설정된 이전 매개변수를 대체합니다. 이러한 매개변수에는 다음 예가 포함되지만 이에 제한되지는 않습니다. `fetch.max.bytes` `group.id` `ssl.enabled.protocols` 이 필드에 비밀 정보 값이 있는 비밀번호 유형 특성을 입력할 수 없습니다. 이러한 특성에는 다음 예제가 포함되지만 이에 제한되지 않습니다. `ssl.key.password` `ssl.key.password` `ssl.keystore.password` `ssl.truststore.password` `sasl.jaas.config` `ssl.truststore.certificates` `ssl.keystore.certificate.chain` `ssl.keystore.key` 개인 키 비밀번호, 신뢰 저장소 비밀번호, 키 저장소 비밀번호, 개인 키 비밀번호또는 SASL 비밀번호 필드를 사용하여 비밀번호 유형 Kafka 이용자 특성을 입력하십시오.
EPS 제한	QRadar 가 수집하는 초당 최대 이벤트 수입니다. 데이터 소스가 EPS 제한을 초과하면 데이터 콜렉션이 지연됩니다. 데이터는 여전히 수집된 후 데이터 소스가 EPS 제한을 초과하는 것을 중지할 때 수집됩니다.