Opções de configuração de protocolo da API de REST do Amazon AWS S3

O protocolo de API REST do Amazon AWS S3 é um protocolo de saída ativo que coleta os logs AWS CloudTrail a partir de baldes Amazon S3 .

Nota: É importante garantir que nenhum dado esteja faltando quando você coletar logs do Amazon S3 para usar com um DSM customizado ou outras integrações não suportadas. Devido à maneira como as APIs do S3 retornam os dados, todos os arquivos devem estar em uma ordem alfabeticamente crescente quando o caminho completo estiver listado. Certifique-se de que o nome do caminho completo inclua uma data e hora completas no formato ISO9660 (zeros à esquerda em todos os campos e um formato de data AAAA-MM-DD).

Considere o caminho de arquivo a seguir:

<Name>test-bucket</Name><Prefix>MyLogs/</Prefix><Marker>MyLogs/2018-8-9/2018-08-09T23-5925.955097.log.g</Marker><MaxKeys>1000</MaxKeys><IsTruncated>false</IsTruncated></ListBucketResult>

O nome completo do arquivo no marcador é MyLogs/2018-8-9/2018-08-09T23-59-25.955097.log.gz e o nome da pasta é gravado como 2018-8-9 em vez de 2018-08-09. Esse formato de data causa um problema quando os dados para o 10 de setembro de 2018 são apresentados. Quando classificada, a data é exibida como 2018-8-10 e os arquivos não são classificados cronologicamente:

2018-10-1

2018-11-1

2018-12-31

2018-8-10

2018-8-9

2018-9-1

Depois que os dados para 9 de agosto de 2018 chegam ao IBM QRadar, você não verá os dados novamente até 1 de setembro de 2018 porque os zeros iniciais não foram usados no formato de data. Depois de setembro, você não verá os dados novamente até 2019. Zeros à esquerda são usados na data (ISO 9660) para que esse problema não ocorra.

Usando zeros à esquerda, arquivos e pastas são classificados cronologicamente:

2018-08-09

2018-08-10

2018-09-01

2018-10-01

2018-11-01

2018-12-01

2018-12-31

Restrição:

Uma origem de log pode recuperar dados de apenas uma região, portanto, use uma origem de log diferente para cada região. Inclua o nome da pasta da região no caminho de arquivo para o valor Directory Prefix ao utilizar o método de coleta de eventos do Diretório Prefixo para configurar a fonte de log.

A tabela a seguir descreve os valores de parâmetros comuns para coletar eventos de auditoria usando o método de coleção de Prefixo de diretório ou o método de coleção de eventos SQS. Esses métodos de coleta usam o protocolo da API de REST do Amazon AWS S3.

Tabela 1. Amazon AWS S3 API REST API parâmetros comuns de fonte de log com o método Prefixo do Directory ou o método SQS
Parâmetro	Descrição
Configuração de protocolo	API REST do Amazon AWS S3
Identificador de Fonte de Log	Digite um nome exclusivo para a origem de log. O Identificador de Origem de Log pode ser qualquer valor válido e não precisa fazer referência a um servidor específico. O Identificador de Origem de Log pode ter o mesmo valor que o Nome da Origem de Log. Se você tiver mais de uma origem de log configurada por DSM, certifique-se de fornecer a cada um um nome exclusivo..
Método de autenticação	ID da Chave de Acesso / Chave Secreta Autenticação padrão que pode ser usada de qualquer lugar. Para obter mais informações sobre a configuração de credenciais de segurança, consulte Configurando credenciais de segurança para sua conta de usuário AWS. Função do IAM de Instância do EC2 Caso seu host gerenciado esteja em execução em uma instância do AWS EC2, ao escolher essa opção, a função do IAM designada à instância nos metadados de instância é usada para autenticação. Nenhuma chave é necessária. Esse método funciona somente para hosts gerenciados em execução em um contêiner do AWS EC2.
Chave de acesso	O ID da chave de acesso que foi gerado quando você configurou as credenciais de segurança para sua conta do usuário do AWS. Se você tiver selecionado ID da chave de acesso/Chave secreta ou Assumir função do IAM, o parâmetro Access Key será exibido.
Chave secreta	A Chave secreta que foi gerada quando você configurou as credenciais de segurança para sua conta do usuário do AWS. Se você tiver selecionado ID da chave de acesso/Chave secreta ou Assumir função do IAM, o parâmetro Secret Key será exibido.
Assumir uma função do IAM	Ative esta opção para se autenticar com uma chave de acesso ou função do IAM de instância do EC2. Em seguida, será possível assumir temporariamente uma Função do IAM para acesso.
Assumir ARN de função	O ARN completo da função a assumir. Ele deve começar com `arn:` e não pode conter nenhum espaço inicial ou final, nem espaços dentro do ARN. Se você tiver ativado Assumir uma função do IAM, o parâmetro Assume Role ARN será exibido.
Assumir o Nome da Sessão de Função	O nome da sessão do papel a ser assumido. O padrão é `QRadarAWSSession`. Deixe como padrão se você não precisar mudá-lo. Esse parâmetro pode conter apenas caracteres alfanuméricos maiúsculos e minúsculos, sublinhados ou qualquer um dos caracteres a seguir: `=,.@-` Se você tiver ativado Assumir uma função do IAM, o parâmetro Assume Role Session Name será exibido.
Assumir Função Externa ID	Um identificador que você pode precisar para assumir um papel em outra conta. Você recebe esse valor do administrador da conta a qual o papel pertence. Esse valor pode ser qualquer string, como um passphrase, GUID ou número da conta. Para obter mais informações, consulte Como usar um ID externo ao conceder acesso aos seus recursos AWS a uma terceira parte (https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-user_externalid.html). Se você ativou Assume uma Função IAM, o parâmetro Assume Role ID Link externo será exibido.
Método de coleção S3	Notificações de eventos SQS Pesquise uma Fila SQS que contém notificações ObjectCreated que são configuradas nas pastas S3 de sua escolha Em seguida, faça download e processe os arquivos que são referenciados na notificação a partir do depósito S3 . É possível usar uma única fila ou filas separadas para cobrir vários depósitos e contas. Essa decisão depende da sua configuração Para obter mais informações, consulte a Tabela 3 Usar um Prefixo Específico Os registros dentro da pasta especificada são processados Para origens de log CloudTrail , o prefixo deve ser apenas para uma conta ou região única. Para outras origens de log, o prefixo deve apontar para um único diretório que contenha arquivos com registros de data e hora ISO8601 no início de cada nome de arquivo.. O registro de data e hora em cada nome do arquivo assegura que o protocolo colete novos eventos com esse método Para obter mais informações, consulte Tabela 2.
Nome da região	A região na qual a fila do SQS ou o depósito do AWS S3 está. Exemplo: us-east-1, eu-west-1, ap-northeast-3
Formato de Evento	Escolha o formato dos eventos que estão contidos no arquivo. AWS CloudTrail JSON Arquivos que contêm eventos formatados JSON para o Amazon Cloud Trail (somente arquivos.json.gz ). LINEBYLINE Arquivos de log bruto que contêm um registro por linha. A compactação com gzip (.gz ou .gzip) e zip (.zip) é suportada. Logs de fluxo do AWS VPC Arquivos que contêm logs do AWS native / OCSF VPC Flow (somente arquivos.txt.gz ou gz.parquet ). Essa opção envia fluxos para a guia Atividade de rede em QRadar A origem de log configurada não mostra um Último horário do evento visto porque a saída é dados de fluxo Logs de firewall de rede do AWS Arquivos que contêm logs do AWS Network Firewall Alert ou Flow. Essa opção envia logs de fluxos para a guia Atividade de rede e envia logs de alerta como eventos para a guia Atividade de log no QRadar O DSM do Amazon AWS Network Firewall analisa os logs. Dica: se seu sistema não estiver licenciado para fluxos, use o processador LINEBYLINE para que o DSM possa analisar os logs do AWS Network Firewall. W3C Para uso com o DSM Cisco Cloud Web Services (somente arquivos.gz ). Cisco SSE CSV Para uso com o DSM Cisco Umbrella (somente arquivos.gz ). Apache Parquet Escolha essa opção para converter arquivos Apache Parquet em eventos JSON (somente arquivos.gz.parquet e .parquet ). CSV genérico Processa arquivos que contêm dados CSV com uma linha de cabeçalho em uma saída estruturada de pares de valores-chave. Você pode escolher entre JSON ou saída de par nome-valor. A compactação com gzip (.gz ou .gzip) e zip (.zip) é suportada.
Os dados CSV contêm uma linha de cabeçalho	Os registros exportados para S3 contêm uma linha de cabeçalho CSV. Essa opção é necessária para os registros do Cisco SSE, mas é opcional para os dnslogs, proxylogs e iplogs legados do Cisco Umbrella.
Delimitador de CSV	O caractere delimitador dos dados CSV de origem. Se você selecionar Generic CSV no parâmetro Event Format (Formato de evento ), poderá configurar esse parâmetro.
Formato de saída	Escolha como a saída deve ser formatada em chaves e valores. O formato JSON suporta a saída de um JSON simples de nomes e valores de cabeçalho. Por exemplo: `{ "header1" : "value1", "header2" : "value2" }` O formato Name-Value gera pares nome=valor separados por tabulações. Por Exemplo: `header1=value1<tab>header2=value2` Se você selecionar W3C ou Generic CSV no parâmetro Event Format (Formato de evento ), você poderá configurar esse parâmetro.
Suprimir campos vazios	Defina essa opção como false para gerar nomes para todos os campos. Essa opção omite os campos da saída em que o valor é considerado vazio para reduzir o tamanho da saída. Isso incluiria uma cadeia de caracteres vazia, um valor que contém apenas espaço em branco ou um valor que é um único hífen (-). Se você selecionar W3C ou Generic CSV no parâmetro Event Format (Formato de evento ), você poderá configurar esse parâmetro.
Nome do host de destino do fluxo..	O nome do host do processador de fluxo no qual os logs de fluxo do VPC Flow ou do AWS Network Firewall são enviados. Se você selecionar AWS VPC Flow Logs ou AWS Network Firewall no parâmetro Event Format , será possível configurar esse parâmetro.
Porta de Destino de Fluxo.	A porta do processador de fluxo na qual os logs de fluxo do VPC Flow ou do AWS Network Firewall são enviados Se você selecionar AWS VPC Flow Logs ou AWS Network Firewall no parâmetro Event Format , será possível configurar esse parâmetro.
Usar como uma origem de log do gateway	Selecione esta opção para que os eventos coletados fluam por meio do mecanismo de análise de tráfego do QRadar e para que o QRadar detecte automaticamente uma ou mais origens de log. Ao selecionar essa opção, o Padrão de identificador de origem do log pode ser usado para definir um Identificador de origem do log customizado para eventos sendo processados.
Padrão do Identificador de Origem de Log	Se você selecionou Usar como uma origem do log de gateway, será possível definir um identificador de origem do log customizado para eventos que estão sendo processados e para que as origens do log sejam descobertas automaticamente quando aplicável. Se você não configurar o Padrão Identificador de Origem de Log, o QRadar receberá eventos como origens de log genéricas desconhecidas. Use os pares chave-valor para definir o Identificador de origem de log customizado. A chave é a Sequência de formatação do identificador, que é o valor resultante ou o valor de origem. O valor é o padrão de expressão regular associado que é usado para avaliar a carga útil atual. Esse valor também suporta grupos de captura que podem ser usados para customizar ainda mais a chave. Defina vários pares chave-valor digitando cada padrão em uma nova linha. Vários padrões são avaliados na ordem em que são listados. Quando uma correspondência é localizada, um Identificador de origem de log customizado é exibido. Os exemplos a seguir mostram várias funções de par chave-valor. Padrões `VPC=\sREJECT\sFAILURE` `$1=\s(REJECT)\sOK` `VPC-$1-$2=\s(ACCEPT)\s(OK)` Eventos `{LogStreamName: LogStreamTest,Timestamp: 0,Message: ACCEPT OK,IngestionTime: 0,EventId: 0}` Identificador de origem de log customizado resultante VPC-ACCEPT-OK
Usar análise sintática preditiva	Se esse parâmetro for ativado, um algoritmo extrairá padrões de identificador de origem do log dos eventos sem executar o regex para cada evento, o que aumenta a velocidade de análise. Dica: Em circunstâncias raras, o algoritmo pode fazer predições incorretas Ative a análise sintática preditiva apenas para os tipos de origem do log para os quais espera receber altas taxas de eventos e que exigem análise sintática mais rápida.
Exibir opções avançadas	Selecione essa opção se desejar customizar os dados do evento.
Padrão do arquivo	Esta opção está disponível ao configurar Mostrar opções avançadas como Sim. Digite um regex para o padrão de arquivo que corresponde aos arquivos que deseja extrair; por exemplo, .*?\.json\.gz.
Diretório Local	Esta opção está disponível ao configurar Mostrar opções avançadas como Sim. O diretório local no coletor de eventos de destino. O diretório deve existir antes que o protocolo da API de REST do AWS S3 tente recuperar eventos.
URL de terminal S3	Esta opção está disponível ao configurar Mostrar opções avançadas como Sim. A URL de terminal usada para consultar a API de REST do AWS S3. Se a URL de seu terminal for diferente do padrão, digite-a. O padrão é `https://s3.amazonaws.com`.
Usar acesso ao estilo de caminho S3	Força as solicitações S3 a usarem o acesso ao estilo de caminho. Este método foi descontinuado pelo AWS. No entanto, ele pode ser necessário ao usar outras APIs compatíveis com S3. Por exemplo, https://s3.region.amazonaws.com/bucket-name/key-name path-style é usado automaticamente quando um nome de depósito contém um ponto (.). Portanto, essa opção não é necessária, mas pode ser usada.
Utilizar Proxy	Se o QRadar acessar o Amazon Web Service usando um proxy, ative Usar Proxy. Se o proxy requer autenticação, configure os campos Servidor proxy, Porta de proxy, Nome do usuário de proxy e Senha de proxy. Se o proxy não precisar de autenticação, configure o campo IP de proxy ou Nome do host.
Recorrência	Com que frequência é feita uma pesquisa para procurar novos dados. Se estiver usando o método de coleta de eventos SQS, Notificações de evento do SQS poderá ter um valor mínimo de 10 (segundos). Como a pesquisa da fila do SQS pode ocorrer com mais frequência, um valor menor pode ser usado. Se estiver usando o método de coleta de evento Prefixo de Diretório, Usar um prefixo específico terá um valor mínimo de 60 (segundos) ou 1M. Como cada solicitação listBucket para um depósito do AWS S3 incorre em um custo para a conta que possui o depósito, um valor menor de recorrência aumenta o custo. Digite um intervalo de tempo para determinar a frequência da pesquisa de novos dados. O intervalo de tempo pode incluir valores em horas (H), minutos (M) ou dias (D). Por exemplo, 2H = 2 horas, 15M = 15 minutos, 30 = segundos.
Regulador de EPS	O número máximo de eventos por segundo que o QRadar alimenta. Se sua origem de dados exceder o regulador EPS, a coleta de dados será atrasada. Os dados ainda são coletadas e, em seguida, alimentados quando a origem de dados para de exceder o regulador EPS. O padrão é 5000.

A tabela a seguir descreve os valores de parâmetros específicos para coletar eventos de auditoria usando o método de coleção de eventos de Prefixo de diretório:

Tabela 2. Amazon AWS S3 REST log protocolo log-specific parâmetros específicos com o método Prefixo do Directory
Parâmetro	Descrição
Método de coleção S3	Selecione Use um Prefixo específico.
Nome do depósito	O nome do depósito AWS S3 em que os arquivos de log estão armazenados.
Prefixo de Diretório	O local do diretório raiz no balde AWS S3 de onde os logs CloudTrail são recuperados; por exemplo, AWSLogs/<`AccountNumber`>/CloudTrail/<`RegionName`>/. Para extrair arquivos do diretório-raiz de um depósito, deve-se usar uma barra (/) no caminho do arquivo Prefixo do Diretório. Observação: Mudar o valor Prefixo do Diretório desmarca o marcador do arquivo persistido. Todos os arquivos que correspondem ao novo prefixo são transferidos por download no próximo pull. O caminho do arquivo Prefixo do Diretório não pode começar com uma barra (/), a menos que a somente a barra seja usada para coletar dados da raiz do depósito. Se o caminho do arquivo Prefixo do Diretório for usado para especificar pastas, não comece o caminho do arquivo com uma barra (ao invés disso, por exemplo, use folder1/folder2).

A tabela a seguir descreve os parâmetros que requerem valores específicos para coletar eventos de auditoria usando o método de coleção de eventos SQS:

Tabela 3. Amazon AWS S3 REST API protocolo log-parâmetros específicos com o método SQS
Parâmetro	Descrição
Método de coleção S3	Selecione Notificações de evento do SQS.
URL da fila do SQS	A URL completa, que começa com `https://`, para a fila do SQS configurada para receber notificações de eventos ObjectCreated do S3.