Protokollkonfigurationsoptionen für das Amazon AWS S3 -REST-API-Protokoll

Das Amazon AWS S3 REST API-Protokoll ist ein aktives abgehendes Protokoll, das AWS CloudTrail -Protokolle aus Amazon S3 -Buckets erfasst.

Hinweis: Es ist wichtig sicherzustellen, dass keine Daten fehlen, wenn Sie Protokolle von Amazon S3 erfassen, um sie mit einem angepassten DSM oder anderen nicht unterstützten Integrationen zu verwenden. Aufgrund der Art und Weise, wie die S3 -APIs die Daten zurückgeben, müssen alle Dateien in alphabetisch steigender Reihenfolge angegeben werden, wenn der vollständige Pfad aufgelistet wird. Stellen Sie sicher, dass der vollständige Pfadname ein vollständiges Datum und eine vollständige Uhrzeit im Format ISO9660 enthält (führende Nullen in allen Feldern und ein Datumsformat JJJJ-MM-TT).

Betrachten Sie den folgenden Dateipfad:

<Name>test-bucket</Name><Prefix>MyLogs/</Prefix><Marker>MyLogs/2018-8-9/2018-08-09T23-5925.955097.log.g</Marker><MaxKeys>1000</MaxKeys><IsTruncated>false</IsTruncated></ListBucketResult>

Der vollständige Name der Datei in der Markierung ist MyLogs/2018-8-9/2018-08-09T23-59-25.955097.log.gz und der Ordnername wird als 2018-8-9 anstelle von 2018-08-09geschrieben. Dieses Datumsformat verursacht ein Problem, wenn Daten für den 10. September 2018 präsentiert werden. Nach der Sortierung wird das Datum als 2018-8-10 angezeigt und die Dateien werden nicht chronologisch sortiert:

2018-10-1

2018-11-1

2018-12-31

2018-8-10

2018-8-9

2018-9-1

Nachdem die Daten für den 9. August 2018 in IBM QRadareingegeben wurden, werden Sie erst am 1. September 2018 wieder Daten sehen, da führende Nullen nicht im Datumsformat verwendet wurden. Nach September werden die Daten erst 2019 wieder angezeigt. Da im Datum führende Nullen verwendet werden (ISO 9660), tritt dieses Problem nicht auf.

Durch die Verwendung von führenden Nullen werden Dateien und Ordner chronologisch sortiert:

2018-08-09

2018-08-10

2018-09-01

2018-10-01

2018-11-01

2018-12-01

2018-12-31

Einschränkung:

Eine Protokollquelle kann Daten nur aus einer Region abrufen. Verwenden Sie daher für jede Region eine andere Protokollquelle. Schließen Sie den Namen des Regionsordners im Dateipfad für den Wert Directory Prefix ein, wenn Sie die Ereigniserfassungsmethode "Verzeichnispräfix" zum Konfigurieren der Protokollquelle verwenden.

In der folgenden Tabelle werden die allgemeinen Parameterwerte für die Erfassung von Prüfereignissen mithilfe der Erfassungsmethode mit Verzeichnispräfix oder der Erfassungsmethode mit SQS-Ereignissen beschrieben. Diese Erfassungsmethoden verwenden das Protokoll der Amazon AWS S3 -REST-API.

Tabelle 1 Allgemeine Protokollquellenparameter für das Amazon AWS S3 -REST-API-Protokoll mit der Verzeichnispräfixmethode oder der SQS-Methode
Parameter	Beschreibung
Protokollkonfiguration	Amazon AWS S3 -REST-API
Log Source Identifier (Protokollquellenkennung)	Geben Sie einen eindeutigen Namen für die Protokollquelle ein. Die Protokollquellenkennung kann ein beliebiger gültiger Wert sein und muss keinen bestimmten Server referenzieren. Die Protokollquellenkennung kann mit dem Wert für Protokollquellennameidentisch sein. Wenn Sie mehrere konfigurierte Protokollquellen pro DSM haben, stellen Sie sicher, dass Sie jedem einen eindeutigen Namen geben.
Authentifizierungsmethode	Zugriffsschlüssel-ID/geheimer Schlüssel Standardauthentifizierung, die von überall verwendet werden kann. Weitere Informationen zum Konfigurieren von Sicherheitsberechtigungsnachweisen finden Sie unter Sicherheitsberechtigungsnachweis für Ihr AWS -Benutzerkonto konfigurieren. IAM-Rolle der EC2 -Instanz Wenn Ihr verwalteter Host in einer AWS -Instanz EC2 ausgeführt wird, wird bei Auswahl dieser Option die IAM-Rolle aus den Instanzmetadaten verwendet, die der Instanz für die Authentifizierung zugeordnet sind. Es sind keine Schlüssel erforderlich. Diese Methode funktioniert nur für verwaltete Hosts, die innerhalb eines AWS EC2 -Containers ausgeführt werden.
Zugriffsschlüssel	Die Zugriffsschlüssel-ID, die beim Konfigurieren der Sicherheitsberechtigungsnachweise für Ihr AWS -Benutzerkonto generiert wurde. Wenn Sie Zugriffsschlüssel-ID/Geheimer Schlüssel oder IAM-Rolle übernehmenausgewählt haben, wird der Parameter Zugriffsschlüssel angezeigt.
Geheimer Schlüssel	Der geheime Schlüssel, der beim Konfigurieren der Sicherheitsberechtigungsnachweise für Ihr AWS -Benutzerkonto generiert wurde. Wenn Sie Zugriffsschlüssel-ID/Geheimer Schlüssel oder IAM-Rolle übernehmenausgewählt haben, wird der Parameter Geheimer Schlüssel angezeigt.
IAM-Rolle annehmen	Aktivieren Sie diese Option, indem Sie sich mit einem Zugriffsschlüssel oder einer IAM-Rolle der EC2 -Instanz authentifizieren. Anschließend können Sie vorübergehend eine IAM-Rolle für den Zugriff übernehmen.
Rolle übernehmen-ARN (ARN)	Der vollständige ARN der Rolle, die übernommen werden soll Er muss mit `arn:` beginnen und darf keine führenden oder nachfolgenden Leerzeichen oder Leerzeichen innerhalb des ARN enthalten. Wenn Sie IAM-Rolle annehmenaktiviert haben, wird der Parameter ARN-Rolle annehmen angezeigt.
Sitzungsname für Rolle annehmen	Der Sitzungsname der Rolle, die angenommen werden soll Der Standardwert ist `QRadarAWSSession`. Übernehmen Sie den Standardwert, wenn Sie ihn nicht ändern müssen. Dieser Parameter darf nur alphanumerische Zeichen in Groß-und Kleinschreibung, Unterstreichungszeichen oder eines der folgenden Zeichen enthalten: `=,.@-` Wenn Sie IAM-Rolle annehmenaktiviert haben, wird der Parameter Sitzungsname übernehmen angezeigt.
Externe ID der Rolle annehmen	Eine Kennung, die Sie möglicherweise benötigen, um eine Rolle in einem anderen Account zu übernehmen Sie erhalten diesen Wert beim Administrator des Kontos, zu dem die Rolle gehört. Dieser Wert kann eine beliebige Zeichenfolge sein, z. B. eine Kennphrase, eine GUID oder eine Kontonummer. Weitere Informationen finden Sie unter How to use an external ID when granting access to your AWS resources to a third party (https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-user_externalid.html). Wenn Sie IAM-Rolle annehmenaktiviert haben, wird der Parameter Externe ID der Rolle annehmen angezeigt.
ErfassungsmethodeS3	SQS Event Notifications Fragt eine SQS-Warteschlange ab, die ObjectCreated -Benachrichtigungen enthält, die in den S3 -Ordnern Ihrer Wahl konfiguriert sind. Laden Sie anschließend die Dateien, die in der Benachrichtigung referenziert werden, aus dem S3 -Bucket herunter und verarbeiten Sie sie. Sie können entweder eine einzelne Warteschlange oder separate Warteschlangen für mehrere Buckets und Konten verwenden. Diese Entscheidung hängt von Ihrer Konfiguration ab. Weitere Informationen finden Sie in Tabelle 3. Bestimmtes Präfix verwenden Protokolle innerhalb des angegebenen Ordners werden verarbeitet. Bei CloudTrail -Protokollquellen darf das Präfix nur für ein einzelnes Konto oder eine einzelne Region gelten. Bei anderen Protokollquellen muss das Präfix auf ein einzelnes Verzeichnis verweisen, das Dateien mit Zeitmarken des Typs ISO8601 am Beginn jedes Dateinamens enthält. Die Zeitmarke in jedem Dateinamen stellt sicher, dass das Protokoll neue Ereignisse mit dieser Methode erfasst. Weitere Informationen finden Sie in Tabelle 2.
Regionsname	Die Region, in der sich die SQS-Warteschlange oder das S3 -Bucket AWS befindet. Beispiel: us-east-1, eu-west-1, ap-northeast-3
Ereignisformat	Wählen Sie das Format der in den Dateien enthaltenen Ereignisse aus. AWS CloudTrail JSON Dateien, die Ereignisse im JSON-Format für Amazon Cloud Trail enthalten (nur.json.gz -Dateien). LINEBYLINE Unformatierte Protokolldateien, die einen Datensatz pro Zeile enthalten Die Komprimierung mit gzip (.gz oder .gzip) und zip (.zip) wird unterstützt. AWS VPC-Datenflussprotokolle Dateien, die AWS native/OCSF-VPC-Datenflussprotokolle enthalten (nur.txt.gz -oder gz.parquet -Dateien) Mit dieser Option werden Datenflüsse an die Registerkarte Netzaktivität in QRadargesendet. Die konfigurierte Protokollquelle zeigt keine Zeit des letzten Ereignisses an, da die Ausgabe Flussdaten enthält. AWS Network Firewall-Protokolle Dateien, die AWS Network Firewall Alert-oder Datenflussprotokolle enthalten. Diese Option sendet Datenflussprotokolle an die Registerkarte Netzaktivität und sendet Alertprotokolle als Ereignisse an die Registerkarte Protokollaktivität in QRadar. Das Amazon AWS Network Firewall DSM analysiert die Protokolle. Tipp: Wenn Ihr System nicht für Datenflüsse lizenziert ist, verwenden Sie den Prozessor LINEBYLINE , damit DSM die AWS Network Firewall-Protokolle analysieren kann. W3C Zur Verwendung mit Cisco Cloud Web Services DSM (nur.gz -Dateien). Cisco SSE CSV Zur Verwendung mit Cisco Umbrella DSM (nur.gz -Dateien). Apache Parquet Wählen Sie diese Option aus, um Apache Parquet -Dateien in JSON-Ereignisse zu konvertieren (nur.gz.parquet -und .parquet -Dateien). Allgemeine CSV Verarbeitet Dateien, die CSV-Daten mit einer Kopfzeile enthalten, zu einer strukturierten Schlüssel-Wert-Paar-Ausgabe. Sie können zwischen einer JSON- oder einer Name-Wert-Paar-Ausgabe wählen. Die Komprimierung mit gzip (.gz oder .gzip) und zip (.zip) wird unterstützt.
CSV-Daten enthalten eine Kopfzeile	Die nach S3 exportierten Protokolle enthalten eine CSV-Kopfzeile. Diese Option ist für Cisco SSE-Protokolle erforderlich, aber optional für ältere Cisco Umbrella dnslogs, proxylogs und iplogs.
CSV-Trennzeichen	Das Begrenzungszeichen für die CSV-Quelldaten. Wenn Sie im Parameter Ereignisformat die Option Generisches CSV wählen, können Sie diesen Parameter konfigurieren.
Ausgabeformat	Wählen Sie, wie die Ausgabe in Schlüssel und Werte formatiert werden soll. Das JSON-Format unterstützt die Ausgabe eines flachen JSON mit Kopfzeilennamen und -werten. Beispiel: `{ "header1" : "value1", "header2" : "value2" }`. Das Name-Wert-Format erzeugt Name=Wert-Paare, die durch Tabulatoren getrennt sind. Beispiel: `header1=value1<tab>header2=value2` Wenn Sie W3C oder Generic CSV im Parameter Ereignisformat wählen, können Sie diesen Parameter konfigurieren.
Leere Felder unterdrücken	Setzen Sie diese Option auf false, um Namen für alle Felder zu erzeugen. Mit dieser Option werden Felder in der Ausgabe ausgelassen, deren Wert als leer gilt, um die Ausgabegröße zu verringern. Dazu gehören eine leere Zeichenkette, ein Wert, der nur Leerzeichen enthält, oder ein Wert, der aus einem einzelnen Bindestrich (-) besteht. Wenn Sie W3C oder Generic CSV im Parameter Ereignisformat wählen, können Sie diesen Parameter konfigurieren.
Hostname des Datenflussziels	Der Name des Datenflussprozessors, an den die Datenflussprotokolle von VPC Flow oder AWS Network Firewall gesendet werden. Wenn Sie AWS VPC Flow Logs oder AWS Network Firewall im Parameter Ereignisformat auswählen, können Sie diesen Parameter konfigurieren.
Datenflusszielport	Der Port des Datenflussprozessors, an den die Datenflussprotokolle des VPC-Datenflusses oder der AWS -Netzfirewall gesendet werden. Wenn Sie AWS VPC Flow Logs oder AWS Network Firewall im Parameter Ereignisformat auswählen, können Sie diesen Parameter konfigurieren.
Als Gateway-protokollquelle Verwenden	Wählen Sie diese Option aus, damit die erfassten Ereignisse durch die QRadar Traffic Analysis Engine fließen und QRadar automatisch eine oder mehrere Protokollquellen erkennt. Wenn Sie diese Option auswählen, kann das Muster für Protokollquellenkennung optional verwendet werden, um eine angepasste Protokollquellenkennung für Ereignisse zu definieren, die verarbeitet werden.
Protokollquellen-ID-Muster	Wenn Sie Als Gateway-Protokollquelle verwendenausgewählt haben, können Sie eine angepasste Protokollquellen-ID für Ereignisse definieren, die verarbeitet werden, und für Protokollquellen, die bei Bedarf automatisch erkannt werden sollen. Wenn Sie Log Source Identifier Patternnicht konfigurieren, empfängt QRadar Ereignisse als unbekannte generische Protokollquellen. Verwenden Sie Schlüssel/Wert-Paare, um die angepasste Protokollquellen-ID zu definieren. Der Schlüssel ist die ID-Formatzeichenfolge, bei der es sich um den resultierenden Quellen-oder Ursprungswert handelt. Der Wert ist das zugehörige Muster für reguläre Ausdrücke, das zum Auswerten der aktuellen Nutzdaten verwendet wird. Dieser Wert unterstützt auch Erfassungsgruppen, die zur weiteren Anpassung des Schlüssels verwendet werden können. Definieren Sie mehrere Schlüssel/Wert-Paare, indem Sie jedes Muster in einer neuen Zeile eingeben. Mehrere Muster werden in der Reihenfolge ausgewertet, in der sie aufgelistet sind. Wenn eine Übereinstimmung gefunden wird, wird eine angepasste Protokollquellen-ID angezeigt. Die folgenden Beispiele zeigen mehrere Schlüssel/Wert-Paarfunktionen. Muster `VPC=\sREJECT\sFAILURE` `$1=\s(REJECT)\sOK` `VPC-$1-$2=\s(ACCEPT)\s(OK)` Ereignisse `{LogStreamName: LogStreamTest,Timestamp: 0,Message: ACCEPT OK,IngestionTime: 0,EventId: 0}` Resultierende ID der angepassten Protokollquelle VPC-AKZEPTIEREN-OK
Predictive Parsing verwenden	Wenn Sie diesen Parameter aktivieren, extrahiert ein Algorithmus Protokollquellen-ID-Muster aus Ereignissen, ohne den regulären Ausdruck für jedes Ereignis auszuführen, was die Parsing-Geschwindigkeit erhöht. Tipp: In seltenen Fällen kann der Algorithmus falsche Vorhersagen treffen. Aktivieren Sie das vorausschauende Parsing nur für Protokollquellentypen, von denen Sie erwarten, dass sie hohe Ereignisraten erhalten und ein schnelleres Parsing erfordern.
Erweiterte Optionen einblenden	Wählen Sie diese Option aus, wenn Sie die Ereignisdaten anpassen möchten.
Dateimuster	Diese Option ist verfügbar, wenn Sie Erweiterte Optionen anzeigen auf "Ja" setzen. Geben Sie einen regulären Ausdruck für das Dateimuster ein, das den Dateien entspricht, die Sie extrahieren möchten, z. B. .*?\.json\.gz.
Lokales Verzeichnis	Diese Option ist verfügbar, wenn Sie Erweiterte Optionen anzeigen auf "Ja" setzen. Das lokale Verzeichnis auf dem Zielereigniskollektor. Das Verzeichnis muss vorhanden sein, bevor das AWS S3 -REST-API-Protokoll versucht, Ereignisse abzurufen.
URL	Diese Option ist verfügbar, wenn Sie Erweiterte Optionen anzeigen auf "Ja" setzen. URL, die zur Abfrage S3 verwendet wird. Wenn Ihre URL von der Standard-URL abweicht, geben Sie Ihre URL ein. Der Standardwert ist `https://s3.amazonaws.com`.
S3 -Pfadstilzugriff verwenden	Erzwingt, dass S3 -Anforderungen den Zugriff im Pfadstil verwenden. Diese Methode ist in AWSveraltet. Sie kann jedoch erforderlich sein, wenn andere S3 -kompatible APIs verwendet werden. Beispiel: Der https://s3.region.amazonaws.com/bucket-name/key-name -Pfadstil wird automatisch verwendet, wenn ein Bucketname einen Punkt (.) enthält. Diese Option ist daher nicht erforderlich, kann jedoch verwendet werden.
Proxy verwenden	Wenn QRadar über einen Proxy auf den Amazon Web Service zugreift, aktivieren Sie Proxy verwenden. Wenn der Proxy eine Authentifizierung erfordert, konfigurieren Sie die Felder Proxy-Server, Proxy-Port, Proxy-Benutzernameund Proxy-Kennwort . Wenn für den Proxy keine Authentifizierung erforderlich ist, konfigurieren Sie das Feld Proxy-IP oder Hostname .
Wiederholung	Gibt an, wie oft ein Polling durchgeführt wird, um nach neuen Daten zu suchen Wenn Sie die SQS-Ereigniserfassungsmethode verwenden, kann SQS Event Notifications einen Mindestwert von 10 (Sekunden) haben. Da SQS-Warteschlangenabfragen häufiger auftreten können, kann ein niedrigerer Wert verwendet werden. Wenn Sie die Ereigniserfassungsmethode "Verzeichnispräfix" verwenden, hat Bestimmtes Präfix verwenden einen Mindestwert von 60 (Sekunden) oder 1M. Da jede listBucket -Anforderung an ein AWS S3 -Bucket Kosten für das Konto verursacht, das Eigner des Buckets ist, erhöht ein kleinerer Wiederholungswert die Kosten. Geben Sie ein Zeitintervall ein, um festzulegen, wie häufig die Abfrage nach neuen Daten durchgeführt wird. Das Zeitintervall kann Werte in Stunden (H), Minuten (M) oder Tagen (D) enthalten. Beispiel: 2H = 2 Stunden, 15M = 15 Minuten, 30 = Sekunden.
EPS-Regulierung	Die maximale Anzahl von Ereignissen pro Sekunde, die QRadar einpflegt. Wenn Ihre Datenquelle die EPS-Regulierung überschreitet, wird die Datenerfassung verzögert. Die Daten werden weiterhin erfasst und dann aufgenommen, wenn die Datenquelle die EPS-Regulierung nicht mehr überschreitet. Der Standardwert ist 5000.

In der folgenden Tabelle werden die spezifischen Parameterwerte zum Erfassen von Prüfereignissen mithilfe der Ereigniserfassungsmethode "Verzeichnispräfix" beschrieben:

Tabelle 2. Protokollquellenspezifische Parameter für das Amazon AWS S3 -REST-API-Protokoll mit der Methode 'Verzeichnispräfix'
Parameter	Beschreibung
ErfassungsmethodeS3	Wählen Sie Bestimmtes Präfix verwendenaus.
Bucketname	Der Name des AWS S3 -Buckets, in dem die Protokolldateien gespeichert werden.
Verzeichnispräfix	Die Rootverzeichnisposition im AWS S3 -Bucket, aus dem die CloudTrail -Protokolle abgerufen werden, z. B. AWSLogs/<`AccountNumber`>/CloudTrail/<`RegionName`>/. Zum Extrahieren von Dateien aus dem Stammverzeichnis eines Buckets müssen Sie einen Schrägstrich (/) im Dateipfad Verzeichnispräfix verwenden. Hinweis: Wenn Sie den Wert für Verzeichnispräfix ändern, wird die als persistent definierte Dateimarkierung gelöscht. Alle Dateien, die mit dem neuen Präfix übereinstimmen, werden bei der nächsten Pull-Operation heruntergeladen. Der Dateipfad Verzeichnispräfix darf nicht mit einem Schrägstrich (/) beginnen, es sei denn, es wird nur der Schrägstrich verwendet, um Daten aus dem Stammverzeichnis des Buckets zu erfassen. Wenn der Dateipfad Verzeichnispräfix zur Angabe von Ordnern verwendet wird, dürfen Sie den Dateipfad nicht mit einem Schrägstrich beginnen (verwenden Sie beispielsweise stattdessen folder1/folder2 ).

In der folgenden Tabelle werden die Parameter beschrieben, für die bestimmte Werte erforderlich sind, um Prüfereignisse mithilfe der SQS-Ereigniserfassungsmethode zu erfassen:

Tabelle 3. Protokollquellenspezifische Parameter des Amazon AWS S3 REST-API-Protokolls mit der SQS-Methode
Parameter	Beschreibung
ErfassungsmethodeS3	Wählen Sie SQS Event Notificationsaus.
URL	Die vollständige URL, die mit `https://` beginnt, für die SQS-Warteschlange, die so eingerichtet ist, dass sie Benachrichtigungen für ObjectCreated -Ereignisse von S3 erhält.