Amazon AWS S3 REST API 通訊協定配置選項

Amazon AWS S3 REST API 通訊協定是作用中出埠通訊協定,可從 Amazon S3 儲存區收集 AWS CloudTrail 日誌。

附註: 當您從 Amazon S3 收集日誌以與自訂 DSM 或其他不受支援的整合搭配使用時,請務必確保未遺漏任何資料。 由於 S3 API 傳回資料的方式,當列出完整路徑時,所有檔案必須按字母順序遞增。 請確定完整路徑名稱包含 ISO9660 格式的完整日期和時間 (所有欄位中的前導零和 YYYY-MM-DD 日期格式)。

請考量下列檔案路徑:

<Name>test-bucket</Name><Prefix>MyLogs/</Prefix><Marker>MyLogs/2018-8-9/2018-08-09T23-5925.955097.log.g</Marker><MaxKeys>1000</MaxKeys><IsTruncated>false</IsTruncated></ListBucketResult>

標記中檔案的完整名稱是 MyLogs/2018-8-9/2018-08-09T23-59-25.955097.log.gz ,資料夾名稱會寫入為 2018-8-9 ,而不是 2018-08-09。 當呈現 2018 年 9 月 10 日的資料時,此日期格式會造成問題。 排序後,日期會顯示為 2018-8-10 ,且檔案不會依時間順序排序:

2018-10-1

2018-11-1

2018-12-31

2018-8-10

2018-8-9

2018-9-1

在 2018 年 8 月 9 日的資料進入 QRadar®之後,您要等到 2018 年 9 月 1 日才會再次看到資料,因為日期格式中未使用前導零。 9 月之後,您將在 2019 年之前再次看到資料。 在日期 (ISO 9660) 中使用前導零,因此不會發生此問題。

透過使用前導零,檔案及資料夾會依時間順序排序:

2018-08-09

2018-08-10

2018-09-01

2018-10-01

2018-11-01

2018-12-01

2018-12-31
限制:

日誌來源只能從一個區域擷取資料,因此請針對每一個區域使用不同的日誌來源。 當您使用「目錄字首」事件收集方法來配置日誌來源時,請在 Directory Prefix 值的檔案路徑中包含區域資料夾名稱。

下表說明使用「目錄字首」收集方法或 SQS 事件收集方法來收集審核事件的一般參數值。 這些收集方法使用 Amazon AWS S3 REST API 通訊協定。
表 1. Amazon AWS S3 REST API 通訊協定使用 Directory Prefix 方法或 SQS 方法的一般日誌來源參數
參數 說明
通訊協定配置 Amazon AWS S3 REST API
日誌來源 ID

輸入日誌來源的唯一名稱。

日誌來源 ID 可以是任何有效值,且不需要參照特定的伺服器。 日誌來源 ID 可以與 日誌來源名稱的值相同。 如果您已配置多個 Amazon AWS CloudTrail 日誌來源,則您可能想要將第一個日誌來源識別為 awscloudtrail1,將第二個日誌來源識別為 awscloudtrail2,並將第三個日誌來源識別為 awscloudtrail3

鑑別方法
存取金鑰 ID/秘密金鑰
可從任何地方使用的標準鑑別。
如需配置安全認證的相關資訊,請參閱 配置 AWS 使用者帳戶的安全認證
EC2 實例 IAM 角色
如果受管理主機在 AWS EC2 實例上執行,則選擇此選項會使用指派給實例的實例 meta 資料中的 IAM 角色進行鑑別。 不需要任何金鑰。 此方法僅適用於在 AWS EC2 儲存器內執行的受管理主機。
存取鍵

配置 AWS 使用者帳戶的安全認證時所產生的「存取金鑰 ID」。

如果您選取 存取金鑰 ID/秘密金鑰假設 IAM 角色,則會顯示 存取金鑰 參數。

秘密金鑰

配置 AWS 使用者帳戶的安全認證時產生的「秘密金鑰」。

如果您選取 存取金鑰 ID/秘密金鑰假設 IAM 角色,則會顯示 秘密金鑰 參數。

假設 IAM 角色 透過使用「存取金鑰」或 EC2 實例 IAM 角色進行鑑別來啟用此選項。 然後,您可以暫時假設存取權的 IAM 角色。
假設角色 ARN 要假設之角色的完整 ARN。 它必須以 arn: 開頭,且不能包含任何前導或尾端空格,或 ARN 內的空格。

如果您已啟用 假設 IAM 角色,則會顯示 假設角色 ARN 參數。

假設角色階段作業名稱 要採用之角色的階段作業名稱。 預設值為 QRadarAWSSession。 如果您不需要變更,請保留為預設值。 此參數只能包含大寫及小寫英數字元、底線或下列任何字元: =,.@-

如果您已啟用 假設 IAM 角色,則會顯示 假設角色階段作業名稱 參數。

假設角色外部 ID 您可能需要在另一個帳戶中擔任角色的 ID。 您可以從角色所屬帳戶的管理者取得此值。

此值可以是任何字串,例如通行詞組、GUID 或帳號。

如需相關資訊,請參閱 如何在將 AWS 資源的存取權授與協力廠商時使用外部 ID (https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-user_externalid.html)。

如果您已啟用 假設 IAM 角色,則會顯示 假設角色外部 ID 參數。

事件格式

AWS Cloud Trail JSON

AWS 網路防火牆

AWS VPC 流程日誌

Apache Parquet
提示: 選擇 Apache Parquet 會將 Apache Parquet 檔案轉換為 JSON 事件。

Cisco Umbrella CSV

LINEBYLINE

W3C

區域名稱 SQS 佇列或 AWS S3 儲存區所在的區域。

範例: us-east-1、 eu-west-1、 ap-northeast-3

用作閘道日誌來源 選取此選項,以讓收集的事件流經 QRadar Traffic Analysis 引擎,並讓 QRadar 自動偵測一個以上日誌來源。
顯示進階選項 如果您要自訂事件資料,請選取此選項。
檔案型樣

當您將 顯示進階選項 設為「是」時,可以使用此選項。

鍵入符合您要取回之檔案的檔案型樣正規表示式; 例如 .*?\.json\.gz

本端目錄

當您將 顯示進階選項 設為「是」時,可以使用此選項。

目標 Event Collector 上的本端目錄。 在 AWS S3 REST API 通訊協定嘗試擷取事件之前,該目錄必須存在。

S3 端點 URL

當您將 顯示進階選項 設為「是」時,可以使用此選項。

用來查詢 AWS S3 REST API 的端點 URL。

如果您的端點 URL 不同於預設值,請鍵入您的端點 URL。 預設值為 https://s3.amazonaws.com

使用 S3 路徑樣式存取

強制 S3 要求使用路徑樣式存取。

AWS已淘汰此方法。 不過,當您使用其他 S3 相容 API 時,可能需要它。 例如,當儲存區名稱包含句點 (.) 時,會自動使用 https://s3.region.amazonaws.com/bucket-name/key-name 路徑樣式。 因此,此選項不是必要選項,但可以使用。

使用 Proxy

如果 QRadar 使用 Proxy 來存取 Amazon Web Service ,請啟用 使用 Proxy

如果 Proxy 需要鑑別,請配置 Proxy 伺服器Proxy 埠Proxy 使用者名稱Proxy 密碼 欄位。

如果 Proxy 不需要鑑別,請配置 Proxy IP 或主機名稱 欄位。

重複執行

進行輪詢以掃描新資料的頻率。

如果您是使用 SQS 事件收集方法,則 SQS Event Notifications 的最小值可以是 10 (秒)。 因為「SQS 佇列」輪詢可能更常發生,所以可以使用較低的值。

如果您使用「目錄字首」事件收集方法,則 使用特定字首 的最小值為 60 (秒) 或 1M。 因為對 AWS S3 儲存區的每個 listBucket 要求都會對擁有儲存區的帳戶產生成本,所以較小的重複出現值會增加成本。

鍵入時間間隔,以決定輪詢新資料的頻率。 時間間隔可以包括以小時 (H)、分鐘 (M) 或天 (D) 為單位的值。 例如, 2H = 2 小時, 15M = 15 分鐘, 30 = 秒。

EPS 節流控制 每秒傳送至流程管線的事件數上限。 預設值為 5000。

請確定 EPS 節流控制 值高於送入速率,或資料處理可能落後。

下表說明使用「目錄字首」事件收集方法來收集審核事件的特定參數值:

表 2. Amazon AWS S3 REST API 通訊協定日誌來源特定參數,使用 Directory Prefix 方法
參數 說明
S3 收集方法 選取 使用特定字首
儲存區名稱

儲存日誌檔的 AWS S3 儲存區名稱。

目錄字首

AWS S3 儲存區上從中擷取 CloudTrail 日誌的根目錄位置; 例如 AWSLogs/<AccountNumber>/CloudTrail/<RegionName>/

若要從儲存區的根目錄取回檔案,您必須在 目錄字首 檔案路徑中使用正斜線 (/)。

附註:
  • 變更 目錄字首 值會清除持續保存的檔案標記。 下一次取回時,會下載符合新字首的所有檔案。
  • 除非僅使用正斜線從儲存區根目錄收集資料,否則 目錄字首 檔案路徑不能以正斜線 (/) 開頭。
  • 如果使用 目錄字首 檔案路徑來指定資料夾,則檔案路徑開頭不能是正斜線 (例如,改用 folder1/folder2 )。

下表說明需要特定值才能使用 SQS 事件收集方法來收集審核事件的參數:

表 3. Amazon AWS S3 REST API 通訊協定日誌來源特定參數與 SQS 方法
參數 說明
S3 收集方法 選取 SQS Event Notifications
SQS 佇列 URL https://開頭的完整 URL ,適用於設定為從 S3接收 ObjectCreated 事件通知的「SQS 佇列」。