Amazon AWS S3 REST API 通訊協定配置選項
Amazon AWS S3 REST API 通訊協定是作用中出埠通訊協定,可從 Amazon S3 儲存區收集 AWS CloudTrail 日誌。
請考量下列檔案路徑:
<Name>test-bucket</Name><Prefix>MyLogs/</Prefix><Marker>MyLogs/2018-8-9/2018-08-09T23-5925.955097.log.g</Marker><MaxKeys>1000</MaxKeys><IsTruncated>false</IsTruncated></ListBucketResult>
標記中檔案的完整名稱是 MyLogs/2018-8-9/2018-08-09T23-59-25.955097.log.gz ,資料夾名稱會寫入為 2018-8-9 ,而不是 2018-08-09。 當呈現 2018 年 9 月 10 日的資料時,此日期格式會造成問題。 排序後,日期會顯示為 2018-8-10 ,且檔案不會依時間順序排序:
2018-10-1
2018-11-1
2018-12-31
2018-8-10
2018-8-9
2018-9-1
在 2018 年 8 月 9 日的資料進入 QRadar®之後,您要等到 2018 年 9 月 1 日才會再次看到資料,因為日期格式中未使用前導零。 9 月之後,您將在 2019 年之前再次看到資料。 在日期 (ISO 9660) 中使用前導零,因此不會發生此問題。
透過使用前導零,檔案及資料夾會依時間順序排序:
2018-08-09
2018-08-10
2018-09-01
2018-10-01
2018-11-01
2018-12-01
日誌來源只能從一個區域擷取資料,因此請針對每一個區域使用不同的日誌來源。 當您使用「目錄字首」事件收集方法來配置日誌來源時,請在 Directory Prefix 值的檔案路徑中包含區域資料夾名稱。
| 參數 | 說明 |
|---|---|
| 通訊協定配置 | Amazon AWS S3 REST API |
| 日誌來源 ID | 輸入日誌來源的唯一名稱。 日誌來源 ID 可以是任何有效值,且不需要參照特定的伺服器。 日誌來源 ID 可以與 日誌來源名稱的值相同。 如果您已配置多個 Amazon AWS CloudTrail 日誌來源,則您可能想要將第一個日誌來源識別為 awscloudtrail1,將第二個日誌來源識別為 awscloudtrail2,並將第三個日誌來源識別為 awscloudtrail3。 |
| 鑑別方法 |
|
| 存取鍵 | 配置 AWS 使用者帳戶的安全認證時所產生的「存取金鑰 ID」。 如果您選取 存取金鑰 ID/秘密金鑰 或 假設 IAM 角色,則會顯示 存取金鑰 參數。 |
| 秘密金鑰 | 配置 AWS 使用者帳戶的安全認證時產生的「秘密金鑰」。 如果您選取 存取金鑰 ID/秘密金鑰 或 假設 IAM 角色,則會顯示 秘密金鑰 參數。 |
| 假設 IAM 角色 | 透過使用「存取金鑰」或 EC2 實例 IAM 角色進行鑑別來啟用此選項。 然後,您可以暫時假設存取權的 IAM 角色。 |
| 假設角色 ARN | 要假設之角色的完整 ARN。 它必須以 arn:開頭,且不能包含任何前導或尾端空格,或 ARN 內的空格。 如果您已啟用 假設 IAM 角色,則會顯示 假設角色 ARN 參數。 |
| 假設角色階段作業名稱 | 要採用之角色的階段作業名稱。 預設值為 QRadarAWSSession。 如果您不需要變更,請保留為預設值。 此參數只能包含大寫及小寫英數字元、底線或下列任何字元: =,.@- 如果您已啟用 假設 IAM 角色,則會顯示 假設角色階段作業名稱 參數。 |
| 假設角色外部 ID | 您可能需要在另一個帳戶中擔任角色的 ID。 您可以從角色所屬帳戶的管理者取得此值。 此值可以是任何字串,例如通行詞組、GUID 或帳號。 如需相關資訊,請參閱 如何在將 AWS 資源的存取權授與協力廠商時使用外部 ID (https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-user_externalid.html)。 如果您已啟用 假設 IAM 角色,則會顯示 假設角色外部 ID 參數。 |
| 事件格式 | AWS Cloud Trail JSON AWS 網路防火牆 AWS VPC 流程日誌 Apache Parquet
提示: 選擇 Apache Parquet 會將 Apache Parquet 檔案轉換為 JSON 事件。
Cisco Umbrella CSV LINEBYLINE W3C |
| 區域名稱 | SQS 佇列或 AWS S3 儲存區所在的區域。 範例: us-east-1、 eu-west-1、 ap-northeast-3 |
| 用作閘道日誌來源 | 選取此選項,以讓收集的事件流經 QRadar Traffic Analysis 引擎,並讓 QRadar 自動偵測一個以上日誌來源。 |
| 顯示進階選項 | 如果您要自訂事件資料,請選取此選項。 |
| 檔案型樣 | 當您將 顯示進階選項 設為「是」時,可以使用此選項。 鍵入符合您要取回之檔案的檔案型樣正規表示式; 例如 .*?\.json\.gz。 |
| 本端目錄 | 當您將 顯示進階選項 設為「是」時,可以使用此選項。 目標 Event Collector 上的本端目錄。 在 AWS S3 REST API 通訊協定嘗試擷取事件之前,該目錄必須存在。 |
| S3 端點 URL | 當您將 顯示進階選項 設為「是」時,可以使用此選項。 用來查詢 AWS S3 REST API 的端點 URL。 如果您的端點 URL 不同於預設值,請鍵入您的端點 URL。 預設值為 https://s3.amazonaws.com。 |
| 使用 S3 路徑樣式存取 | 強制 S3 要求使用路徑樣式存取。 AWS已淘汰此方法。 不過,當您使用其他 S3 相容 API 時,可能需要它。 例如,當儲存區名稱包含句點 (.) 時,會自動使用 https://s3.region.amazonaws.com/bucket-name/key-name 路徑樣式。 因此,此選項不是必要選項,但可以使用。 |
| 使用 Proxy | 如果 QRadar 使用 Proxy 來存取 Amazon Web Service ,請啟用 使用 Proxy。 如果 Proxy 需要鑑別,請配置 Proxy 伺服器、 Proxy 埠、 Proxy 使用者名稱及 Proxy 密碼 欄位。 如果 Proxy 不需要鑑別,請配置 Proxy IP 或主機名稱 欄位。 |
| 重複執行 | 進行輪詢以掃描新資料的頻率。 如果您是使用 SQS 事件收集方法,則 SQS Event Notifications 的最小值可以是 10 (秒)。 因為「SQS 佇列」輪詢可能更常發生,所以可以使用較低的值。 如果您使用「目錄字首」事件收集方法,則 使用特定字首 的最小值為 60 (秒) 或 1M。 因為對 AWS S3 儲存區的每個 listBucket 要求都會對擁有儲存區的帳戶產生成本,所以較小的重複出現值會增加成本。 鍵入時間間隔,以決定輪詢新資料的頻率。 時間間隔可以包括以小時 (H)、分鐘 (M) 或天 (D) 為單位的值。 例如, 2H = 2 小時, 15M = 15 分鐘, 30 = 秒。 |
| EPS 節流控制 | 每秒傳送至流程管線的事件數上限。 預設值為 5000。 請確定 EPS 節流控制 值高於送入速率,或資料處理可能落後。 |
下表說明使用「目錄字首」事件收集方法來收集審核事件的特定參數值:
| 參數 | 說明 |
|---|---|
| S3 收集方法 | 選取 使用特定字首。 |
| 儲存區名稱 | 儲存日誌檔的 AWS S3 儲存區名稱。 |
| 目錄字首 | AWS S3 儲存區上從中擷取 CloudTrail 日誌的根目錄位置; 例如 AWSLogs/<AccountNumber>/CloudTrail/<RegionName>/。 若要從儲存區的根目錄取回檔案,您必須在 目錄字首 檔案路徑中使用正斜線 (/)。 附註:
|
下表說明需要特定值才能使用 SQS 事件收集方法來收集審核事件的參數:
| 參數 | 說明 |
|---|---|
| S3 收集方法 | 選取 SQS Event Notifications。 |
| SQS 佇列 URL | 以 https://開頭的完整 URL ,適用於設定為從 S3接收 ObjectCreated 事件通知的「SQS 佇列」。 |