Question & Answer
Question
一時的にライセンスの上限を超えた場合、イベントやフローはどのように処理されますか？
Answer
イベントとフローのバースト処理とは？
QRadar アプライアンスのバースト処理では、イベントまたはフローを一時キューに移動することにより、アプライアンスのライセンスを超えるデータのスパイクに対処することができます。この処理は、イベントおよびフロー・データの圧力バルブとして機能し、イベントおよびフロー・レートの一時的なライセンス超過によりアプライアンスがイベントをドロップすることを回避します。システムがライセンスの制限を超えると、バースト処理は、イベントのドロップが発生しないようにするために、余分なイベントまたはフロー・データを一時キューにシームレスに移動し始めます。この時点で、システム通知が生成され、アプライアンスがライセンスの制限を超えたことを QRadar 管理者に警告します。
一時キューのサイズは?
イベントおよびフローの一時キューのサイズは、それぞれ 5 GB です。キュー内のイベント・データまたはフロー・データは、常に一時キューに追加され、データが到着した順序で処理されます。これは、ファーストイン、ファーストアウト (FIFO) のデータ処理方式と考えることができます。 アプライアンスはデータの処理を継続し、容量を超えるデータは一時キューの終わりに追加されます。データ転送速度が低下すると、システムは、アプライアンスに割り振られたライセンス・キャパシティーと着信データ転送速度の差を利用して、一時キューを可能な限り迅速に削減します。一時キュー・ファイルの増減する速度は、使用可能なアプライアンスのライセンス・キャパシティー(リカバリー)、スパイクの大きさ、ペイロード・サイズ、スパイク時間の長さ、およびその他の要因に応じて変化します。
バースト処理の例
例えば、企業ネットワークに QRadar 1828 イベント/フロー・プロセッサー・アプライアンスがあり、1 秒当たり 5,000 件のイベント (EPS) と 1 分当たり 100,000 のフロー (FPM) が評価されています。 通常このアプライアンスは、平均 4,000 EPS のイベントと 70,000 のフローを見ます。午前 8 時から午前 9 時までの間に、この企業ネットワークでは、ユーザーのログイン、ネットワーク・リソースへのアクセス、E メールの収集、およびその他の通常のアクティビティーのために、イベントおよびフローのスパイクが発生します。この間、午前 9 時を中心とするピーク時に、アプライアンスには、6,000 EPS および 120,000 FPM のスパイクが見られます。アプライアンスは、過剰なイベントを認識し、通知を生成し、超過データは一時キューにプッシュされます。
図 1: 午前の営業時間中に見られるイベント・スパイクの例
図 2: 午前の営業時間中に見られるフロー・スパイクの例
システムはデータのスパイクからどのようにリカバリーしますか?
到着した順にイベントおよびフロー・データは一時キューで処理されます。これは古いデータが処理のためにキューの先頭にあり、最新のデータがキューの後ろにあることを意味します。 イベントまたはフロー・データのスパイクが終了すると、システムはアプライアンスのライセンス制限と現在のデータ転送速度との差を使用して、キューを空にします。 これは、上の図 1 および図 2 での「リカバリー」間隔として確認できます。 データの処理にかかる時間は、「リカバリー」レートと、処理する必要があるデータのボリュームによって異なります。リカバリー・レートは、アプライアンスのライセンス制限と着信データ速度の間のギャップとして定義されます。
例えば図 1 を見ると、このシナリオでは、システムは 5,000 EPS のライセンスを取得し、6,000 EPS のイベント・レートを経験します。これらのイベントは、システムがライセンスを超過している間、到着順にキューに入れられます。 イベント・レートが通常の ~4000 EPS に戻ると、システムは ~1,000 EPS の差を使用して 5 GB キューを空にします (キュー・サイズは QRadar のバージョンに依存します)。 同じロジックがフローにも適用されます ( ライセンス制限 - 現在の着信速度 = リカバリー・レート )。
割り当て済みライセンス・レートに到達すると、バッファー内にまだデータが入っている場合、QRadar スロットルはカウントを続行します。 つまり、ライセンス・レートを上回るイベントのバーストが開始されると、データを処理できるようになるまで、その超過分をディスクにバッファーリングし始めます。アプライアンスがライセンス超過となると、 event throttle filter と licensing から以下のメッセージが表示され、ログに出力され、管理者にアラートを出すためにシステム通知が生成されます。
Feb 18 16:14:32 ::ffff:172.16.77.108 [ecs-ec] [f06504fa-6e76-41e5-a399-758005564251/SequentialEventDispatcher]
com.q1labs.sem.monitors.SourceMonitor: [WARN] [NOT:0000004000][172.16.77.108/- -] [-/- -][EPS License] EPS on this system has been over license 120 times in the last 60 seconds (total of 846 times since the last process restart).
このメッセージが表示されるのは、最後の 1 分間の 75% 以上でライセンス超過が発生していた場合です。これはライセンスの制限に到達していることを示し、この割合が低下しない場合は、イベントがドロップされる可能性があります。 バースト・レートがメモリー内バッファーをいっぱいにするのに十分な長さである場合、ディスク・ストレージへの書き出しを開始します。
バースト処理のキューと相関分析
データは、ファーストイン、ファーストアウト (FIFO) で処理されます。データがパイプラインに到達すると、それはメモリー内のバッファーに入れられ、それからディスクに入れられますが、それは到着した順序で処理されます。 相関分析も機能しますが、データのバックログが処理されるときに遅延となる可能性があります。短い時間枠でのカウントまたは関数を使用したルール ( 例えば 30 秒以内に到着する X イベントなど) がある場合、大きなバーストは、キューで費やされた時間に起因し、処理遅延に繋がる可能性があることを考慮しておくことが重要です。
ライセンス・サイジングとそれが重要な理由
アプライアンスは、高いイベントまたはフロー・トラフィックの期間でも処理できるように、標準 EPS レートに余地を上乗せした大きさにする必要があります。 リカバリー・レートを小さくすることは重要です。これが大きいと、一時キューを空にするのに要する時間が長くなるためです。オフェンスは、データがアプライアンスによって処理されるまで生成されないため、一時キューを処理するのにかかる時間が長くなると、オフェンスが生成されるまでの時間も長くなります。
バースト処理は、バーストの調整を行うために着信イベントまたはフローのレートを増加させません。ご使用のシステムは、イベントを EPS 値よりも上の速度で処理しませんが、長期的に平均がお客様のライセンス・レートの範囲にとどまる限り、これらのイベントを受信して、既存のライセンス・レートを上回るデータを、ディスク・キュー内のバッファーに入れることができます。継続してライセンスの容量を超える着信データを扱う管理者は、最終的にはディスク・バッファーをいっぱいにします。イベントには、後で処理するために保管できるスピルオーバーの場所がなくなります。
平均 EPS または FPM が、アプライアンスのライセンス制限の境界に近いほど、一時キューからのイベントの処理にかかる時間が長くなり、キューの充てんに費やす時間も長くなります。通常操作中にライセンスの境界に近いシステムは、通常の動作状態に戻るまでに時間がかかります。例えば、10,000 EPS のライセンス制限を持つ QRadar アプライアンスは、平均 EPS レートが 9500 の場合、平均EPS レートが 7,000 に比べ、一時キューが空になるまでに時間がかかります。
キュー・サイズを大きくしても、超過したデータが一時キューの末尾に追加され、その処理を待つ必要があり、システムが引き続きライセンスの容量を超えるという問題は解決されません。 キューが大きいほど、キューに入れられたイベントがアプライアンスによって処理される時間が長くなります。 過剰なデータを扱うためのキーとなるのは、システムに十分なライセンス・ルームを持つことで、イベントまたはフロー・レートのスパイクをバランスさせて、キューに入れられたデータを迅速に処理できるようにすることです。
QRadar 7.3.0 とライセンス・プール
QRadar 7.3.0 から、新規にライセンス・プール・モデルが導入されました。QRadar はライセンス・プールとともに販売され、管理者は、デプロイメントに応じて適用できる全体的な EPS ライセンスを持つことができます。 管理者は、ライセンス・キャパシティーを割り当て、分散デプロイメントで必要に応じてそれを調整できます。ライセンス・プールの割り振りには、デプロイメント環境で、管理者による追加キャパシティーの設定が必要です。管理者は既存のアプライアンスのライセンスから、EPS/FPM へ割り振ることができます。これにより、アプライアンスのハードウェア・キャパシティーに割り当てられる容量から解放されます。 また、管理者は追加のライセンス・キャパシティーを購入できます。
QRadar ユーザー・インターフェースでは、ライセンスは割り振られるアプライアンスごとに2つの番号で表されます。現在のライセンス/全体のハードウェア容量です。
図 3: アプライアンスの現行ライセンス/ハードウェア容量を表示するユーザー・インターフェースの例
25,000 EPS をライセンス・プールに持っている場合、管理者は以下のように割り当てることができます：
- Console appliance: 5,000 / 100,000 EPS
- Event Processor: 10,000 / 40,000EPS
- Event Processor 2: 7, 500 / 40.000 EPS
------
残り: 2,500 EPS
管理者がライセンス割り振りを必要とする場合、既存のデプロイメント内から EPS ライセンスを移動したり、残りの一部を継続的にライセンスを引き継ぐアプライアンスへ割り当てるオプションがあります。ライセンス割り振りは、「管理」 > 「システムおよびライセンス管理」アイコンから管理できます。
図 4: デプロイメント内のアプライアンスに割り振ることができる、未割り振りのイベントおよびフローの例
ディスク・バッファーおよび使用状況
管理者は、システム通知を調べるか、現在のスピルオーバー・キュー・バッファーを表示して、システムがどの時点でどの程度データが入力されているか、またはどの程度ディスク・キューから除去されたかを判別することができます。
ディスク・バッファーが使用されると、QRadar は、スピルオーバー・イベントおよびフロー・データを書き込み、qradar.log に新しいスピルオーバー・メッセージを出力するか、使用中のファイルのカスタム・プロパティーを作成するか、または、Current events in spillover に対して、この情報を調べるためのすべての可能な方法を作成します。以下のメッセージは、特にイベント・バッファー (スピルオーバー) がアクティブで、ディスク・バッファーの残りの容量に対して通知される場合に出力されます。
Feb 27 01:19:10 ::ffff:172.x.x.x [ecs-ec] [[type=com.q1labs.semsources.filters.QueuedEventThrottleFilter][parent=EP1.example.com.lab:ecs-ec/EC/Processor1]] com.q1labs.semsources.filters.QueuedEventThrottleFilter: [INFO] [NOT:0000006000][172.16.194.61/- -] [-/- -] (Current events spillover: 1; Events added last 60 seconds: 109190; Events removed last 60 seconds: 109189; Files in use/max: 1/50; Remaining capacity: 10240000)
注記 ：qradar.log 内のスロットル・メッセージを表示するには、関連するイベント・コレクター上で ssh 接続を使用して以下のコマンドを実行します：tail -f /var/log/qradar.log | grep QueuedEventThrottleFilter
要約
過剰なイベントおよびフローに対するバースト処理は、システムがデータのスパイクを処理し、イベントまたはフロー・データをドロップから回避するのに役立ちます。データのスパイクに対処する最善の方法は、ご使用のネットワーク内のイベントおよびフロー・レートに対して、適切なサイズでデプロイメントすること、または管理者がシステム通知について検討し、通常の着信データ転送速度を満たすようにライセンス・プールを調整することです。 ご使用のシステムが継続的にライセンスを超えている場合、管理者はライセンスを超過していることを示すシステム通知を繰り返し受け取るでしょう。ご使用のシステムが継続的にライセンス超過を発生している状況では、QRadar Troubleshooting System Notifications Guide を確認するか、IBM 営業担当員にお問い合わせください。または、IBM サポートへご相談ください。
この Technote についてのご質問がある場合にはこちらもご参照ください：https://ibm.biz/qradarsupport
QRadar に関する情報は以下のリンクからも確認できますのでご参照ください。
Related Information
Was this topic helpful?
Document Information
Modified date:
16 August 2018
UID
ibm10725845