IBM Support

QRadar: ディスク・スペース使用の問題に関するトラブルシューティング

Troubleshooting


Problem

この記事では、最終的に QRadar のサービス停止につながる可能性のある、ディスク使用量が多い状況でのトラブルシューティングについて説明します。

Cause

デフォルトでは、QRadar におけるディスク監視は 60 秒ごとに実行され、以下のパーティション全体で高いディスク使用量がないかをチェックしています。
QRadar 7.3.x Critical Services Stop QRadar 7.2.x Critical Services Stop Article
/ Yes, at 95% / Yes, at 95% Technote #0881470
/store Yes, at 95% /store Yes, at 95% Technote #0888191
/transient Yes, at 95% /store/transient Yes, at 95% Technote #0888187
/storetmp Yes, at 95% /store/tmp Yes, at 95% Technote #0887307
/opt Yes, at 95% - - Technote #0886137
/var No - - -
/var/log No /var/log No Technote #0888227
/var/log/audit No - - -
/tmp No - - -
/home No - - -

これらのパーティションのいずれかが使用率 90% を超えると、警告通知が UI に送信されます。
また、/var/log/qradar.log に以下に示すようなログ が表示されることもあります。

Apr 14 18:10:31 ::ffff:9.55.221.216 [hostcontext.hostcontext] [cb4eb5ec-2cae-4075-ab9b-48d2e63dafd5/SequentialEventDispatcher] com.q1labs.hostcontext.ds.DiskSpaceSentinel: [WARN] [NOT:0150064102][9.55.221.216/- -] [-/- -]System disk resources above warning threshold

重要: 表にリストされているパーティションのうち、システム機能にとって重要なものについては、 パーティションが一杯となり、さらなる問題が引き起こされることを防ぐために、システムサービスが停止されます。最大しきい値通知は UI に送信され 、下記のように qradar.log で参照することができます。

Apr 14 18:15:31 ::ffff:9.55.221.216 [hostcontext.hostcontext] [cb4eb5ec-2cae-4075-ab9b-48d2e63dafd5/SequentialEventDispatcher] com.q1labs.hostcontext.ds.DiskSpaceSentinel: [ERROR] [NOT:0150064100][9.55.221.216/- -] [-/- -]Disk usage on at least one disk has exceeded the maximum threshold level of 0.95. The following disks have exceeded the maximum threshold level: /transient, . Processes are being shut down to prevent data corruption. To minimize the disruption in service, reduce disk usage on this system.

他のパーティションはクリティカルではないと表示されていますが、しきい値に達したときには、ディスク監視チェックが警告を出しますが、システムプロセスは停止せず、障害の原因になることもありません。

参考までに、システムがしきい値を下回って回復すると 通知がUIに送信され 次のようなメッセージが qradar.log に記録されます。

Apr 14 18:18:31 ::ffff:9.55.221.216 [hostcontext.hostcontext] [cb4eb5ec-2cae-4075-ab9b-48d2e63dafd5/SequentialEventDispatcher] com.q1labs.hostcontext.ds.DiskSpaceSentinel: [INFO] [NOT:0150066100][9.55.221.216/- -] [-/- -]System disk resources back to normal levels

   

Environment

パーティションに影響を与える RHEL 7 上の QRadar 7.3.x における、最も重要な変更点についての詳細は、以下を参照してください。 Technote 21998837 - QRadar: What's new about the RHEL 7 Operating System

   

Diagnosing The Problem

問題を診断するための最初のステップは、問題があるパーティションを判別することです。 df -h コマンドを使用すると、パーティションの出力を取得できます。 出力例を以下に示します。

Filesystem                        Size  Used Avail Use% Mounted on
/dev/mapper/rootrhel-root          13G  2.9G  9.7G  23% /
devtmpfs                           16G     0   16G   0% /dev
tmpfs                              16G   20K   16G   1% /dev/shm
tmpfs                              16G  1.7G   15G  11% /run
tmpfs                              16G     0   16G   0% /sys/fs/cgroup
/dev/mapper/rootrhel-var          5.0G  208M  4.8G   5% /var
/dev/sda3                          32G  4.1G   28G  13% /recovery
/dev/mapper/rootrhel-home        1014M   33M  982M   4% /home
/dev/sda2                        1014M  224M  791M  23% /boot
/dev/mapper/rootrhel-tmp          3.0G   53M  3.0G   2% /tmp
/dev/mapper/rootrhel-opt           13G  5.1G  7.5G  41% /opt
/dev/mapper/rootrhel-storetmp      15G   34M   15G   1% /storetmp
/dev/mapper/rootrhel-varlog        15G  3.6G   12G  24% /var/log
/dev/mapper/storerhel-transient    40G   40G  236M 100% /transient
/dev/mapper/rootrhel-varlogaudit  3.0G  205M  2.8G   7% /var/log/audit
tmpfs                             3.2G     0  3.2G   0% /run/user/0
/dev/drbd0                        158G   78G   80G  50% /store

上記から、/transient パーティションに問題があることがわかります。問題のあるパーティションを特定できたので、「問題の解決」セクションに移動し、パーティション上の大きなファイル / ディレクトリを見つける方法について詳しく調べてください。また、「原因」セクションでパーティションの問題に関するリンク先の記事を必ず確認してください。

   

Resolving The Problem

大きなファイルやディレクトリの一般的なトラブルシューティング:

一般的に、QRadar のパーティションでディスク使用量が多くなる理由は 2 つあります。

  • 大きなファイルでパーティションが満杯となってしまうこと。

  • 小さなファイルがたくさん蓄積されていくことで、パーティション上の特定のディレクトリが大きくなりすぎてしまうこと。

最初の状況では、find コマンドの使用が役立ちます。 find / partition -xdev -type f -size + 200M | xargs ls -lhSr を実行します。特定のパーティションで 200MB を超えるすべてのファイルの出力結果を取得します。出力例を以下に示します。

# find /transient -xdev -type f -size +200M | xargs ls -lhSr
-rw-r--r-- 1 root root 39G Apr 14 19:25 /transient/bigfile.img

注: 出力に基づいて、サイズをしきい値をより高い値または低い値に変更する必要がある場合がありますが、200M は最初に開始する値として適しています。

2 番目の状況では、du コマンドを使用して、特定のパーティションまたはディレクトリーの再帰的ディレクトリー・サイズを取得することができます。 -xch /partition | sort -h を実行します。 これにより、リストされた /partition/directory の再帰的ディレクトリー出力が戻され、最小の順にソートされて表示されます。

この出力を使用して、区画上で最もディスク・スペースを消費しているディレクトリーを識別し、そのディレクトリーを調べて、どのファイルがスペースを消費しているかを調べることができます。

QRadar でディスク・スペースを消費する大きなファイルを見つける方法についての詳細は、以下を参照してください。Technote 1988496 - QRadar: Finding files that use the most disk space.

   

   

Document Location

Worldwide

QRadar に関する情報は以下のリンクからも確認できますのでご参照ください。


[{"Business Unit":{"code":"BU059","label":"IBM Software w\/o TPS"},"Product":{"code":"SSBQAC","label":"IBM Security QRadar SIEM"},"Component":"","Platform":[{"code":"PF043","label":"Red Hat"}],"Version":"All Versions","Edition":"","Line of Business":{"code":"LOB24","label":"Security Software"}}]

Document Information

Modified date:
11 July 2019

UID

ibm10887591