QRadar: GlusterFS マイグレーション・スクリプトが「 Failed to get store information on the deployment 」のエラーを検出する事象について

Troubleshooting

Problem

QRadar® のバージョン 7.4.2 へのアップグレードには、コンソールでマイグレーション・スクリプトを実行する必要があります。このスクリプトは、デプロイメント内のすべてのイベント・コレクター上にある高可用性( HA )ファイル・システムを GlusterFS から Distributed Replication Block Device ( DRBD )にマイグレーションします。(イベント・コレクターが実際に HA セットアップの一部であるかそうでないかは関係ありません。)

稀にパーティション表にある /store パーティションが使用できない場合、イベント・コレクターでスクリプトが失敗することがあります。

Symptom

マイグレーション・スクリプトの実行に失敗した際、次のエラー・メッセージが表示されます。

コンソール上のメッセージ:

Jul 15 10:14:23 [ERROR] Migration process did not start successfully for test_ec. Received a return code of 1.

イベント・コレクター上のメッセージ:

Jul 15 10:14:23 [WARNING] Could not locate store on LVM. Upgraded system detected
Jul 15 10:14:23 [ERROR] Failed to get store information on the deployment

Cause

QRadar が管理対象ホストを構築する場合、パーティション・スキームは使用可能なディスク・スペースの容量に依存します。ディスク・スペースが推奨値を下回る場合、QRadar は /store パーティションを作成しません。/store の代わりに、すべてのデータを「 / 」ディレクトリー内に保持します。

この事象は、GlusterFS マイグレーション・スクリプトが異常なパーティション・スキームがあるイベント・コレクターを検出した時に発生します。

Environment

バージョン 7.4.2 にアップグレード中の QRadar® イベント・コレクター

Diagnosing The Problem

スクリプトが 1 つまたはそれ以上のイベント・コレクターで失敗する場合、以下の点を確認してください。

コンソールでは、/var/log/remove_glusterfs.log に次のようなエラー・メッセージを表示します。

Jul 15 10:14:18 [WARNING] During migration to DRBD, event collection does not occur.
Jul 15 10:14:18 [WARNING] QRadar uses /store during the migration to DRBD. All other processes that use /store are terminated during migration.
Jul 15 10:14:18 [WARNING] The migration to DRBD restricts software updates to 7.4.2 or higher.
Jul 15 10:14:20 [INFO] Copying migration binary to test_ec
Jul 15 10:14:21 [INFO] Running migration precheck on: test_ec
Jul 15 10:14:23 [INFO] The following hosts require a migration from GlusterFS to DRBD: ['test_ec']
Jul 15 10:14:23 [INFO] Starting the migration process on: test_ec from console
Jul 15 10:14:23 [ERROR] Migration process did not start successfully for test_ec. Received a return code of 1.

Jul 15 10:14:23 [ERROR] Migration failed for the applicable host.

上記のスニペットでは、test_ec という特定のイベント・コントローラーに関連することに留意してください。事象が発生する可能性のあるイベント・コレクターが他にもある場合は、同様の手順を行ってください。
前述 1. (test_ec の例)のエラー・メッセージがあるイベント・コレクター上の /var/log/remove_glusterfs.log ファイルで以下のメッセージを確認します。

Jul 15 10:14:22 [INFO] Migration needed on the EC(s)
Jul 15 10:14:23 [INFO] Checking for drbd_metadata space
Jul 15 10:14:23 [INFO] Creating tmp drbd conf to verify the drbd metadata space
Jul 15 10:14:23 [WARNING] Could not locate store on LVM. Upgraded system detected
Jul 15 10:14:23 [ERROR] Failed to get store information on the deployment
コンソールおよびイベント・コレクターのメッセージが前述 1. と 2. の各メッセージに一致する場合は、事象が発生したイベント・コレクターで以下のコマンドを実行します。
```
df -h 
lsblk 
```
注: コマンドの出力結果および /store パーティションがあるかどうかを確認してください。例えば、以下の出力例では、/store パーティションは欠落しています。

[root@test_ec ]# df -h
Filesystem                        Size Used Avail Use% Mounted on
/dev/mapper/rootrhel-root          29G 5.8G   23G 21% /
devtmpfs                           12G     0   12G   0% /dev
tmpfs                              12G 8.0K   12G   1% /dev/shm
tmpfs                              12G   73M   12G   1% /run
tmpfs                              12G     0   12G   0% /sys/fs/cgroup
/dev/sda2                        1014M 226M 789M 23% /boot
/dev/sda3                          32G 4.1G   28G 13% /recovery
/dev/mapper/rootrhel-home        1014M   33M 982M   4% /home
/dev/mapper/rootrhel-tmp          3.0G   33M 3.0G   2% /tmp
/dev/mapper/rootrhel-opt           13G 3.1G 9.5G 25% /opt
/dev/mapper/rootrhel-storetmp      15G   42M   15G   1% /storetmp
/dev/mapper/rootrhel-var          5.0G 164M 4.9G   4% /var
/dev/mapper/rootrhel-varlog        15G 146M   15G   1% /var/log
/dev/mapper/rootrhel-varlogaudit 3.0G   47M 3.0G   2% /var/log/audit
tmpfs                             2.4G     0 2.4G   0% /run/user/0

[root@test_ec ]# lsblk
NAME                     MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda                        8:0    0 120G 0 disk
├─sda1                     8:1    0    1M 0 part
├─sda2                     8:2    0    1G 0 part /boot
├─sda3                     8:3    0   32G 0 part /recovery
├─sda4                     8:4    0   83G 0 part
│ ├─rootrhel-root        253:0    0 28.5G 0 lvm /
│ ├─rootrhel-storetmp    253:1    0   15G 0 lvm /storetmp
│ ├─rootrhel-tmp         253:2    0    3G 0 lvm /tmp
│ ├─rootrhel-home        253:3    0    1G 0 lvm /home
│ ├─rootrhel-opt         253:4    0 12.5G 0 lvm /opt
│ ├─rootrhel-varlogaudit 253:5    0    3G 0 lvm /var/log/audit
│ ├─rootrhel-varlog      253:6    0   15G 0 lvm /var/log
│ └─rootrhel-var         253:7    0    5G 0 lvm /var
└─sda5                     8:5    0    4G 0 part [SWAP]
sr0                       11:0    1 4.1G 0 rom

Resolving The Problem

この事象を解決する唯一の方法は、適切な容量のストレージでイベント・コレクターをリビルドすることです。必要なストレージの最小限の容量は 256 GB になります。ハードウェア前提条件の詳細については、「 7.4 インストール・ガイド」をご参照ください。

手順: デプロイメント全体をアップグレードする直前に、/store パーティションが欠落している各イベント・コレクターで以下の手順を実行します。

デプロイメントからイベント・コレクターを削除し、「フル・デプロイ」を実行します。
事象が発生したイベント・コレクターに 256 GB 以上のスペースを割り当てて、バージョンがアップグレードされているイベント・コレクターをリビルドしてください。
デプロイメントの残りを該当のバージョンにアップグレードしたら、イベント・コレクターをデプロイメントに追加します。

注:

この手順では、イベント・コレクターを対象のバージョンに直接アップグレードすることを推奨しています。これは、イベント・コレクターがその対象バージョンの QRadar デプロイメントにのみ戻して追加できることを意味します。したがって、デプロイメント全体をアップグレードする直前に上記手順を実施することがイベント・コレクターに対して最小限のダウン時間で対応する最も良い方法です。
イベント・コレクターのリビルドは、イベント・コレクターのストレージ上で保持されているバッファーからデータの損失が発生します。最適に機能している QRadar 環境で、データの損失は最小限に留めます。

LINSTOR®、DRBD®、LINBIT® の文字およびロゴは、オーストリア、アメリカ合衆国およびその他の国における LINBIT の商標または登録商標です。

Related Information

QRadar: GlusterFS migration script encounters a "Failed to get store informatio…

Document Location

Worldwide

[{"Type":"MASTER","Line of Business":{"code":"LOB24","label":"Security Software"},"Business Unit":{"code":"BU059","label":"IBM Software w\/o TPS"},"Product":{"code":"SSBQAC","label":"IBM Security QRadar SIEM"},"ARM Category":[{"code":"a8m0z000000cwtdAAA","label":"Upgrade"}],"ARM Case Number":"","Platform":[{"code":"PF016","label":"Linux"}],"Version":"7.4.2"}]

Tips