Содержание


Установка и настройка кластера IBM GPFS на IBM AIX

Comments

Введение в GPFS

GPFS – это кластерная файловая система высокой производительности, которая может быть развернута в режимах распределенной параллельной работы дисков с совместным доступом и без него.

GPFS предоставляет одновременный высокоскоростной файловый доступ приложениям, выполняющимся на нескольких узлах кластеров, которые могут работать на платформах AIX 5L, Linux и Windows. GPFS предоставляет возможности файловой системы для хранения данных и инструментальные средства для управления GPFS-кластерами, что позволяет организовать совместный доступ к файловой системе из удаленных GPFS-кластеров.

Рисунок 1. Схема компонентов архитектуры GPFS-кластера
Рисунок 1. Схема компонентов архитектуры GPFS-кластера
Рисунок 1. Схема компонентов архитектуры GPFS-кластера

Необходимые пакеты и конфигурация на уровне операционной системы

Для настройки GPFS-кластера обязательны следующие наборы файлов:

  • gpfs.base
  • gpfs.crypto
  • gpfs.docs.data
  • gpfs.ext
  • gpfs.gskit
  • gpfs.msg.en_US

Базовые наборы файлов можно заказать, используя IBM Business Partner® ID. Более подробная информация приведена в справочном центре IBM.

Необходимые пакеты исправлений GPFS доступны на портале исправлений IBM Fix Central.

Конфигурация на уровне операционной системы

Имена хостов всех узлов должны быть доступны из каждого узла. Рассмотрим два узла со следующими параметрами:

Узел 1:
IP-адрес: 192.168.1.10
Имя хоста, полное доменное имя (FQDN): node1.mycompany.com
Краткое имя хоста: node1

Узел 2
IP-адрес: 192.168.1.11
Имя хоста, полное доменное имя (FQDN): node2.mycompany.com
Краткое имя хоста: node2

Все эти записи должны присутствовать в файле /etc/hosts./;/ всех узлов; также необходим как минимум один физический диск, совместно используемый всеми узлами.

Конфигурация аутентификации без пароля

Оптимальной методикой является настройка между всеми узлами аутентификации без пароля. В данном разделе рассматривается пример настройки аутентификации без пароля. Для аутентификации такого типа в Secure Shell (SSH) необходимо выполнить следующие действия:

  1. Установите в системе SSH-сервер и SSH-клиент.
  2. Сгенерируйте открытые ключи при помощи команды ssh-Keygen.
    [root@localhost ~]# ssh-keygen
    Generating public/private rsa key pair.
    Enter file in which to save the key (/root/.ssh/id_rsa):
    Created directory '/root/.ssh'.
    Enter passphrase (empty for no passphrase): (Just Enter Key for empty PWD)
    Enter same passphrase again:
    Your identification has been saved in /root/.ssh/id_rsa.
    Your public key has been saved in /root/.ssh/id_rsa.pub.
    The key fingerprint is:
    93:55:2d:d8:d7:a0:14:83:17:3f:d4:fc:46:a7:f6:90 root@localhost
  3. Эти ключи будут помещены в папку /root/.ssh/id_rsa.pub. Выполните аналогичные действия для всех узлов.
  4. Создайте файл authorized_keys в каталоге /root/.ssh/ и измените права доступа к нему на 644.
  5. Скопируйте содержимое id_rsa.pub в authorized_keys, чтобы создать возможность аутентификации без пароля внутри локальной системы. Повторите шаги 4 и 5 на всех узлах для обеспечения локальной аутентификации.
  6. Скопируйте содержимое id_rsa.pub на узлах node1, node2, node3, node4 и т.д. в файл authorization_Key.

    Этим действием завершается настройка аутентификации без пароля на всех узлах кластера.

  7. Наконец, протестируйте выполнение команды удаленно из локальной системы.

Успешное выполнение указанной команды подтверждает корректность настройки.

Установка пакета GPFS

Для установки пакета GPFS необходимо выполнить следующие действия:

  1. Выполните команду smit installp.
  2. На экране Install and Update Software выберите Install Software.
  3. Укажите путь к каталогу для копирования наборов файлов.
  4. Выберите наборы файлов и подтвердите принятие лицензионных соглашений.
  5. Обновите пакеты исправлений GPFS (если таковые имеются).
  6. Выполните команду smit update для обновления заплаток или пакетов исправлений.
  7. Укажите путь для установки пакета GPFS и нажмите Enter. Для этого можно также использовать следующую команду:
    install_all_updates -c -d ./ -Y

После успешной установки GPFS наборы файлов будут доступны в каталоге /usr/lpp/mmfs.

Примечание. Добавьте /usr/lpp/mmfs/bin в системный путь для упрощения использования команд GPFS в /etc/profile.

Настройка

Настройка кластера

Для настройки GPFS-кластера выполните следующие действия:

  1. Войдите на узел node1 как пользователь root и проверьте его принадлежность какому-нибудь другому кластеру, используя команду mmlscluster.
    # mmlscluster               
    mmlscluster: This node does not belong to a GPFS cluster.
    mmlscluster: Command failed. Examine previous error messages to determine cause.
  2. Настройте первичный узел кластера, используя команду mmcrcluster.
    mmcrcluster -N node1.mycompany.com:manager-quorum -p node1.mycompany.com 
    -r /usr/bin/ssh -R /usr/bin/scp
    Sat Jul 20 00:44:47 IST 2013 : mmcrcluster: Processing node node1
    mmcrcluster: Command successfully completed
    mmcrcluster: Warning: Not all nodes have proper GPFS license designations.
        Use the mmchlicense command to designate licenses as needed.
  3. Снова запустите команду mmlscluster для проверки успешности создания кластера.
    # /usr/lpp/mmfs/bin/mmlscluster
    GPFS cluster information
    ========================
      GPFS cluster name:         node1.mycompany.com
      GPFS cluster id:           7699862183884611001
      GPFS UID domain:           node1.in.ibm.com
      Remote shell command:      /usr/bin/ssh
      Remote file copy command:  /usr/bin/scp
    
    GPFS cluster configuration servers:
    -----------------------------------
      Primary server:    node1.mycompany.com
    Node  Daemon node name    IP address     Admin node name         Designation
    -----------------------------------------------------------------------------------------
     1    node1.mycompany.com 192.168.1.10   node1.mycompany.com    quorum-manager
  4. Установите GPFS-лицензию на первичном узле, используя команду mmchlicense.
    # mmchlicense server --accept -N node1
    The following nodes will be designated as possessing GPFS server licenses:
            node1.mycompany.com
    
    mmchlicense: Command successfully completed
  5. Запустите GPFS на одном из узлов в кластере GPFS, используя команду mmstartup. Если конфигурация кластера корректна, GPFS запустится автоматически на всех узлах.
    # mmstartup -a 
    Sat Jul 20 01:13:26 IST 2013: mmstartup: Starting GPFS ...
  6. Проверьте состояние кластера, используя команду mmgetstate.
    # mmgetstate -a
    Node number  Node name        GPFS state
    ------------------------------------------------------------
         1       Node1             active
  7. Установите GPFS-пакет на втором узле и скомпилируйте исходный код.
  8. На узле node1 выполните команду mmaddnode для добавления к кластеру узла node2.
    mmaddnode -N node2
  9. Проверьте успешность добавления узла в кластер, используя команду mmlscluster.
    # mmlscluster 
    GPFS cluster information
    ========================
      GPFS cluster name:         node1.in.ibm.com
      GPFS cluster id:           7699862183884611001
      GPFS UID domain:           node1.in.ibm.com
      Remote shell command:      /usr/bin/ssh
      Remote file copy command:  /usr/bin/scp
    
    GPFS cluster configuration servers:
    ------------------------------------------------
      Primary server:    node1.in.ibm.com
      Secondary server:  node2.in.ibm.com
    
     Node  Daemon node name  IP address   Admin node name   Designation
    --------------------------------------------------------------------
       1   node1.in.ibm.com  192.168.1.10  node1.in.ibm.com  quorum-manager
       2   node2.in.ibm.com  192.168.1.11  node2.in.ibm.com
  10. Выполните команду mmchcluster для настройки узла node2 как вторичного конфигурационного сервера.
    # mmchcluster -s node2
    mmchcluster: GPFS cluster configuration servers:
    mmchcluster: Primary server:    node1.in.ibm.com
    mmchcluster: Secondary server:  node2.in.ibm.com
    mmchcluster: Command successfully completed
  11. Установите режим лицензирования для узла, используя команду mmchlicense. Для этого узла используйте серверную лицензию.
    # mmchlicense server --accept -N node2
    The following nodes will be designated as possessing GPFS server licenses:
            node2.in.ibm.com
    mmchlicense: Command successfully completed
    mmchlicense: Propagating the cluster configuration data to all
     affected nodes.  This is an asynchronous process.
  12. Запустите node2, используя команду mmstartup.
    # mmstartup -N node2
    Sat Jul 20 01:49:44 IST 2013: mmstartup: Starting GPFS ...
  13. Выполните команду mmgetstate для проверки активного состояния всех узлов.
    # mmgetstate -a 
     Node number  Node name        GPFS state
    -------------------------------------------------------------
           1      node1            active
           2      node2            active

Настройка файловой системы кластера

Для настройки файловой системы кластера выполните следующие действия:

  1. Создайте файл-описатель диска / diskdesc.txt, используя следующий формат:
    DDiskName:ServerList::DiskUsage:FailureGroup:DesiredName:StoragePool
    hdiskX:::dataAndMetadata::nsd1:
  2. Создайте NSD, используя команду mmcrnsd.
    # mmcrnsd -F /diskdesc.txt

    Примечание. GPFS предоставляет интерфейс уровня компонентов, называемый NSD-протоколом, поверх TCP/IP-сетей. Независимо от того, используется NSD-протокол или прямое подключение к сети хранения данных (storage area network – SAN), смонтированная файловая система выглядит одинаково для пользователей и приложения (GPFS прозрачно обрабатывает запросы операций ввода/вывода). Простейшим вариантом среды является дисковый кластер с совместным доступом. В этой конфигурации система хранения данных напрямую присоединяется ко всем системам в кластере. Это означает, что любое общее блочное устройство доступно всем узлам GPFS-кластера в одновременном режиме. Прямой доступ означает, что система хранения данных доступна через интерфейс Small Computer System Interface (SCSI) или другой протокол блочного уровня как SAN-диск.

  3. Создайте файловую систему при помощи команды mmcrfs.
    # mmcrfs /gpfs fs1 -F diskdesc.txt -B 64k
  4. Проверьте правильность создания файловой системы, используя команду mmlsfs.
    # mmlsfs fs1
    flag                value                    description
    ------------------- ------------------------ -----------------------------------
     -f                 2048                     Minimum fragment size in bytes
     -i                 512                      Inode size in bytes
     -I                 8192                     Indirect block size in bytes
     -m                 1                        Default number of metadata replicas
     -M                 2                        Maximum number of metadata replicas
     -r                 1                        Default number of data replicas
     -R                 2                        Maximum number of data replicas
     -j                 cluster                  Block allocation type
     -D                 nfs4                     File locking semantics in effect
     -k                 all                      ACL semantics in effect
     -n                 32                       Estimated number of nodes that will mount file system
     -B                 65536                    Block size
     -Q                 none                     Quotas enforced
                        none                     Default quotas enabled
     --filesetdf        no                       Fileset df enabled?
    -V                 13.23 (3.5.0.7)          File system version
    --create-time      Thu Jul 18 22:09:36 2013 File system creation time
    -u                 yes                      Support for large LUNs?
    -z                 no                       Is DMAPI enabled?
    -L                 4194304                  Logfile size
    -E                 yes                      Exact mtime mount option
    -S                 no                       Suppress atime mount option
    -K                 whenpossible             Strict replica allocation option
    --fastea           yes                      Fast external attributes enabled?
    --inode-limit      102528                   Maximum number of inodes
    -P                 system                   Disk storage pools in file system
    -d                 nsd1                     Disks in file system
    --perfileset-quota no                       Per-fileset quota enforcement
    -A                 yes                      Automatic mount option
    -o                 none                     Additional mount options
    -T                 /gpfs                    Default mount point
    --mount-priority   0                        Mount priority
  5. Смонтируйте файловую систему при помощи команды mmmount.
    # mmmount all -a
    Sat Jul 20 02:22:45 IST 2013: mmmount: Mounting file systems ...
  6. Проверьте правильность монтирования файловой системы, используя команду df.
    # df -g
    Filesystem    GB blocks      Free %Used    Iused %Iused Mounted on
    /dev/hd4           2.00      1.56   22%    10221     3% /
    /dev/hd2           5.00      2.08   59%    52098    10% /usr
    /dev/hd9var        2.00      1.70   16%     7250     2% /var
    /dev/hd3           5.00      4.76    5%      262     1% /tmp
    /dev/hd1           0.50      0.50    1%       79     1% /home
    /dev/hd11admin     0.12      0.12    1%        5     1% /admin
    /proc                 –         –    –         –     –  /proc
    /dev/hd10opt      25.00      5.72   78%   371887    21% /opt
    /dev/fs1        	  100G  	 282M  	 100G    1%	 /gpfs  <-- This is the GPFS file
    System

    Файловая система будет доступна автоматически на обеих системах.

    node1:~ # df -g
    Filesystem    GB blocks      Free %Used    Iused %Iused Mounted on
    /dev/hd4           2.00      1.56   22%    10221     3% /
    /dev/hd2           5.00      2.08   59%    52098    10% /usr
    /dev/hd9var        2.00      1.70   16%     7250     2% /var
    /dev/hd3           5.00      4.76    5%      262     1% /tmp
    /dev/hd1           0.50      0.50    1%       79     1% /home
    /dev/hd11admin     0.12      0.12    1%        5     1% /admin
    /proc                 –         –    –         –     –  /proc
    /dev/hd10opt      25.00      5.72   78%   371887    21% /opt
    /dev/fs1             100G  	  282M  	  100G     1%	   /gpfs       
                
    node1:~ # ssh node2 df -h
    Filesystem    GB blocks      Free %Used    Iused %Iused Mounted on
    /dev/hd4           2.00      1.56   22%    10221     3% /
    /dev/hd2           5.00      2.08   59%    52098    10% /usr
    /dev/hd9var        2.00      1.70   16%     7250     2% /var
    /dev/hd3           5.00      4.76    5%      262     1% /tmp
    /dev/hd1           0.50      0.50    1%       79     1% /home
    /dev/hd11admin     0.12      0.12    1%        5     1% /admin
    /proc                 –         –    –         –     –  /proc
    /dev/hd10opt      25.00      5.72   78%   371887    21% /opt
    /dev/fs1        	  100G  	  282M  	  100G   1%	   /gpfs 
    
    node1:~ #
  7. Для получения информации о файловой системе используйте команду mmdf.
    # mmdf fs1
    disk                disk size   failure  holds     holds              free KB             free KB
    name                    in KB     group  metadata  data        in full blocks        in fragments
    --------------- -------------  --------  --------  ----- -------------------- -------------------
    Disks in storage pool: system (Maximum disk size allowed is 800 GB)
    nsd1                104857600       -1    yes        yes      104569408 (100%)            94 ( 0%)
                    -------------                             -------------------- -------------------
    (pool total)        104857600                                 104569408 (100%)            94 ( 0%)
    
                    =============                             ==================== ===================
    (total)             104857600                                 104569408 (100%)            94 ( 0%)
    
    Inode Information
    -----------------
    Number of used inodes:            4041
    Number of free inodes:           98487
    Number of allocated inodes:     102528
    Maximum number of inodes:       102528

Заключение

GPFS-кластер полезен в средах, где необходима файловая система высокой готовности. В статье приводятся рекомендации администраторам UNIX® по установке и настройке среды GPFS-кластера для узлов кластера AIX 5L, узлов кластера Linux, узлов кластера Microsoft Windows Server или для узлов гетерогенных кластеров AIX, Linux и Windows.


Ресурсы для скачивания


Похожие темы


Комментарии

Войдите или зарегистрируйтесь для того чтобы оставлять комментарии или подписаться на них.

static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=40
Zone=AIX и UNIX
ArticleID=1009632
ArticleTitle=Установка и настройка кластера IBM GPFS на IBM AIX
publish-date=06292015