Системы на основе blade-систем чрезвычайно эффективны в мире проводных и беспроводных телекоммуникаций по нескольким причинам:

1. Малые габариты позволяют недорого и эффективно использовать пространства дата-центров.
2. Применение таких систем в распределенных структурах согласуется с требованиями NEBS (Network Equipment Building System – система построения сетевого оборудования). Этим требованиям должно удовлетворять сетевое оборудование, чтобы считаться надежным и совместимым.
3. Низкие затраты при массовом горизонтальном масштабировании позволяют телекоммуникационным поставщикам экономить средства на этапе развертывания системы.
4. Централизованное управление облегчает администраторам, работающим в сетях поставщиков услуг, исполнять OAM&P-задачи (OAM&P расшифровывается как "operations, administration, maintenance, and provisioning" – "управление, администрирование, поддержка и развертывание". Термин перечисляет набор областей деятельности вместе с соответствующим программным обеспечением, используемым для их учета.)
5. В архитектуре изначально предусмотрена возможность бесперебойного функционирования во время проведения различных технических работ (например, обновления), что позволяет избежать перерывов в обслуживании потребителей.

Для поставщиков телекоммуникационных услуг, особенно применяющих сложные сетевые конфигурации, крайне важны следующие требования и принципы:

• Наличие множества VLAN-сетей (VLAN, Virtual Local Area Network — виртуальная локальная сеть). Такие решения облегчают OAM&P-управление трафиком и используются в абонентских сетях. Разделение на VLAN-сети позволяет поддерживать качество обслуживания (QoS, Quality of Service) абонентов на должном уровне при использовании нескольких логических разделов (далее — LPAR, logical partition).
• Применение микроразделов и виртуализации, что помогает максимально эффективно использовать ресурсы при низкой совокупной стоимости владения.
• Сложность существующих сетей, которые могут иметь сильно меняющуюся нагрузку. Вследствие этого необходимо проводить балансировку нагрузки между множеством клиентских LPAR.

В этой статье будет описана настройка сетевой конфигурации, состоящей из blade-стойки и коммутаторов Cisco, которые образуют несколько VLAN-сетей и работают в режиме "основной-резервный". В нашем примере мы рассмотрим VLAN-сети на основе BladeCenter® JS22 с Linux® для процессора Power. Мы возьмем шесть коммутаторов Cisco Catalyst, выполненных в виде модулей, каждый из которых имеет 14 внутренних и 4 внешних гигабитных порта.

Чтобы задействовать все шесть коммутаторов, установленных в стойку, необходима модель blade-сервера с шестью Ethernet-адаптерами. Ethernet-интерфейс ent0 на blade-модуле соединяется с первым коммутатором стойки. Аналогично каждый последующий Ethernet-интерфейс приходится на каждый следующий установленный коммутатор. Данный принцип вносит некоторое неудобство, так как администратор не может произвольно связывать интерфейсы blade-модулей с доступным коммутаторами.

Проектируя сеть на основе blade-модулей, всегда помните, что на каждый коммутатор Cisco, установленный в blade-стойку, должен приходится один физический интерфейс blade-сервера. Если окажется, что интерфейсов на blade-серверах меньше, чем коммутаторов, не ассоциированные ни с какими интерфейсом коммутаторы будут недоступны blade-серверу.

Важно понимать, в каком порядке связаны Ethernet-интерфейсы blade-сервера с коммутаторами внутри стойки. Первый коммутатор стойки обычно расположен слева вверху, чуть ниже разъема питания. Этот коммутатор связывается с первым интерфейсом blade-сервера – ent0. На рисунке 1 показана нумерация коммутаторов для нашего примера.

Для повышения надежности очень важно разбить коммутаторы на пары. Дело в том, что обычно blade-стойка имеет два щита распределения питания: один щит подает питание на верхнюю половину стойки, а другой — на нижнюю. Если вы хотите иметь в системе резервные коммутаторы, то для каждой пары нужно основной коммутатор установить в одной половине (например, в верхней), а резервный — в другой.

В нашем случае мы разбили коммутаторы на пары таким образом: (1, 9) (2, 3) (4, 7). Так как каждая из соответствующих пар сетевых интерфейсов — (ent0, ent1), (ent2, ent3) и (ent4, ent5) — находится на одной и той же плате ввода-вывода blade-сервера, то необходимо сделать так, чтобы интерфейсы любой платы ввода-вывода не принадлежали одной и той же VLAN-сети. В результате получится, что сетевой трафик разделяется как между двумя щитами питания, так и между различными интерфейсами.

Распределить и разбить на пары интерфейсы и коммутаторы довольно просто, однако это далеко не все. Еще многое предстоит сделать: настроить IVM (Integrated Virtualization Manager, встроенный диспетчер виртуализации), сами коммутаторы, LPAR-разделы — все это позволить максимально эффективно использовать blade-архитектуру. Так, на рисунке 2 показана схема сети, состоящей из одного blade-сервера с его коммутаторами и использующей агрегирование каналов и VLAN-метки. Такая конфигурация позволит каждому адаптеру ввода-вывода принадлежать нескольким VLAN-сетям, причем каждая VLAN-сеть будет в свою очередь включать в себя разные коммутаторы.

В нашем примере каждый LPAR обладает двумя Ethernet-интерфейсами, которые соединяются с виртуальным Ethernet-адаптером (Virtual Ethernet Adapter, VEA), принадлежащим IVM. Заметьте, что VEA-адаптер принадлежит нескольким VLAN-сетям, а трафик каждой VLAN-сети соответствует своему интерфейсу на каждом LPAR. VEA-адаптер, в свою очередь, объединяет весь VLAN-трафик, который проходит через коллективный Ethernet-адаптер (Shared Ethernet Adapter, SEA) и устройство агрегирования каналов (Link Aggregation Device), после чего передается на один из коммутаторов стойки и уходит в сеть. VLAN-метки определяют, в какую подсеть должен отсылаться трафик каждым из коммутаторов.

Пять этапов настройки VLAN

Ниже перечислены пять этапов (плюс один необязательный шаг) настройки VLAN для подключения к ним LPAR-разделов:

1. Соответствующая настройка коммутаторов Cisco. (Можно, но не обязательно создать устройство агрегирования каналов, обычно называемое LNAGG.)
2. В IVM создать интерфейсы, поддерживающие VLAN стандарта IEEE 802.1q, чтобы эти интерфейсы могли передавать нужный VLAN-трафик. Очень важно вначале тщательно спроектировать VLAN перед созданием интерфейсов с поддержкой VLAN, так как эти интерфейсы нельзя будет в случае чего изменить, а только удалить и создать заново, что выльется в большую трату времени.
3. Находясь в меню "Virtual Ethernet" IVM, связать виртуальный Ethernet-адаптер с физическим адаптером LNAGG.
4. Настроить LPAR таким образом, чтобы новые виртуальные адаптеры соответствовали адаптерам LPAR. Учтите, что изменять свойства сетевых устройств нужно тогда, когда LPAR неактивны.
5. Загрузить каждый LPAR и настроить в нем новый интерфейс.

Пример этой статьи предполагает, что настройка blade-серверов производится на свежеустановленной системе.

В начало

Этап 1: Настройка коммутаторов Cisco

Если коммутаторы уже правильно настроены на работу с нужными VLAN-сетями, то пропустите этот этап. Также мы опустим настройку протокола spanning tree и приоритетов, которая может потребоваться. Если же вы хотите проследить пример полностью, необходимо сконфигурировать коммутаторы, как показано ниже.

Входим в командную оболочку коммутатора

Запускаем приведенные ниже команды в указанном порядке:

• enable
• config
• interface GigabitEthernet0/1
• description blade1
• switchport trunk native vlan 383
• switchport trunk allowed vlan 373,383
• switchport mode trunk

С помощью этих команд мы настроили порт 1 коммутатора на работу в режиме агрегирования каналов. Если трафик, приходящий в коммутатор с внутренних или с внешних портов blade-сервера, не имеет VLAN-метки, то коммутатор присвоит ему VLAN-метку 383. С помощью команды switchports, выполненной для внешних портов коммутатора, мы разрешаем только трафик из VLAN-сетей 373 и 383, в результате чего VEA сможет обмениваться трафиком только с нужными VLAN. Чтобы разрешить IVM соединяться через порты коммутаторов с другими VLAN, измените VLAN-номера у соответствующих агрегированных портов.

Разделение трафика

Коммутатор, получив агрегированный трафик, определяет, через какой внешний порт его передавать в зависимости от принадлежности определенной VLAN. В нашем примере трафик VLAN-сети 373 отсылается через порт 17, а сети 383 — через 20.

Покажем, как связать VLAN-сеть 373 с портом 17. Для этого выполните такие команды на коммутаторе Cisco:

• interface GigabitEthernet0/17
• description extern1
• switchport access vlan 373
• switchport mode access

Аналогичные команды для VLAN 383 и порта 20:

• interface GigabitEthernet0/20
• description extern4
• switchport access vlan 383
• switchport mode access

Закончив настройку внешних портов, введите дважды команду exit для выхода из конфигурационного режима командной строки. Затем дайте команду show run для показа настроек. Эта команда выводит все активные настройки коммутатора, включая те, которые вы только что изменили на предыдущих этапах. Помните, что эти изменения пока ещё не сохранены в постоянную память коммутатора. Обратите внимание на текущие настройки порта, ответственного за связь с blade-сервером 1:

interface GigabitEthernet0/1
       description blade1
       switchport trunk native vlan 383
       switchport trunk allowed vlan 373,383
       switchport mode trunk

Введя команду show config, вы увидите предыдущие настройки порта, а не те, которые только что сделали. Если коммутатор сейчас перезагрузить, то все новые настройки будут потеряны. Поэтому сделанные изменения необходимо записать в постоянную память командой write. После этого команда show config покажет актуальные настройки портов.

В начало

Необязательный этап: Создание адаптера агрегирования каналов

Агрегирование каналов позволяет объединить два физических сетевых адаптера в один. Оно бывает полезно в схеме с запасными каналами, заменяющими основные в случае их неработоспособности.

В нашем примере мы объединим два адаптера blade-сервера — ent0 и ent5, создав устройства агрегирования каналов (LNAGG), причем интерфейс ent5 будет резервным, а ent0 — основным . Вот как это делается из командной строки IVM:

$ mkvdev -lnagg ent0 -attr backup_adapter=ent5

Убедиться в том, что устройство LNAGG было успешно создано, можно с помощью команды lsdev.

$lsdev |grep ^ent
ent0             Available   Logical Host Ethernet Port (lp-hea)
ent1             Available   Logical Host Ethernet Port (lp-hea)
ent2             Available   Gigabit Ethernet-SX Adapter (e414a816)
ent3             Available   Gigabit Ethernet-SX Adapter (e414a816)
ent4             Available   Gigabit Ethernet-SX PCI-X Adapter (14106703)
ent5             Available   Gigabit Ethernet-SX PCI-X Adapter (14106703)
ent6             Available   Virtual I/O Ethernet Adapter (l-lan)
ent7             Available   Virtual I/O Ethernet Adapter (l-lan)
ent8             Available   Virtual I/O Ethernet Adapter (l-lan)
ent9             Available   Virtual I/O Ethernet Adapter (l-lan)
ent10            Available   EtherChannel/IEEE 802.3ad Link Aggregation
ent11            Available   EtherChannel/IEEE 802.3ad Link Aggregation
ent12            Available   EtherChannel/IEEE 802.3ad Link Aggregation
ent13            Available   Virtual I/O Ethernet Adapter (l-lan)
ent14            Available   Virtual I/O Ethernet Adapter (l-lan)
ent15            Available   Virtual I/O Ethernet Adapter (l-lan)
ent16            Available   Shared Ethernet Adapter
ent17            Available   Shared Ethernet Adapter
ent18            Available   Shared Ethernet Adapter

Из списка, выданного командой lsdev, видно, что устройство агрегирования каналов (ent10 - ent12) выглядит как физический адаптер. Это дает возможность связать LNAGG с виртуальным адаптером (ent13 - ent15) через коллективный Ethernet-адаптер (ent16 - ent18). Последний рассматривает устройство LNAGG как обычный физический адаптер. Обратите внимание, что виртуальные адаптеры ent6 - ent9 существуют по умолчанию и не поддерживают VLAN, причем добавить им эту поддержку нельзя. Интерфейсы с ent0 по ent5 представляют собой физические адаптеры blade-сервера.

Для вывода подробной информации об агрегировании физических адаптеров в адаптер LNAGG у команды lsdev есть флаг attr. В таблице 1 показан результат работы команды $lsdev -dev ent10 -attr.

В начало

Этап 2: Создание виртуальных адаптеров на IVM

В нашем примере мы настроим сеть так, чтобы трафик VLAN-сетей 373 и 383 проходил через виртуальный Ethernet-адаптер. Для этого вначале нужно создать на IVM виртуальный адаптер, через который будет идти трафик для и от клиентский LPAR. Итак, создадим виртуальный адаптер, имеющий первичный порт для VLAN-сети 373 и вторичный порт для VLAN-сети 383.

Далее показано, что нужно сделать для создания нужных нам интерфейсов в IVM:

1. С помощью любой telnet-программы (например, putty), соединитесь с IVM. Имя пользователя — padmin, пароль по умолчанию — passw0rd (именно с "0", а не "o").
2. Выведите все Ethernet-устройства командой shwres -r virtualio --rsubtype eth --level lpar:
   
   Листинг 3. Вывод сведений об Ethernet-устройства
   

   $lshwres -r virtualio --rsubtype eth --level lpar lpar_name=IVM_01,lpar_id=1,slot_num=3,state=1,ieee_virtual_eth=0,port_vlan_id=1, addl_vlan_ids=none,is_trunk=1, trunk_priority=1,is_required=0,mac_addr=463337C4B503 lpar_name=IVM_01,lpar_id=1,slot_num=4,state=1,ieee_virtual_eth=0,port_vlan_id=2, addl_vlan_ids=none,is_trunk=1, trunk_priority=1,is_required=0,mac_addr=463337C4B504 lpar_name=IVM_01,lpar_id=1,slot_num=5,state=1,ieee_virtual_eth=0,port_vlan_id=3, addl_vlan_ids=none,is_trunk=1, trunk_priority=1,is_required=0,mac_addr=463337C4B505 lpar_name=IVM_01,lpar_id=1, slot_num=6,state=1,ieee_virtual_eth=0,port_vlan_id=4, addl_vlan_ids=none,is_trunk=1, trunk_priority=1,is_required=0,mac_addr=463337C4B506

   
   
3. С помощью команды chhwres создайте виртуальный адаптер с поддержкой IEEE VLAN, указав те VLAN-сети, в состав которых он будет входит: $ chhwres -p IVM_01 -o a -r virtualio --rsubtype eth -s 15 -a\ '"ieee_virtual_eth=1","port_vlan_id=373","addl_vlan_ids=383","is_trunk=1","trunk_priority=1"'. Команда chhwres указывает IVM, какие свойства будет иметь новый виртуальный Ethernet-адаптер, поддерживающий VLAN.
   
   Вот некоторые опции команды, существенные при создании виртуальных адаптеров:
   • -p partition: Указывает, что нужно модифицировать LPAR с именем partition.
   • -s nn: Указывает, какой именно слот используется. Если значение параметра не задано, то IVM возьмет первый доступный слот. При удалении устройства номер слота указывать обязательно.
   • ieee_virtual_eth: Указывает IVM, будет ли адаптер поддерживать стандарт IEEE 802.1Q. Необходимо установить в 1, если у адаптера будет несколько VLAN.
   • port_vlan_id: Номер основной VLAN-сети адаптера.
   • add_vlan_ids: Номера дополнительных VLAN, если включено агрегирование.
   • is_trunk: Должно быть установлено в 1 для поддержки нескольких VLAN.
   • trunk_priority: При включенном агрегировании указывает приоритет адаптера в диапазоне от 1 до 15.
4. Убедитесь, что устройства создались правильно, повторным запуском команды lshwres.
   
   Листинг 4. Вывод информации о новых устройствах
   

   $lshwres -r virtualio --rsubtype eth --level lpar lpar_name=IVM_01,lpar_id=1,slot_num=3,state=1, ieee_virtual_eth=0,port_vlan_id=1, addl_vlan_ids=none,is_trunk=1,trunk_priority=1, is_required=0,mac_addr=463337C4B503 lpar_name=IVM_01,lpar_id=1,slot_num=4,state=1, ieee_virtual_eth=0,port_vlan_id=2, addl_vlan_ids=none,is_trunk=1,trunk_priority=1, is_required=0,mac_addr=463337C4B504 lpar_name=IVM_01,lpar_id=1,slot_num=5,state=1, ieee_virtual_eth=0,port_vlan_id=3, addl_vlan_ids=none,is_trunk=1,trunk_priority=1, is_required=0,mac_addr=463337C4B505 lpar_name=IVM_01,lpar_id=1,slot_num=6,state=1, ieee_virtual_eth=0,port_vlan_id=4, addl_vlan_ids=none,is_trunk=1,trunk_priority=1, is_required=0,mac_addr=463337C4B506 lpar_name=IVM_01,lpar_id=1,slot_num=15, state=1,ieee_virtual_eth=1,port_vlan_id=383, addl_vlan_ids=378,is_trunk=1,trunk_priority=1, is_required=0,mac_addr=463337C4B50F lpar_name=IVM_01,lpar_id=1,slot_num=16,state=1, ieee_virtual_eth=1,port_vlan_id=6, "addl_vlan_ids=22,23",is_trunk=1,trunk_priority=1, is_required=0, mac_addr=463337C4B510 lpar_name=IVM_01,lpar_id=1,slot_num=17,state=1, ieee_virtual_eth=1,port_vlan_id=7, "addl_vlan_ids=565,566,567,568",is_trunk=1, trunk_priority=1,is_required=0, mac_addr=463337C4B511

   
   

В начало

Этап 3: Связывание физического адаптера с виртуальным Ethernet-идентификатором

Создав устройство агрегирования каналов, его необходимо связать с виртуальным адаптером, что можно легко сделать с помощью графического интерфейса IVM, как показано на рисунке 3.

Подключившись к программе графического администрирования IVM, выберите пункт "View/Modify Virtual Ethernet" (просмотр/изменение виртуального Ethernet) в панели навигации слева, затем перейдите на вкладку "Virtual Ethernet Bridge" (виртуальный Ethernet-мост). Здесь виден ранее созданный виртуальный Ethernet-адаптер, поддерживающий основную VLAN 383 и дополнительную VLAN 373. Устройство агрегирования каналов, которое мы создали на предыдущем этапе, доступно для выбора в выпадающем списке. Выбрав нужное устройство, нажмите Apply (применить), и тогда в IVM будет создан коллективный Ethernet-адаптер.

В начало

Этап 4: Изменение параметров LPAR

После того, как физическому адаптеру или LNAGG-адаптеру был сопоставлен виртуальный Ethernet-идентификатор, необходимо создать виртуальный адаптер для каждого LPAR. Для этого подключитесь к графической утилите IVM, как показано на рисунке 4.

Выберите пункт View/Modify Partition (просмотр/модификация разделов) в верхнем левом углу. После того как страница загрузится, вы увидите все доступные LPAR.

Выберите LPAR в появившемся списке. Далее появится всплывающее окно (убедитесь, что ваш браузер их не блокирует), в котором нужно выбрать вкладку "Ethernet" (см. рисунок 5).

Как видно на рисунке 5, все выпадающие списки Virtual Ethernet недоступны, так как выбранный LPAR находится в работающем состоянии. Для изменения параметров LPAR его нужно выключить или привести в неактивное состояние.

При помощи выпадающих списков свяжите виртуальные адаптеры, поддерживающие VLAN, с адаптерами LPAR. Обратите внимание, что каждый виртуальный адаптер ассоциирован с какой-либо одной VLAN-сетью, что позволяет IVM снабжать трафик, идущий от гостевой ОС, VLAN-метками и направлять его в нужное LNAGG-устройство. Также можно создать дополнительные адаптеры, нажав Create Adapter (создать адаптер).

В начало

Этап 5: Настройка в Linux интерфейсов с поддержкой VLAN

Если вы назначаете Linux-разделам статические IP-адреса, то придется выполнить этот дополнительный этап. Закончив с настройкой IVM и Cisco, приведите LPAR в активное состояние из утилиты графического администрирования. Далее:

1. Зарегистрируйтесь в Linux-системе и станьте суперпользователем (root).
2. Выполните следующее: cd /etc/sysconfig/network-scripts.

Запустив команду ifconfig, вы увидите, что с каждым адаптером LPAR сопоставлена нужная VLAN. Используя любой удобный текстовой редактор, сделайте необходимые сетевые настройки. В листинге ниже приведен примерный файл ifcfg-eth0, содержащий конфигурацию интерфейса со статическим IP-адресом:

DEVICE=eth0
BOOTPROTO=static
BROADCAST=192.168.1.31
HWADDR=00:1A:64:8C:B2:32
IPADDR=192.168.1.44
NETMASK=255.255.255.0
ONBOOT=yes
TYPE=Ethernet
GATEWAY=192.168.1.1

Перезагрузите сетевую подсистему командой /etc/init.d/network restart.

В начало

Заключение

Успех любого проекта невозможен без должного планирования. Чтобы избежать лишней работы и затрат, перед сборкой сложной сети на основе blade-серверов очень важно спроектировать структуру сети. Поверьте нашему опыту: заново перенастраивать сложную сеть с IVM — дело не из легких. Как правило, перед изменением конфигурации сети администратору приходится удалять существующие настройки.

Крайне важно также продумать все, что связано с VLAN, так как в IVM нет возможности добавлять поддержку новых VLAN-сетей существующим виртуальным адаптерам. Помимо этого, нельзя реализовать резервный коллективный Ethernet-адаптер, как это обычно делается при настройке VIOS, поскольку JS22 поддерживает только один IVM. Механизм агрегирования каналов позволяет направлять трафик через разные коммутаторы, обеспечивая резервный канал при отказе основного. Чтобы обеспечить отказоустойчивость по питанию в blade-стойке, помните, что ее верхняя часть обслуживается одним блоком питания, а нижняя — другим.

Все эти соображения усложняют построение любой относительно сложной сети, так что главный совет авторов: созданию сети должно предшествовать тщательное планирование.

Ресурсы

Научиться

• Оригинал статьи (EN).
  
  
• Инструмент IBM Installation Toolkit упрощает установку Linux на системы POWER.
  
  
• В разделе Linux сайта developerWorks имеется множество ресурсов для разработчиков; также посмотрите список самых популярных статей и учебных материалов по Linux (EN).
  
  
• Ознакомьтесь с другими советами и руководствами по Linux на сайте developerWorks. (EN)
  
  
• Следите за новостями в разделе технических мероприятий и Web-трансляций (EN) developerWorks.
  
  

Получить продукты и технологии

• Закажите SEK для Linux (EN) — набор из двух DVD-дисков с новейшими ознакомительными версиями ПО от IBM: DB2®, Lotus®, Rational®, Tivoli® и WebSphere®.
  
  
• Разработайте ваш следующий Linux-проект с помощью пробного ПО от IBM (EN), которое можно загрузить прямо с developerWorks.
  
  

Обсудить

• Примите участие в обсуждении материала на форуме.
  
  
• Участвуйте в жизни сообщества developerWorks – посещайте блоги, форумы, подкасты и дискуссионные пространства.(EN)
  
  

Об авторах

Оценить эту статью

Комментарии

В начало

Содержание

• Пять этапов настройки VLAN
• Этап 1: Настройка коммутаторов Cisco
• Необязательный этап: Создание адаптера агрегирования каналов
• Этап 2: Создание виртуальных адаптеров на IVM
• Этап 3: Связывание физического адаптера с виртуальным Ethernet-идентификатором
• Этап 4: Изменение параметров LPAR
• Этап 5: Настройка в Linux интерфейсов с поддержкой VLAN
• Заключение
• Ресурсы
• Об авторах
• Комментарии