понедельник, 3 декабря 2012 г.

Загрузка серверов из сети хранения данных (SAN)

Данная статья содержит основные рекомендации для планирования инфраструктуры, где загрузочный диск находится на системе хранения данных (СХД). Также статья содержит пошаговую инструкцию по настройке HBA адаптеров Qlogic для обеспечения загрузки из SAN. Статья основывается на "SAN Boot Implementation and Best Practices Guide for IBM System Storage" с дополнениями из личного опыта.

В качестве серверов рассмотрены два лезвия IBM HS21 (c BIOS) и IBM HS22V (с UEFI), производитель HBA адаптера – Qlogic, СХД - IBM DS3512 и EMC CLARIION CX4-480. Статья не ориентирована на конкретную систему хранения, коммутаторы SAN или сервера.

Архитектура SAN, используемая при написании инструкции – dual fabric, представлена на рисунке ниже. Как Вы можете отметить, при данной архитектуре, количество путей от инициатора к СХД составляет не менее четырех.
Рисунок 1
Использование в качестве системного загрузочного диска LUN размещенный на системе хранения данных, предоставляет следующие преимущества:
  1. Взаимозаменяемость серверов: Размещая загрузочный образ на SAN, сервера более не привязаны к их стартовой конфигурации. При отказе сервера становится возможным заменить его на другой в кратчайшее время.
  2. Легкость развертывания: Развертывание дополнительных серверов можно реализовать просто копируя образ.
  3. Надежность: Загрузочные образа находятся на SAN, которая по определению отказоустойчива (несколько путей от инициатора к системе хранения данных, резервирование контроллера СХД, RAID массив на СХД)
  4. Упрощенный процесс аварийного восстановления: При использовании зеркалирования СХД в другой ЦОД, становится возможным быстро восстановить работоспособность инфраструктуры (т.к. в процесс зеркалирования рабочих данных можно включить загрузочные образа)
  5. Снижение затрат: Нет надобности в локальных дисках, снижение затрат на обслуживание и т.д
Перечислим основные шаги, которые необходимо выполнить в процессе настройки загрузки с SAN:
  1. Выполните физическое подключение HBA адаптера, коммутаторов SAN, системы хранения данных.
  2. Создайте LUN на СХД, как минимум один на операционную систему.
  3. Выключите встроенный RAID контроллер в BIOS/UEFI сервера.
  4. Настройте один порт HBA адаптера для загрузки с SAN.
  5. Настройте зонинг на FC коммутаторах.
  6. Настройте маппинг LUN к серверу.
  7. Установите операционную систему.
  8. Установите и настройте драйвер мультипасинга.
  9. Настройте второй порт HBA адаптера.
  10. Настройте зонинг для второго порта HBA адаптера.
  11. Настройте маппинг для второго порта HBA адаптера.
Настройка HBA адаптера для инсталляции ОС
Сначала отключим контроллер Serial Attached SCSI (SAS) для того, чтобы увеличить скорость загрузки сервера. Для этого включите сервер и нажмите F1, для того что бы зайти в меню конфигурирования BIOS или UEFI.
Для серверов с BIOS: выберите Devices and I/O ports”.
Рисунок 2
Далее выключите “Planar SAS”.
Рисунок 3
Для серверов с UEFI: выберите “System Settings”.
Рисунок 4

Далее выберите ”Devices and I/O Ports”.
Рисунок 5
В появившемся меню выключите “Planar SAS”.
Рисунок 6

Чтобы провести установку ОС необходимо подключить LUN по одному пути, т.к. на первом этапе установки ОС не работает драйвер мультипасинга. Однако для RHEL 5 и 6 можно настроить HBA адаптер сразу на все доступные пути (см. замечания по инсталляции ОС).
Перегрузите сервер, в процессе загрузки нажмите ”CTRL+Q” для того, чтобы зайти в меню конфигурирования HBA адаптера.

Рисунок 7

Выберите первый FC адаптер.
Рмсунок 8

Зайдите в ”Configuration Settings”.
Рисунок 9

Выберите “Adapter Settings”.
Рисунок 10

Включите “Host Adapter BIOS" (по умолчанию эта опция отключена), и запишите или запомните WWPN этого HBA адаптера. Это понадобится для того, чтобы идентифицировать данный сервер при настройке СХД.
Рисунок 11

Нажмите ”ESC” два раза и сохраните изменения.
Рисунок 12

Зная WWPN адаптера теперь можно настроить зонинг на свичах, создать LUN на СХД, и настроить маппинг LUN'а к серверу.Выполните эти действия.
Проведем сканирование FC путей. Выберите “Scan Fibre Devices” как на рисунке 9. Если все корректно настроено, то в меню будут отображены пути к СХД.
Рисунок 13

Выйдите из этого пункта меню и зайдите в ”Configuration Settings” как на рисунке 9. Выберите ”Selectable Boot Settings” как на рисунке 10. Включите ”Selectable Boot”, по умолчанию он выключен.
Рисунок 14

Перейдите пунктом ниже для выбора пути загрузки - ”Primary Boot Port Name”.
Рисунок 15

Выберите один путь и нажмите ”Enter”. На этом пункте меню будут перечислены LUN которые доступны серверу. Номера LUN перечисленные здесь будут зависеть от номеров ID, присвоенных LUN на СХД. Выберите LUN с ID 0.
Рисунок 16
 Рисунок 14 примет вид:
Рисунок 17

Нажмите ”ESC” и сохраните внесенные изменения. После перезагрузки LUN будет доступен, его можно увидеть в момент инициализации HBA адаптера, и можно будет осуществить инсталляцию операционной системы.
Рисунок 18
После установки ОС необходимо настроить мультипасинг (см. замечания по инсталляции ОС).
Включим второй FC порт для обеспечения отказоустойчивости. Порядок настройки аналогичен вышеописанному, за исключением того, что нужно выбрать второй порт адаптера.
Рисунок 19

Добавьте все FC пути, доступные по второму порту.
Рисунок 20

Не забудьте добавить также остальные пути для первого порта HBA адаптера.
Настройка FC зон
Настройте FC зоны на коммутаторах SAN. Все хосты которые будут загружаться с SAN, должны находится в соответствующих зонах с СХД. Планирование и корректность реализации зон очень важна для стабильности функционирования SAN.
Создание загрузочного LUN и настройка СХД
Создайте LUN на схд, который будет содержать загрузочный образ операционной системы. Добавьте хост и настройте маппинг с LUN. При добавлении хоста укажите тип хоста, данное значение зависит от операционной системы и драйвера мультипасинга. Доступ к LUN должен иметь только соответствующий сервер, т.е. должен быть гарантирован монопольный доступ. LUN должен обязательно иметь ID 0.
Установка операционной системы
Как уже упоминалось, инсталляцию ОС необходимо проводить при подключенном LUN по одному пути, поскольку на первом этапе установки ОС не работает драйвер мультипасинга. Необходимо отметить - эти рекомендации точны для семейства ОС Windows, для RHEL 5 и 6 можно настроить HBA адаптер сразу на все доступные пути. В этом случае установку RHEL 5 нужно проводить с параметром ”mpath”, а в случае RHEL 6 драйвер мультипасинга загружается штатно при установке ос.
Инструкции по установке ОС Windows 2008 и настройке мультипасинга можно найти здесь и здесь. Инструкции по настройке мультипасинга для Red Hat Enterprise Linux 6.x можно найти здесь.