Реализация мультипроцессорных кластеров высокой доступности (HACMP)

Сценарий: добавление двух узлов в кластер

Разбить на страницы
Показывать лекцию целиком

Конфигурация из двух узлов

В этом разделе описывается конфигурация первоначального кластера из двух узлов с использованием таблиц, подобных применяемым при планировании кластера HACMP. Конфигурация кластера изображена на рис. 6.1. Основные особенности двухузлового кластера следующие:

  • два узла;
  • одна открытая (public) Ethernet-сеть (net_ether_01) с перехватом IP-адреса посредством синонимов;
  • два базовых IP-адреса и один сервисный адрес на узел;
  • одна сеть пульса через диски (net_diskhb_01) для соединения без IP;
  • на каждом узле выполняется одно приложение в конфигурации взаимного перехвата;
  • одна общая группа томов на узел;
  • резервные подключения Fibre Channel.
  • (рис 6.1) Конфигурация из двух узлов

    Топология кластера

    Сведения о конфигурации топологии кластера:

    Имя кластера: clto24.
    Имя узла 1: p650n01.
    Имя узла 2: p650n02.

    В кластере используется одна IP-сеть и одна сеть пульса через диски, отличная от IP. Также применяется перехват IP-адреса посредством синонимов. Конфигурация сети представлена в табл. 6.1.

    Конфигурация сетей
    Имя сети Тип сети Маска сети IPAT посредством синонимов
    net_ether_01 ethernet (открытая) 255.255.255.0 Включен
    net_diskhb_01 Сеть пульса через диски Неприменимо Неприменимо

    В табл. 6.2 представлена конфигурация сетевых интерфейсов. Каждый узел содержит два сетевых адаптера, и каждый интерфейс содержит один базовый IP-адрес. Кроме того, имеется два сервисных адреса, по одному для каждой группы ресурсов.

    Сетевые интерфейсы
    IP-метка Сетевой интерфейс Функция интерфейса IP-адрес
    node1b1 en0 Базовый на p650n01 192.168.100.51
    node1b2 en1 Базовый на p650n01 192.168.145.51
    p650n01Как видно из этого примера, желательно использовать "значимые" сервисные IP-метки, так как из названия, указанного здесь, понять, что она относится к группе ресурсов rg1 (в свою очередь, отвечающей за приложение DB2), невозможно. Подобные названия зачастую увеличивают время поиска и устранения неисправности. Имя p650n01 в данном примере больше подходит для постоянной IP-метки. Сервисный 192.168.147.51
    node2b1 en0 Базовый на p650n02 192.168.100.52
    node2b2 en1 Базовый на p650n02 192.168.145.52
    p650n02 Сервисный 192.168.147.52

    Кластер имеет одну сеть пульса через диски, которая включает одну группу томов с возможностью расширенного одновременного доступа (enhanced concurrent capable volume group). Этот диск используется только для мониторинга пульса. ( табл. 6.3).

    Конфигурация сети пульса через диски
    Имя сети Первый узел Второй узел Имя устройства Имя группы томов
    net_diskhb_01 p650n01 p650n02 vpath4 c12vg
    Примечание. Для согласованности мы используем одинаковую нумерацию устройств vpath на всех узлах, поэтому на обоих узлах устройства vpath имеют одинаковое имя.

    Ресурсы кластера

    Далее описывается, какие ресурсы необходимы для выполнения наших приложений в HACMP.

    Наш кластер имеет два приложения. В обычных условиях приложение DB2 выполняется на узле p650n01, тогда как приложение Development выполняется на узле p650n02. Узлы работают в традиционной конфигурации со взаимным перехватом. Каждое приложение имеет собственную группу томов: db2vg и devvg соответственно.

    Конфигурация общих групп томов и файловых систем

    В табл. 6.4 представлена конфигурация общих групп томов.

    Конфигурация общих групп томов
    Имя группы томов Vpath на p65 0n01 Vpath на p65 0n02 Старший номер устройства
    db2vg vpath0 vpath0 45
    devvg vpath1 vpath1 46

    Табл. 6.5 содержит подробную конфигурацию файловых систем в группе томов db2vg.

    Конфигурация файловых систем первой группы томов
    Имя группы томов db2vg
    Файловая система 1 /db2data
    Файловая система 1 – логический том /dev/db2datalv
    Файловая система 1 – том журнала jfs /dev/db2loglv
    Файловая система 2 /db2archiv
    Файловая система 2 – логический том /dev/db2arclv
    Файловая система 2 – том журнала jfs /dev/db2loglv

    Табл. 6.6 содержит конфигурацию файловых систем в группе томов devvg.

    Конфигурация файловых систем второй группы томов
    Имя группы томов devv g
    Файловая система 1 /develop
    Файловая система 1 – логический том /dev/devlv
    Файловая система 1 – том журнала jfs Встроенный журналЗдесь и далее в примерах в этой лекции встроенный журнал (inline log) допустим только при использовании файловой системы JFS2.
    Файловая система 2 /tools
    Файловая система 2 – логический том /dev/toolslv
    Файловая система 2 – том журнала jfs Встроенный журнал
    Конфигурация серверов приложений
    Конфигурация серверов приложений Скрипт запуска Скрипт остановки
    DB2 /usr/ha/start.db2 /usr/ha/stop.db2
    Development /usr/ha/start.development /usr/ha/stop.development

    Группы ресурсов

    Мы создали две группы ресурсов. Каждая группа ресурсов содержит один сервер приложений, один сервисный IP-адрес и требуемую группу томов. Табл. 6.8 содержит подробную конфигурацию группы ресурсов.

    Конфигурация групп ресурсов
    Имя ресурса rg1Безусловно, напрямую это не влияет на функционирование кластера, но ресурсные группы гораздо нагляднее называть по имени приложений, например здесь – db2rg и devrg (по аналогии с упомянутыми в этой лекции группами томов и другими ресурсами). Такие названия помогают обслуживающему персоналу быстрее разобраться в ситуации в случае возникновения проблем rg2
    Имена узлов-участников p650n01, p650n02 p650n02, p650n01
    Политика запуска Подключение только на домашнем узле (Online On Home Node Only) Подключение только на домашнем узле (Online On Home Node Only)
    Политика перемещения при сбое Перемещение при сбое на узел из списка со следующим приоритетом (Fallover To Next Priority Node In The List) Перемещение при сбое на узел из списка со следующим приоритетом (Fallover To Next Priority Node In The List)
    Политика возврата после восстановления Возврат после восстановления на узел с более высоким приоритетом в списке (Fallback To Higher Priority Node In The List) Возврат после восстановления на узел с более высоким приоритетом в списке (Fallback To Higher Priority Node In The List)
    Политика динамического приоритета узлов
    Порядок обработки Параллельная Параллельная
    Сервисные IP-метки p650n01 p650n02
    Серверы приложений db2 development
    Группы томов db2vg devvg
    Использование принудительной активизации групп томов при необходимости Нет Нет
    Автоматический импорт групп томов Нет Нет
    Файловые системы ВСЕ ВСЕ
    Проверка согласованности файловой системы fsck fsck
    Метод восстановления файловой системы Последовательный Последовательный
    Подключение файловых систем перед конфигурированием IP Нет Нет
    Файловые системы/каталоги для экспорта
    Файловые системы/каталоги для NFS-подключения
    Сеть для NFS-подключения
    Основной класс WLM

    Конфигурация из четырех узлов

    В этом разделе обсуждается конфигурация нового кластера из четырех узлов. Мы хотим добавить в кластер два новых узла и два новых приложения вместе с необходимыми ресурсами. Ниже представлена информация, используемая на этапе реконфигурации.

    На рис. 6.2 представлена конфигурация нового кластера. Основные особенности кластера:

  • четыре узла;
  • одна открытая Ethernet-сеть ( net_ether_01 ) с перехватом IP-адреса посредством синонимов;(рис 6.2) Четырехузловая конфигурация
  • два базовых IP-адреса и один сервисный адрес на узел;
  • четыре сети пульса через диски для соединения без IP;
  • по умолчанию на каждом узле выполняется одно приложение;
  • одна общая группа томов на узел;
  • резервные подключения Fibre Channel.
  • Топология кластера

    Сведения о конфигурации топологии кластера:

    Имя кластера: clto24.
    Имя узла 1: p650n01.
    Имя узла 2: p650n02.
    Имя узла 3: p650n03.
    Имя узла 4: p690n01.

    Конфигурация сети представлена в табл. 6.9. В новом кластере все еще используется только одна сеть Ethernet с перехватом IP-адреса посредством синонимов. Изменение состоит в том, что теперь кластер содержит четыре сети пульса через диски.

    Конфигурация сетей
    Имя сети Тип сети Маска сети IPAT посредством синонимов
    net_ether_01 ethernet (открытая) 255.255.255.0 Включен
    net_diskhb_01 Сеть пульса через диски Неприменимо Неприменимо
    net_diskhb_02 Сеть пульса через диски Неприменимо Неприменимо
    net_diskhb_03 Сеть пульса через диски Неприменимо Неприменимо
    net_diskhb_04 Сеть пульса через диски Неприменимо Неприменимо

    Конфигурация IP-сети на новых узлах подобна конфигурации на старых узлах: узлы содержат две интерфейсные карты с базовыми адресами. Также мы имеем два новых сервисных адреса для новых групп ресурсов ( табл. 6.10).

    Сетевые интерфейсы
    IP-метка Сетевой интерфейс Функция интерфейса IP-адрес
    node1b1 en0 Базовый на p650n01 192.168.100.51
    node1b2 en1 Базовый на p650n01 192.168.145.51
    p650n01 Сервисный 192.168.147.51
    node2b1 en0 Базовый на p650n02 192.168.100.52
    192.168.100.52 en1 Базовый на p650n02 192.168.100.52
    p650n02 Сервисный 192.168.100.52
    node3b1 en0 Базовый на p650n03 192.168.100.53
    node3b2 en1 Базовый на p650n03 192.168.100.53
    p650n03 Сервисный 192.168.100.53
    node4b1 en0 Базовый на p690n01 192.168.100.63
    node4b2 en1 Базовый на p690n01 192.168.145.63
    p690n01 Сервисный 192.168.147.63

    Конфигурация сетей пульса через диски

    Четырехузловой кластер требует использования четырех сетей пульса через диски. Каждая сеть соединяет два узла через устройство vpath. Четыре сети составляют кольцо, соединяющее узлы. В случае отказа сети Ethernet узлы могут передавать пакеты пульса друг другу по этому кольцу, например узел 1 может отправлять данные на узел 3. На рис. 6.3 показана топология сети пульса через диски.

    (рис 6.3) Конфигурация сетей пульса через диски

    Подробно конфигурация сети пульса через диски представлена в табл. 6.11.

    Примечание. Для согласованности мы используем одинаковую нумерацию устройств vpath на всех узлах, поэтому каждая пара узлов имеет одинаковое имя устройств vpath.
    Конфигурация сетей пульса через диски
    Имя сети Узел 1/устройство Узел 2/устройство Имя группы томов
    net_diskhb_01 p650n01/vpath4 p650n02/vpath4 c12vg
    net_diskhb_02 p650n02/vpath5 p650n03/vpath5 c23vg
    net_diskhb_03 p650n03/vpath6 p690n01/vpath6 c34vg
    net_diskhb_04 p690n01/vpath7 p650n01/vpath7 c41vg

    Конфигурация групп ресурсов

    Новый кластер содержит два новых приложения: Itapp выполняется на узле p650n03, его резервный узел – p690n01. Домашний узел приложения App1 – p690n01 ; он применяет динамический приоритет для перемещения при сбое на наименее используемый узел.

    Мы не меняем серверы приложений DB2 и Development. В обычных условиях DB2 выполняется на узле p650n01, тогда как Development выполняется на узле p650n02. Узлы работают в традиционной конфигурации со взаимным перехватом.

    Ниже описана конфигурация групп ресурсов HACMP, включая информацию об общем хранилище и группе ресурсов.

    Конфигурация общих групп томов и файловых систем

    В табл. 6.12 представлена конфигурация общей группы томов.

    Конфигурация общих групп томов
    Имя группы томов p65 0n01 p65 0n02 p65 0n03 p69 0n01 Старший номер устройства
    db2vg vpath0 vpath0 vpath0 vpath0 45
    devvg vpath1 vpath1 vpath1 vpath1 46
    itappvg vpath2 vpath2 vpath2 vpath2 47
    app1vg vpath3 vpath3 vpath3 vpath3 48

    Табл. 6.13 содержит подробную конфигурацию файловых систем в группе томов db2vg.

    Конфигурации файловых систем первой группы томов
    Имя группы томов db2vg
    Файловая система 1 /db2data
    Файловая система 1 – логический том /dev/db2datalv
    Файловая система 1 – том журнала jfs /dev/db2loglv
    Файловая система 2 /db2archiv
    Файловая система 2 – логический том /dev/db2arclv
    Файловая система 2 – том журнала jfs /dev/db2loglv

    Табл. 6.14 содержит конфигурацию файловых систем в группе томов devvg.

    Конфигурация файловых систем второй группы томов
    Имя группы томов devv g
    Файловая система 1 /develop
    Файловая система 1 – логический том /dev/devlv
    Файловая система 1 – том журнала jfs Встроенный журнал
    Файловая система 2 /tools
    Файловая система 2 – логический том /dev/toolslv
    Файловая система 2 – том журнала jfs Встроенный журнал

    Табл. 6.15 содержит конфигурацию файловой системы в группе томов itappvg.

    Конфигурация файловой системы третей группы томов
    Имя группы томов itappvg
    Файловая система 1 /itapp
    Файловая система 1 – логический том /dev/ itapplv
    Файловая система 1 – том журнала jfs Встроенный журнал

    Табл. 6.16 содержит конфигурацию файловой системы в группе томов app1vg.

    Конфигурация файловой системы четвертой группы томов
    Имя группы томов app1v g
    Файловая система 1 /app1
    Файловая система 1 – логический том /dev/ app1lv
    Файловая система 1 – том журнала jfs Встроенный журнал

    Серверы приложений

    Наш кластер содержит два новых сервера приложений: Itapp и App1. В табл. 6.17 представлены скрипты запуска и остановки для серверов приложений.

    Конфигурация серверов приложений
    Имя сервера приложений Скрипт запуска Скрипт остановки
    DB2 /usr/ha/start.db2 /usr/ha/stop.db2
    Development /usr/ha/start.development /usr/ha/stop.development
    Itapp /usr/ha/start.itapp /usr/ha/stop.itapp
    App1 /usr/ha/start.app1 /usr/ha/stop.app1

    Группы ресурсов

    Табл. 6.18 содержит подробную конфигурацию для первоначальных групп ресурсов rg1 и rg2.

    Конфигурация групп ресурсов-1
    Имя ресурса rg1 rg2
    Имена узлов-участников p650n01, p650n02 p650n02, p650n01
    Политика запуска Подключение только на домашнем узле (Online On Home Node Only) Подключение только на домашнем узле (Online On Home Node Only)
    Политика перемещения при сбое Перемещение при сбое на узел из списка со следующим приоритетом (Fallover To Next Priority Node In The List) Перемещение при сбое на узел из списка со следующим приоритетом (Fallover To Next Priority Node In The List)
    Политика возврата после восстановления Возврат после восстановления на узел с более высоким приоритетом в списке (Fallback To Higher Priority Node In The List) Возврат после восстановления на узел с более высоким приоритетом в списке (Fallback To Higher Priority Node In The List)
    Политика динамического приоритета узлов
    Порядок обработки Параллельная Параллельная
    Сервисные IP-метки p650n01 p650n02
    Серверы приложений db2 development
    Группы томов db2vg devvg
    Использование принудительной активизации групп томов при необходимости Нет Нет
    Автоматический импорт групп томов Нет Нет
    Файловые системы ВСЕ ВСЕ
    Проверка согласованности файловой системы fsck fsck
    Метод восстановления файловой системы Последовательный Последовательный
    Подключение файловых систем перед конфигурированием IP Нет Нет
    Файловые системы/каталоги для экспорта
    Файловые системы/каталоги для NFS-подключения
    Сеть для NFS-подключения
    Основной класс WLM

    Табл. 6.19 содержит подробную конфигурацию новых групп ресурсов. Группа ресурсов rg4 применяет политику динамического перемещения при сбое: в случае отказа узла p690n01 выполняется ее перемещение на любой из остальных трех узлов с наименьшей нагрузкой на процессор.

    Конфигурация групп ресурсов-2
    Имя ресурса rg3 rg4
    Имена узлов-участников p650n03, p690n01, p650n02 p690n01, p650n03, p650n02, p650n01
    Политика запуска Подключение только на домашнем узле (Online On Home Node Only) Подключение только на домашнем узле (Online On Home Node Only)
    Политика перемещения при сбое Перемещение при сбое на узел из списка со следующим приоритетом (Fallover To Next Priority Node In The List) Перемещение при сбое на узел из списка со следующим приоритетом (Fallover To Next Priority Node In The List)
    Политика возврата после восстановления Возврат после восстановления на узел с более высоким приоритетом в списке (Fallback To Higher Priority Node In The List) Возврат после восстановления на узел с более высоким приоритетом в списке (Fallback To Higher Priority Node In The List)
    Политика динамического приоритета узлов Перемещение при сбое на узел с наименьшей нагрузкой на процессор (Fallover to the node with the highest idle CPU (cl_highest_ idle_cpu))
    Порядок обработки Параллельная Параллельная
    Сервисные IP-метки p650n03 p690n01
    Серверы приложений itapp app1
    Группы томов itappvg app1vg
    Использование принудительной активизации групп томов при необходимости Нет Нет
    Автоматический импорт групп томов Нет Нет
    Файловые системы ВСЕ ВСЕ
    Проверка согласованности файловой системы fsck fsck
    Метод восстановления файловой системы Последовательный Последовательный
    Подключение файловых систем перед конфигурированием IP Нет Нет
    Файловые системы/каталоги для экспорта
    Файловые системы/каталоги для NFS-подключения
    Сеть для NFS-подключения
    Основной класс WLM

    Реконфигурирование кластера

    Расширение кластера с двух до четырех узлов состоит из следующих этапов:

  • Выполнение предварительных требований.
  • Добавление новых узлов.
  • Конфигурирование топологии IP-сети.
  • Конфигурирование сетей пульса через диски.
  • Конфигурирование групп ресурсов и серверов приложений.
  • Запуск новых узлов.
  • Тестирование кластера.
  • Замечание. Весь процесс конфигурирования можно выполнить при запущенном и работающем кластере.

    Выполнение предварительных требований

    На новых узлах требуется выполнить следующие действия:

  • Установить AIX на новых узлах.
  • Если возможно, установить на всех узлах последние обновления AIX и критические исправления. Это может потребовать перерыва в работе старых узлов.
  • Установить на новых узлах ту же версию кода HACMP и те же исправления.
  • Если возможно, установить последние исправления HACMP на всех узлах. Это может потребовать перерыва в работе первых двух узлов.
  • Установить и протестировать базовые сетевые интерфейсы на новых узлах.
  • Отредактировать файл /etc/hosts, чтобы он включал все IP-адреса всех узлов кластера. Убедитесь в том, что на всех узлах этот файл имеет одинаковое содержимое.
  • Этот файл используется в процессе обнаружения HACMP, а также в процессе конфигурирования IP-сети.
  • В целях обеспечения повышенной безопасности мы советуем записать все IP-интерфейсы всех узлов в файл /usr/es/sbin/cluster/etc/rhosts.
  • Если вы не используете наборы файлов HACMP, то следует скопировать все необходимые скрипты пред- и постобработки событий, программы уведомления об ошибках, скрипты запуска/остановки и прочие пользовательские файлы на новые узлы.
  • Выполнить синхронизацию идентификаторов пользователей и групп на новых узлах.
  • Создать требуемые общие группы томов и файловые системы.
  • Перезагрузить узлы, чтобы перезапустить clcomdES.
  • Внимание! Убедитесь в том, что на всех узлах уровни обновлений AIX и уровни обновлений HACMP одинаковы.

    Добавление новых узлов в кластер

  • Запустите smit hacmp на одном из первоначальных узлов. Мы будем использовать этот узел для всех операций, кроме тех, о которых сказано другое.
  • Выберите Extended Configuration (Расширенное конфигурирование).
  • Выберите Extended Topology Configuration (Расширенное конфигурирование топологии).
  • Выберите Configure HACMP Nodes (Конфигурирование узлов HACMP).
  • Выберите Add a Node to the HACMP Cluster (Добавление узла в кластер HACMP).
  • Введите имя нового узла.
  • Введите путь для связи к новому узлу или нажмите F4 для вывода списка IP-меток из файла /etc/hosts. См. скриншот SMIT на рис. 6.4. Также см. табл. 6.10. Добавьте узлы p630n3 и p690n01, используя один из базовых адресов в качестве путей для связи с узлом.
  • Повторите эти действия на каждом узле.

    Обнаружение информации, относящейся к HACMP, на узлах

  • Запустите smit hacmp.
  • Выберите (рис 6.4) Добавление узла в кластер HACMP
  • Выберите Discover HACMP-related Information from Configured Nodes (Обнаружение информации, относящейся к HACMP, на сконфигурированных узлах).
  • После этого HACMP выполняет обнаружение всей релевантной информации на всех узлах, включая новые. Впоследствии эта информация будет использоваться для конфигурирования кластера.

    Конфигурирование топологии кластера

    Следуйте нижеперечисленным указаниям, чтобы сконфигурировать параметры IP-сети кластера на новых узлах.

    Добавление базовых интерфейсов в топологию кластера

    См. параметры IP-сети кластера в табл. 6.9 и в табл. 6.10.

  • Запустите smit hacmp.
  • Выберите Extended Configuration (Расширенное конфигурирование).
  • Выберите Extended Topology Configuration (Расширенное конфигурирование топологии).
  • Выберите Configure HACMP Communication Interfaces/Devices (Конфигурирование коммуникационных интерфейсов/устройств HACMP).
  • Выберите Add Communication Interfaces/Devices (Добавление коммуникационных интерфейсов/устройств).
  • Выберите Add Discovered Communication Interface and Devices (Добавление обнаруженных коммуникационных интерфейсов/устройств).
  • Выберите Communication Interfaces (Коммуникационные интерфейсы).
  • Выберите требуемую сеть (например, (рис 6.5) Конфигурирование базового сетевого интерфейса
  • Выберите добавляемый коммуникационный интерфейс. Базовые адреса новых узлов будут выведены в выпадающем списке (см. рис. 6.5).
  • Нажмите Enter для добавления выбранных интерфейсов.
  • Повторите эти действия для каждого базового интерфейса на всех новых узлах ( node3b1, node3b2, node4b1 и node4b2 ). Если в списке не отображаются требуемые сетевые интерфейсы, нужно тщательно проверить параметры сети для новых узлов и файла /etc/hosts, после чего повторно выполнить процесс обнаружения HACMP

    Проверка новой сетевой топологии

  • Запустить smit hacmp.
  • Выполнить Extended Configuration (Расширенное конфигурирование).
  • Выполнить Extended Topology Configuration (Расширенное конфигурирование топологии).
  • Выполнить Show HACMP Topology (Отображение топологии HACMP).
  • Выполнить Show Cluster Topology (Отображение топологии кластера). Нажмите Enter, чтобы просмотреть новую информацию о топологии кластера.
  • Замечание. Можно вывести топологию кластера с использованием утилиты /usr/es/ sbin/cluster/utilities/cllsif.

    Топология кластера должна соответствовать табл. 6.10, если вы все сделали правильно.

    Конфигурирование сетей пульса через диски

    Для удобства мы советуем вам создать отдельные группы томов для мониторинга пульса через диски, чтобы эти диски не использовались для других целей. Кроме того, следует импортировать группы томов на каждом узле, чтобы вы знали, какие диски для чего применяются.

  • Создайте требуемое количество групп томов с возможностью расширенного одновременного доступа (enhanced concurrent capable volume groups) на одном узле (в нашем случае необходимо создать еще три группы томов: c23vg, c34vg и c41vg ):
  • Запустите smit lvm.
  • Выберите Volume Groups (Группы томов).
  • Выберите Add a Volume Group (Добавить группу томов).
  • Введите следующую информацию (см. скриншот SMIT на рис. 6.6).
  • Имя группы томов.
  • Имена физических томов. Volume group MAJOR NUMBER (Старший номер группы томов). Задайте номер, доступный на всех узлах. Доступные старшие номера можно просмотреть с использованием команды lvlstmajor.
  • Установите для параметра Create VG Concurrent Capable (Создать группу томов с возможностью одновременного доступа) значение enhanced concurrent (расширенный одновременный доступ). Создайте все три группы томов с одновременным доступом: c23vg, c34vg и c41vg.Замечание. Задайте группе томов пульса через диски осмысленное имя. Например, мы используем схему наименования cXYvg, где X и Y означают номера двух узлов, применяющих этот диск для мониторинга пульса, например группа томов, используемая для мониторинга пульса между узлами 3 и 4, называется c34vg.
  • Импортируйте новые группы томов на всех узлах. Необходимо везде применять одинаковый старший номер группы томов, например importvg -V 53 -y c23vg vpath5, либо использовать smit importvg.
  • Перезапустите процесс обнаружения кластера HACMP (См. раздел "Обнаружение информации, относящейся к HACMP, на узлах").
  • Теперь мы можем добавить пары дисков для мониторинга пульса через диски в конфигурацию кластера:(рис 6.6) Создание группы томов с возможностью расширенного одновременного доступа
  • Запустите smit hacmp.Выберите Extended Configuration (Расширенное конфигурирование).
  • Выберите Extended Topology Configuration (Расширенное конфигурирование топологии).
  • Выберите Configure HACMP Communication Interfaces/Devices (Конфигурирование коммуникационных интерфейсов/устройств HACMP).
  • Выберите Add Communication Interfaces/Devices (Добавление коммуникационных интерфейсов/устройств).
  • Выберите Add Discovered Communication Interface and Devices (Добавление обнаруженных коммуникационных интерфейсов/устройств).
  • Выберите Communication Devices (Коммуникационные устройства).
  • Выберите пары дисков для мониторинга пульса через диски, которые следует добавить (рис. 6.7). SMIT выводит список обнаруженных дисков, содержащих группы томов с возможностью расширенного одновременного доступа. Выберите два устройства из списка. Устройства должны иметь одинаковый идентификатор тома (volume ID), они должны представлять один и тот же физический диск. При выборе пар дисков всегда следует обращать внимание на идентификатор PVID (в правой части экрана), так как имена hdisk на разных узлах могут отличаться. Один диск может быть использован только в одной сети мониторинга пульса через диски. Также следует проверить выходные данные команды lspv, чтобы определить отношения между группами томов и дисками.(рис 6.7) Добавление устройств пульса через дискиНапример, сеть пульса через диски между узлами p650n03 и p690n01 проходит через c34vg. Группа томов c34vg содержит один диск; этот диск на обоих узлах называется vpath6. Этот диск имеет идентификатор PVID 000197caca4d816f. Так что при выборе пары устройств в меню SMIT сначала нужно выбрать диск с требуемым PVID, после чего выбрать соответствующие узлы. Повторите этот этап с каждой парой устройств пульса через диски для новых узлов.
  • Проверьте новую топологию сети:
  • Запустите smit hacmp.
  • Выберите Extended Configuration (Расширенное конфигурирование).
  • Выберите Extended Topology Configuration (Расширенное конфигурирование топологии).
  • Выберите Show HACMP Topology (Отображение топологии HACMP).
  • Выберите Show Topology Information by Network Name (Отображение информации о топологии по имени сети).
  • Выберите Show All Networks (Показать все сети). Пример выводимых данных см. на рис 6.8(рис 6.8) Проверка конфигурации сети пульса через диски
  • К этому моменту мы успешно сконфигурировали новую топологию кластера. Пожалуйста, еще раз проверьте новую топологию и выполнение предварительных требований, прежде чем начинать процесс верификации и синхронизации.

    Выполнение верификации и синхронизации кластера

  • Запустите smit hacmp.
  • Выберите Extended Configuration (Расширенное конфигурирование).
  • Выберите Extended Verification and Synchronization (Расширенная верификация и синхронизация).
  • Используйте следующие значения при запуске процесса верификации кластера (рис. 6.9):
  • Emulate or Actual (Эмуляция или действительное выполнение): Actual (Действительное выполнение).
  • Verify changes only? (Выполнить только верификацию изменений?): No (Нет).
  • Logging (Ведение журналов): Standard (Стандартное).
  • При верификации кластера выполняется проверка и наполнение ODM-классов HACMP информацией о новой конфигурации топологии. Если у вас включены наборы файлов, HACMP копирует файлы на новые узлы. Вам нужно исправить возможные ошибки и предупреждения, прежде чем продолжать конфигурирование группы ресурсов. После успешной верификации новые узлы и коммуникационные интерфейсы должны выводиться в утилите /usr/es/sbin/cluster/clstat.

    (рис 6.9) Верификация и синхронизация кластераВнимание! Когда кластер находится в активном состоянии, нельзя выполнять верификацию и синхронизацию HACMP с включенной опцией "Аutomatically correct errors found during verification" ("Автоматически исправлять ошибки, обнаруженные при верификации"). Кроме того, нельзя выполнить принудительную синхронизацию в случае неудачной верификации.

    Конфигурирование ресурсов

    На данном этапе предполагается, что уже были выполнены следующие предварительные задачи:

  • создано общее хранилище, группы томов и файловые системы;
  • установлено приложение;
  • созданы и протестированы скрипты запуска и остановки приложения.
  • Конфигурирование сервисного IP-адреса

    Для выполнения этого этапа используйте данные конфигурации сети из табл. 6.10.

  • Запустите smit hacmp.
  • Выберите Extended Configuration (Расширенное конфигурирование).
  • Выберите Extended Resource Configuration (Расширенное конфигурирование ресурсов).
  • Выберите HACMP Extended Resources Configuration (Расширенное конфигурирование ресурсов HACMP).
  • Выберите Configure HACMP Service IP Labels/Addresses (Конфигурирование сервисных IP-меток/адресов HACMP).
  • Выберите Add a Service IP Label/Address (Добавить сервисную IP-метку/ адрес).
  • Выберите Configurable on Multiple Nodes (Настраиваемая на нескольких узлах).
  • Выберите свою сеть, например, net_ether_01.
  • Нажмите F4 для вывода списка обнаруженных адресов. Нажмите Enter для подтверждения (рис. 6.10).
  • (рис 6.10) Конфигурирование сервисной IP-метки

    Повторите эти действия для новых сервисных IP-меток: p650n03 и p690n01.

    Определение новых серверов приложений

  • Запустите smit hacmp.
  • Выберите Extended Configuration (Расширенное конфигурирование).
  • Выберите Extended Resource Configuration (Расширенное конфигурирование ресурсов).
  • Выберите HACMP Extended Resources Configuration (Расширенное конфигурирование ресурсов HACMP).
  • Выберите Configure HACMP Applications (Конфигурирование приложений HACMP).
  • Выберите Configure HACMP Application Servers (Конфигурирование серверов приложений HACMP).
  • Выберите Add an Application Server (Добавить сервер приложения).
  • Введите имя сервера приложения, а также полный путь и имя скриптов запуска и остановки. Здесь можно выполнить конфигурирование метода монитора приложения, если он у вас есть (см. скриншот SMIT на рис. 6.11).
  • (рис 6.11) Добавление сервера приложения

    Создайте серверы приложений itapp и app1. Сведения о конфигурации серверов приложений см. в табл. 6.17.

    Определение групп ресурсов

    Подробные сведения о параметрах конфигурации групп ресурсов см. в табл. 6.18 и в табл. 6.19.

  • Запустите smit hacmp.
  • Выберите Extended Configuration (Расширенное конфигурирование).
  • Выберите Extended Resource Configuration (Расширенное конфигурирование ресурсов).
  • Выберите HACMP Extended Resource Group Configuration (Расширенное конфигурирование групп ресурсов HACMP).
  • Выберите Add a Resource Group (Добавить группу ресурсов).
  • Введите имя группы ресурсов. Выберите имена узлов-участников (нажмите F4 для вывода всплывающего списка имен узлов). Установите политики запуска, перемещения при сбое и возврата после восстановления (нажмите F4 для вывода имеющихся опций) (рис. 6.12).
  • (рис 6.12) Добавление группы ресурсов

    Повторите эти действия для всех новых групп ресурсов ( rg3 и rg4 ).

    Определение атрибутов группы ресурсов

  • Запустите smit hacmp.
  • Выберите Extended Configuration (Расширенное конфигурирование).
  • Выберите Extended Resource Configuration (Расширенное конфигурирование ресурсов).
  • Выберите HACMP Extended Resource Group Configuration (Расширенное конфигурирование групп ресурсов HACMP).
  • Выберите Change/Show Resources and Attributes for a Resource Group (Изменить/показать ресурсы и атрибуты группы ресурсов).
  • Выберите из списка группу ресурсов, которую требуется изменить.
  • Выполните конфигурирование группы ресурсов на основе параметров конфигурации группы ресурсов, представленных в табл. 6.19 (см. скриншот SMIT на рис. 6.13)
  • Повторите эти действия для всех новых групп ресурсов ( rg3 и rg4 ). Если какой-либо из предопределенных ресурсов (например, общая группа томов или файловая система) не отображается, следует еще раз запустить процесс обнаружения HACMP (см. раздел "Обнаружение информации, относящейся к HACMP, на узлах".

    Выполнение верификации и синхронизации кластера

    К этому моменту было успешно выполнено конфигурирование новых ресурсов кластера. Можно также выполнить любые другие необходимые задачи конфигурирования, например добавить мониторы приложений или скрипты пред- и постобработки событий.

    (рис 6.13) Конфигурирование атрибутов группы ресурсов

    Пожалуйста, ее раз проверьте новые ресурсы, прежде чем начинать процесс верификации и синхронизации, так как некоторые группы ресурсов могут быть активизированы на первоначальных узлах. В нашем примере группы ресурсов rg3 и rg4 будут подключены на узлах p650n01 или p650n02 после успешной синхронизации кластера.

  • Запустите smit hacmp.
  • Выберите Extended Configuration (Расширенное конфигурирование).
  • Выберите Extended Verification and Synchronization (Расширенная верификация и синхронизация).
  • Нажмите Enter, чтобы запустить процесс верификации и синхронизации.
  • Так как два узла уже работают и новая конфигурация ресурсов может на них повлиять, пожалуйста, проверьте файлы /tmp/hacmp.out на двух первоначальных узлах на наличие ошибок.

    Запуск HACMP на новых узлах

    Если верификация кластера прошла успешно, можно запустить HACMP на новых узлах.

  • Запустите smit clstart.
  • Выберите новые узлы и нажмите Enter для запуска HACMP.
  • Следует проверить файлы /tmp/hacmp.out на всех узлах на наличие ошибок при запуске. Если проектирование и конфигурирование были выполнены должным образом, то на этом этапе все должно быть нормально.

    Тестирование кластера

    Так как выполнение этой операции предполагает, что кластер должен продолжать работать на первых двух узлах, мы рекомендуем выполнить тестирование новой конфигурации во время окна обслуживания, когда допускается перерыв в работе существующих приложений. Мы предлагаем как можно быстрее выполнить тестирование перехвата и проверить максимально возможное количество сценариев. См. раздел "Разработка плана тестирования кластера".

    В табл. 6.20 представлено размещение группы ресурсов при отказе одного или двух узлов. При отключении узла p690n01 нельзя предсказать расположение группы ресурсов rg4, так как она будет перемещена на узел с наименьшим показателем использования процессора. В таблице это обозначено путем указания группы ресурсов в скобках.

    Размещение групп ресурсов при отказе узла
    p65 0n01 p65 0n02 p65 0n03 p69 0n01
    Все узлы работают rg1 rg2 rg3 rg4
    Отказ p650n01 отказ rg2, rg1 rg3 rg4
    Отказ p650n02 rg1, rg2 отказ rg3 rg4
    Отказ p650n03 rg1 rg2 отказ rg4, rg3
    Отказ p690n01 rg1 (rg4) rg2 (rg4) rg3 (rg4) отказ
    Отказ p650n03 и p690n01 rg1 (rg4) rg2, rg3, (rg4) отказ отказ
    Отказ p650n01, p650n03 и p690n01 отказ rg2, rg1, rg3, rg4 отказ отказ
    Страницы:

    Конфигурация из двух узлов

    В этом разделе описывается конфигурация первоначального кластера из двух узлов с использованием таблиц, подобных применяемым при планировании кластера HACMP. Конфигурация кластера изображена на рис. 6.1. Основные особенности двухузлового кластера следующие:

  • два узла;
  • одна открытая (public) Ethernet-сеть (net_ether_01) с перехватом IP-адреса посредством синонимов;
  • два базовых IP-адреса и один сервисный адрес на узел;
  • одна сеть пульса через диски (net_diskhb_01) для соединения без IP;
  • на каждом узле выполняется одно приложение в конфигурации взаимного перехвата;
  • одна общая группа томов на узел;
  • резервные подключения Fibre Channel.
  • (рис 6.1) Конфигурация из двух узлов

    Топология кластера

    Сведения о конфигурации топологии кластера:

    Имя кластера: clto24.
    Имя узла 1: p650n01.
    Имя узла 2: p650n02.

    В кластере используется одна IP-сеть и одна сеть пульса через диски, отличная от IP. Также применяется перехват IP-адреса посредством синонимов. Конфигурация сети представлена в табл. 6.1.

    Конфигурация сетей
    Имя сети Тип сети Маска сети IPAT посредством синонимов
    net_ether_01 ethernet (открытая) 255.255.255.0 Включен
    net_diskhb_01 Сеть пульса через диски Неприменимо Неприменимо

    В табл. 6.2 представлена конфигурация сетевых интерфейсов. Каждый узел содержит два сетевых адаптера, и каждый интерфейс содержит один базовый IP-адрес. Кроме того, имеется два сервисных адреса, по одному для каждой группы ресурсов.

    Сетевые интерфейсы
    IP-метка Сетевой интерфейс Функция интерфейса IP-адрес
    node1b1 en0 Базовый на p650n01 192.168.100.51
    node1b2 en1 Базовый на p650n01 192.168.145.51
    p650n01Как видно из этого примера, желательно использовать "значимые" сервисные IP-метки, так как из названия, указанного здесь, понять, что она относится к группе ресурсов rg1 (в свою очередь, отвечающей за приложение DB2), невозможно. Подобные названия зачастую увеличивают время поиска и устранения неисправности. Имя p650n01 в данном примере больше подходит для постоянной IP-метки. Сервисный 192.168.147.51
    node2b1 en0 Базовый на p650n02 192.168.100.52
    node2b2 en1 Базовый на p650n02 192.168.145.52
    p650n02 Сервисный 192.168.147.52

    Кластер имеет одну сеть пульса через диски, которая включает одну группу томов с возможностью расширенного одновременного доступа (enhanced concurrent capable volume group). Этот диск используется только для мониторинга пульса. ( табл. 6.3).

    Конфигурация сети пульса через диски
    Имя сети Первый узел Второй узел Имя устройства Имя группы томов
    net_diskhb_01 p650n01 p650n02 vpath4 c12vg
    Примечание. Для согласованности мы используем одинаковую нумерацию устройств vpath на всех узлах, поэтому на обоих узлах устройства vpath имеют одинаковое имя.

    Ресурсы кластера

    Далее описывается, какие ресурсы необходимы для выполнения наших приложений в HACMP.

    Наш кластер имеет два приложения. В обычных условиях приложение DB2 выполняется на узле p650n01, тогда как приложение Development выполняется на узле p650n02. Узлы работают в традиционной конфигурации со взаимным перехватом. Каждое приложение имеет собственную группу томов: db2vg и devvg соответственно.

    Конфигурация общих групп томов и файловых систем

    В табл. 6.4 представлена конфигурация общих групп томов.

    Конфигурация общих групп томов
    Имя группы томов Vpath на p65 0n01 Vpath на p65 0n02 Старший номер устройства
    db2vg vpath0 vpath0 45
    devvg vpath1 vpath1 46

    Табл. 6.5 содержит подробную конфигурацию файловых систем в группе томов db2vg.

    Конфигурация файловых систем первой группы томов
    Имя группы томов db2vg
    Файловая система 1 /db2data
    Файловая система 1 – логический том /dev/db2datalv
    Файловая система 1 – том журнала jfs /dev/db2loglv
    Файловая система 2 /db2archiv
    Файловая система 2 – логический том /dev/db2arclv
    Файловая система 2 – том журнала jfs /dev/db2loglv

    Табл. 6.6 содержит конфигурацию файловых систем в группе томов devvg.

    Конфигурация файловых систем второй группы томов
    Имя группы томов devv g
    Файловая система 1 /develop
    Файловая система 1 – логический том /dev/devlv
    Файловая система 1 – том журнала jfs Встроенный журналЗдесь и далее в примерах в этой лекции встроенный журнал (inline log) допустим только при использовании файловой системы JFS2.
    Файловая система 2 /tools
    Файловая система 2 – логический том /dev/toolslv
    Файловая система 2 – том журнала jfs Встроенный журнал
    Конфигурация серверов приложений
    Конфигурация серверов приложений Скрипт запуска Скрипт остановки
    DB2 /usr/ha/start.db2 /usr/ha/stop.db2
    Development /usr/ha/start.development /usr/ha/stop.development

    Группы ресурсов

    Мы создали две группы ресурсов. Каждая группа ресурсов содержит один сервер приложений, один сервисный IP-адрес и требуемую группу томов. Табл. 6.8 содержит подробную конфигурацию группы ресурсов.

    Конфигурация групп ресурсов
    Имя ресурса rg1Безусловно, напрямую это не влияет на функционирование кластера, но ресурсные группы гораздо нагляднее называть по имени приложений, например здесь – db2rg и devrg (по аналогии с упомянутыми в этой лекции группами томов и другими ресурсами). Такие названия помогают обслуживающему персоналу быстрее разобраться в ситуации в случае возникновения проблем rg2
    Имена узлов-участников p650n01, p650n02 p650n02, p650n01
    Политика запуска Подключение только на домашнем узле (Online On Home Node Only) Подключение только на домашнем узле (Online On Home Node Only)
    Политика перемещения при сбое Перемещение при сбое на узел из списка со следующим приоритетом (Fallover To Next Priority Node In The List) Перемещение при сбое на узел из списка со следующим приоритетом (Fallover To Next Priority Node In The List)
    Политика возврата после восстановления Возврат после восстановления на узел с более высоким приоритетом в списке (Fallback To Higher Priority Node In The List) Возврат после восстановления на узел с более высоким приоритетом в списке (Fallback To Higher Priority Node In The List)
    Политика динамического приоритета узлов
    Порядок обработки Параллельная Параллельная
    Сервисные IP-метки p650n01 p650n02
    Серверы приложений db2 development
    Группы томов db2vg devvg
    Использование принудительной активизации групп томов при необходимости Нет Нет
    Автоматический импорт групп томов Нет Нет
    Файловые системы ВСЕ ВСЕ
    Проверка согласованности файловой системы fsck fsck
    Метод восстановления файловой системы Последовательный Последовательный
    Подключение файловых систем перед конфигурированием IP Нет Нет
    Файловые системы/каталоги для экспорта
    Файловые системы/каталоги для NFS-подключения
    Сеть для NFS-подключения
    Основной класс WLM

    Конфигурация из четырех узлов

    В этом разделе обсуждается конфигурация нового кластера из четырех узлов. Мы хотим добавить в кластер два новых узла и два новых приложения вместе с необходимыми ресурсами. Ниже представлена информация, используемая на этапе реконфигурации.

    На рис. 6.2 представлена конфигурация нового кластера. Основные особенности кластера:

  • четыре узла;
  • одна открытая Ethernet-сеть ( net_ether_01 ) с перехватом IP-адреса посредством синонимов;(рис 6.2) Четырехузловая конфигурация
  • два базовых IP-адреса и один сервисный адрес на узел;
  • четыре сети пульса через диски для соединения без IP;
  • по умолчанию на каждом узле выполняется одно приложение;
  • одна общая группа томов на узел;
  • резервные подключения Fibre Channel.
  • Топология кластера

    Сведения о конфигурации топологии кластера:

    Имя кластера: clto24.
    Имя узла 1: p650n01.
    Имя узла 2: p650n02.
    Имя узла 3: p650n03.
    Имя узла 4: p690n01.

    Конфигурация сети представлена в табл. 6.9. В новом кластере все еще используется только одна сеть Ethernet с перехватом IP-адреса посредством синонимов. Изменение состоит в том, что теперь кластер содержит четыре сети пульса через диски.

    Конфигурация сетей
    Имя сети Тип сети Маска сети IPAT посредством синонимов
    net_ether_01 ethernet (открытая) 255.255.255.0 Включен
    net_diskhb_01 Сеть пульса через диски Неприменимо Неприменимо
    net_diskhb_02 Сеть пульса через диски Неприменимо Неприменимо
    net_diskhb_03 Сеть пульса через диски Неприменимо Неприменимо
    net_diskhb_04 Сеть пульса через диски Неприменимо Неприменимо

    Конфигурация IP-сети на новых узлах подобна конфигурации на старых узлах: узлы содержат две интерфейсные карты с базовыми адресами. Также мы имеем два новых сервисных адреса для новых групп ресурсов ( табл. 6.10).

    Сетевые интерфейсы
    IP-метка Сетевой интерфейс Функция интерфейса IP-адрес
    node1b1 en0 Базовый на p650n01 192.168.100.51
    node1b2 en1 Базовый на p650n01 192.168.145.51
    p650n01 Сервисный 192.168.147.51
    node2b1 en0 Базовый на p650n02 192.168.100.52
    192.168.100.52 en1 Базовый на p650n02 192.168.100.52
    p650n02 Сервисный 192.168.100.52
    node3b1 en0 Базовый на p650n03 192.168.100.53
    node3b2 en1 Базовый на p650n03 192.168.100.53
    p650n03 Сервисный 192.168.100.53
    node4b1 en0 Базовый на p690n01 192.168.100.63
    node4b2 en1 Базовый на p690n01 192.168.145.63
    p690n01 Сервисный 192.168.147.63

    Конфигурация сетей пульса через диски

    Четырехузловой кластер требует использования четырех сетей пульса через диски. Каждая сеть соединяет два узла через устройство vpath. Четыре сети составляют кольцо, соединяющее узлы. В случае отказа сети Ethernet узлы могут передавать пакеты пульса друг другу по этому кольцу, например узел 1 может отправлять данные на узел 3. На рис. 6.3 показана топология сети пульса через диски.

    (рис 6.3) Конфигурация сетей пульса через диски

    Подробно конфигурация сети пульса через диски представлена в табл. 6.11.

    Примечание. Для согласованности мы используем одинаковую нумерацию устройств vpath на всех узлах, поэтому каждая пара узлов имеет одинаковое имя устройств vpath.
    Конфигурация сетей пульса через диски
    Имя сети Узел 1/устройство Узел 2/устройство Имя группы томов
    net_diskhb_01 p650n01/vpath4 p650n02/vpath4 c12vg
    net_diskhb_02 p650n02/vpath5 p650n03/vpath5 c23vg
    net_diskhb_03 p650n03/vpath6 p690n01/vpath6 c34vg
    net_diskhb_04 p690n01/vpath7 p650n01/vpath7 c41vg

    Конфигурация групп ресурсов

    Новый кластер содержит два новых приложения: Itapp выполняется на узле p650n03, его резервный узел – p690n01. Домашний узел приложения App1 – p690n01 ; он применяет динамический приоритет для перемещения при сбое на наименее используемый узел.

    Мы не меняем серверы приложений DB2 и Development. В обычных условиях DB2 выполняется на узле p650n01, тогда как Development выполняется на узле p650n02. Узлы работают в традиционной конфигурации со взаимным перехватом.

    Ниже описана конфигурация групп ресурсов HACMP, включая информацию об общем хранилище и группе ресурсов.

    Конфигурация общих групп томов и файловых систем

    В табл. 6.12 представлена конфигурация общей группы томов.

    Конфигурация общих групп томов
    Имя группы томов p65 0n01 p65 0n02 p65 0n03 p69 0n01 Старший номер устройства
    db2vg vpath0 vpath0 vpath0 vpath0 45
    devvg vpath1 vpath1 vpath1 vpath1 46
    itappvg vpath2 vpath2 vpath2 vpath2 47
    app1vg vpath3 vpath3 vpath3 vpath3 48

    Табл. 6.13 содержит подробную конфигурацию файловых систем в группе томов db2vg.

    Конфигурации файловых систем первой группы томов
    Имя группы томов db2vg
    Файловая система 1 /db2data
    Файловая система 1 – логический том /dev/db2datalv
    Файловая система 1 – том журнала jfs /dev/db2loglv
    Файловая система 2 /db2archiv
    Файловая система 2 – логический том /dev/db2arclv
    Файловая система 2 – том журнала jfs /dev/db2loglv

    Табл. 6.14 содержит конфигурацию файловых систем в группе томов devvg.

    Конфигурация файловых систем второй группы томов
    Имя группы томов devv g
    Файловая система 1 /develop
    Файловая система 1 – логический том /dev/devlv
    Файловая система 1 – том журнала jfs Встроенный журнал
    Файловая система 2 /tools
    Файловая система 2 – логический том /dev/toolslv
    Файловая система 2 – том журнала jfs Встроенный журнал

    Табл. 6.15 содержит конфигурацию файловой системы в группе томов itappvg.

    Конфигурация файловой системы третей группы томов
    Имя группы томов itappvg
    Файловая система 1 /itapp
    Файловая система 1 – логический том /dev/ itapplv
    Файловая система 1 – том журнала jfs Встроенный журнал

    Табл. 6.16 содержит конфигурацию файловой системы в группе томов app1vg.

    Конфигурация файловой системы четвертой группы томов
    Имя группы томов app1v g
    Файловая система 1 /app1
    Файловая система 1 – логический том /dev/ app1lv
    Файловая система 1 – том журнала jfs Встроенный журнал

    Серверы приложений

    Наш кластер содержит два новых сервера приложений: Itapp и App1. В табл. 6.17 представлены скрипты запуска и остановки для серверов приложений.

    Конфигурация серверов приложений
    Имя сервера приложений Скрипт запуска Скрипт остановки
    DB2 /usr/ha/start.db2 /usr/ha/stop.db2
    Development /usr/ha/start.development /usr/ha/stop.development
    Itapp /usr/ha/start.itapp /usr/ha/stop.itapp
    App1 /usr/ha/start.app1 /usr/ha/stop.app1

    Группы ресурсов

    Табл. 6.18 содержит подробную конфигурацию для первоначальных групп ресурсов rg1 и rg2.

    Конфигурация групп ресурсов-1
    Имя ресурса rg1 rg2
    Имена узлов-участников p650n01, p650n02 p650n02, p650n01
    Политика запуска Подключение только на домашнем узле (Online On Home Node Only) Подключение только на домашнем узле (Online On Home Node Only)
    Политика перемещения при сбое Перемещение при сбое на узел из списка со следующим приоритетом (Fallover To Next Priority Node In The List) Перемещение при сбое на узел из списка со следующим приоритетом (Fallover To Next Priority Node In The List)
    Политика возврата после восстановления Возврат после восстановления на узел с более высоким приоритетом в списке (Fallback To Higher Priority Node In The List) Возврат после восстановления на узел с более высоким приоритетом в списке (Fallback To Higher Priority Node In The List)
    Политика динамического приоритета узлов
    Порядок обработки Параллельная Параллельная
    Сервисные IP-метки p650n01 p650n02
    Серверы приложений db2 development
    Группы томов db2vg devvg
    Использование принудительной активизации групп томов при необходимости Нет Нет
    Автоматический импорт групп томов Нет Нет
    Файловые системы ВСЕ ВСЕ
    Проверка согласованности файловой системы fsck fsck
    Метод восстановления файловой системы Последовательный Последовательный
    Подключение файловых систем перед конфигурированием IP Нет Нет
    Файловые системы/каталоги для экспорта
    Файловые системы/каталоги для NFS-подключения
    Сеть для NFS-подключения
    Основной класс WLM

    Табл. 6.19 содержит подробную конфигурацию новых групп ресурсов. Группа ресурсов rg4 применяет политику динамического перемещения при сбое: в случае отказа узла p690n01 выполняется ее перемещение на любой из остальных трех узлов с наименьшей нагрузкой на процессор.

    Конфигурация групп ресурсов-2
    Имя ресурса rg3 rg4
    Имена узлов-участников p650n03, p690n01, p650n02 p690n01, p650n03, p650n02, p650n01
    Политика запуска Подключение только на домашнем узле (Online On Home Node Only) Подключение только на домашнем узле (Online On Home Node Only)
    Политика перемещения при сбое Перемещение при сбое на узел из списка со следующим приоритетом (Fallover To Next Priority Node In The List) Перемещение при сбое на узел из списка со следующим приоритетом (Fallover To Next Priority Node In The List)
    Политика возврата после восстановления Возврат после восстановления на узел с более высоким приоритетом в списке (Fallback To Higher Priority Node In The List) Возврат после восстановления на узел с более высоким приоритетом в списке (Fallback To Higher Priority Node In The List)
    Политика динамического приоритета узлов Перемещение при сбое на узел с наименьшей нагрузкой на процессор (Fallover to the node with the highest idle CPU (cl_highest_ idle_cpu))
    Порядок обработки Параллельная Параллельная
    Сервисные IP-метки p650n03 p690n01
    Серверы приложений itapp app1
    Группы томов itappvg app1vg
    Использование принудительной активизации групп томов при необходимости Нет Нет
    Автоматический импорт групп томов Нет Нет
    Файловые системы ВСЕ ВСЕ
    Проверка согласованности файловой системы fsck fsck
    Метод восстановления файловой системы Последовательный Последовательный
    Подключение файловых систем перед конфигурированием IP Нет Нет
    Файловые системы/каталоги для экспорта
    Файловые системы/каталоги для NFS-подключения
    Сеть для NFS-подключения
    Основной класс WLM

    Реконфигурирование кластера

    Расширение кластера с двух до четырех узлов состоит из следующих этапов:

  • Выполнение предварительных требований.
  • Добавление новых узлов.
  • Конфигурирование топологии IP-сети.
  • Конфигурирование сетей пульса через диски.
  • Конфигурирование групп ресурсов и серверов приложений.
  • Запуск новых узлов.
  • Тестирование кластера.
  • Замечание. Весь процесс конфигурирования можно выполнить при запущенном и работающем кластере.

    Выполнение предварительных требований

    На новых узлах требуется выполнить следующие действия:

  • Установить AIX на новых узлах.
  • Если возможно, установить на всех узлах последние обновления AIX и критические исправления. Это может потребовать перерыва в работе старых узлов.
  • Установить на новых узлах ту же версию кода HACMP и те же исправления.
  • Если возможно, установить последние исправления HACMP на всех узлах. Это может потребовать перерыва в работе первых двух узлов.
  • Установить и протестировать базовые сетевые интерфейсы на новых узлах.
  • Отредактировать файл /etc/hosts, чтобы он включал все IP-адреса всех узлов кластера. Убедитесь в том, что на всех узлах этот файл имеет одинаковое содержимое.
  • Этот файл используется в процессе обнаружения HACMP, а также в процессе конфигурирования IP-сети.
  • В целях обеспечения повышенной безопасности мы советуем записать все IP-интерфейсы всех узлов в файл /usr/es/sbin/cluster/etc/rhosts.
  • Если вы не используете наборы файлов HACMP, то следует скопировать все необходимые скрипты пред- и постобработки событий, программы уведомления об ошибках, скрипты запуска/остановки и прочие пользовательские файлы на новые узлы.
  • Выполнить синхронизацию идентификаторов пользователей и групп на новых узлах.
  • Создать требуемые общие группы томов и файловые системы.
  • Перезагрузить узлы, чтобы перезапустить clcomdES.
  • Внимание! Убедитесь в том, что на всех узлах уровни обновлений AIX и уровни обновлений HACMP одинаковы.

    Добавление новых узлов в кластер

  • Запустите smit hacmp на одном из первоначальных узлов. Мы будем использовать этот узел для всех операций, кроме тех, о которых сказано другое.
  • Выберите Extended Configuration (Расширенное конфигурирование).
  • Выберите Extended Topology Configuration (Расширенное конфигурирование топологии).
  • Выберите Configure HACMP Nodes (Конфигурирование узлов HACMP).
  • Выберите Add a Node to the HACMP Cluster (Добавление узла в кластер HACMP).
  • Введите имя нового узла.
  • Введите путь для связи к новому узлу или нажмите F4 для вывода списка IP-меток из файла /etc/hosts. См. скриншот SMIT на рис. 6.4. Также см. табл. 6.10. Добавьте узлы p630n3 и p690n01, используя один из базовых адресов в качестве путей для связи с узлом.
  • Повторите эти действия на каждом узле.

    Обнаружение информации, относящейся к HACMP, на узлах

  • Запустите smit hacmp.
  • Выберите (рис 6.4) Добавление узла в кластер HACMP
  • Выберите Discover HACMP-related Information from Configured Nodes (Обнаружение информации, относящейся к HACMP, на сконфигурированных узлах).
  • После этого HACMP выполняет обнаружение всей релевантной информации на всех узлах, включая новые. Впоследствии эта информация будет использоваться для конфигурирования кластера.

    Конфигурирование топологии кластера

    Следуйте нижеперечисленным указаниям, чтобы сконфигурировать параметры IP-сети кластера на новых узлах.

    Добавление базовых интерфейсов в топологию кластера

    См. параметры IP-сети кластера в табл. 6.9 и в табл. 6.10.

  • Запустите smit hacmp.
  • Выберите Extended Configuration (Расширенное конфигурирование).
  • Выберите Extended Topology Configuration (Расширенное конфигурирование топологии).
  • Выберите Configure HACMP Communication Interfaces/Devices (Конфигурирование коммуникационных интерфейсов/устройств HACMP).
  • Выберите Add Communication Interfaces/Devices (Добавление коммуникационных интерфейсов/устройств).
  • Выберите Add Discovered Communication Interface and Devices (Добавление обнаруженных коммуникационных интерфейсов/устройств).
  • Выберите Communication Interfaces (Коммуникационные интерфейсы).
  • Выберите требуемую сеть (например, (рис 6.5) Конфигурирование базового сетевого интерфейса
  • Выберите добавляемый коммуникационный интерфейс. Базовые адреса новых узлов будут выведены в выпадающем списке (см. рис. 6.5).
  • Нажмите Enter для добавления выбранных интерфейсов.
  • Повторите эти действия для каждого базового интерфейса на всех новых узлах ( node3b1, node3b2, node4b1 и node4b2 ). Если в списке не отображаются требуемые сетевые интерфейсы, нужно тщательно проверить параметры сети для новых узлов и файла /etc/hosts, после чего повторно выполнить процесс обнаружения HACMP

    Проверка новой сетевой топологии

  • Запустить smit hacmp.
  • Выполнить Extended Configuration (Расширенное конфигурирование).
  • Выполнить Extended Topology Configuration (Расширенное конфигурирование топологии).
  • Выполнить Show HACMP Topology (Отображение топологии HACMP).
  • Выполнить Show Cluster Topology (Отображение топологии кластера). Нажмите Enter, чтобы просмотреть новую информацию о топологии кластера.
  • Замечание. Можно вывести топологию кластера с использованием утилиты /usr/es/ sbin/cluster/utilities/cllsif.

    Топология кластера должна соответствовать табл. 6.10, если вы все сделали правильно.

    Конфигурирование сетей пульса через диски

    Для удобства мы советуем вам создать отдельные группы томов для мониторинга пульса через диски, чтобы эти диски не использовались для других целей. Кроме того, следует импортировать группы томов на каждом узле, чтобы вы знали, какие диски для чего применяются.

  • Создайте требуемое количество групп томов с возможностью расширенного одновременного доступа (enhanced concurrent capable volume groups) на одном узле (в нашем случае необходимо создать еще три группы томов: c23vg, c34vg и c41vg ):
  • Запустите smit lvm.
  • Выберите Volume Groups (Группы томов).
  • Выберите Add a Volume Group (Добавить группу томов).
  • Введите следующую информацию (см. скриншот SMIT на рис. 6.6).
  • Имя группы томов.
  • Имена физических томов. Volume group MAJOR NUMBER (Старший номер группы томов). Задайте номер, доступный на всех узлах. Доступные старшие номера можно просмотреть с использованием команды lvlstmajor.
  • Установите для параметра Create VG Concurrent Capable (Создать группу томов с возможностью одновременного доступа) значение enhanced concurrent (расширенный одновременный доступ). Создайте все три группы томов с одновременным доступом: c23vg, c34vg и c41vg.Замечание. Задайте группе томов пульса через диски осмысленное имя. Например, мы используем схему наименования cXYvg, где X и Y означают номера двух узлов, применяющих этот диск для мониторинга пульса, например группа томов, используемая для мониторинга пульса между узлами 3 и 4, называется c34vg.
  • Импортируйте новые группы томов на всех узлах. Необходимо везде применять одинаковый старший номер группы томов, например importvg -V 53 -y c23vg vpath5, либо использовать smit importvg.
  • Перезапустите процесс обнаружения кластера HACMP (См. раздел "Обнаружение информации, относящейся к HACMP, на узлах").
  • Теперь мы можем добавить пары дисков для мониторинга пульса через диски в конфигурацию кластера:(рис 6.6) Создание группы томов с возможностью расширенного одновременного доступа
  • Запустите smit hacmp.Выберите Extended Configuration (Расширенное конфигурирование).
  • Выберите Extended Topology Configuration (Расширенное конфигурирование топологии).
  • Выберите Configure HACMP Communication Interfaces/Devices (Конфигурирование коммуникационных интерфейсов/устройств HACMP).
  • Выберите Add Communication Interfaces/Devices (Добавление коммуникационных интерфейсов/устройств).
  • Выберите Add Discovered Communication Interface and Devices (Добавление обнаруженных коммуникационных интерфейсов/устройств).
  • Выберите Communication Devices (Коммуникационные устройства).
  • Выберите пары дисков для мониторинга пульса через диски, которые следует добавить (рис. 6.7). SMIT выводит список обнаруженных дисков, содержащих группы томов с возможностью расширенного одновременного доступа. Выберите два устройства из списка. Устройства должны иметь одинаковый идентификатор тома (volume ID), они должны представлять один и тот же физический диск. При выборе пар дисков всегда следует обращать внимание на идентификатор PVID (в правой части экрана), так как имена hdisk на разных узлах могут отличаться. Один диск может быть использован только в одной сети мониторинга пульса через диски. Также следует проверить выходные данные команды lspv, чтобы определить отношения между группами томов и дисками.(рис 6.7) Добавление устройств пульса через дискиНапример, сеть пульса через диски между узлами p650n03 и p690n01 проходит через c34vg. Группа томов c34vg содержит один диск; этот диск на обоих узлах называется vpath6. Этот диск имеет идентификатор PVID 000197caca4d816f. Так что при выборе пары устройств в меню SMIT сначала нужно выбрать диск с требуемым PVID, после чего выбрать соответствующие узлы. Повторите этот этап с каждой парой устройств пульса через диски для новых узлов.
  • Проверьте новую топологию сети:
  • Запустите smit hacmp.
  • Выберите Extended Configuration (Расширенное конфигурирование).
  • Выберите Extended Topology Configuration (Расширенное конфигурирование топологии).
  • Выберите Show HACMP Topology (Отображение топологии HACMP).
  • Выберите Show Topology Information by Network Name (Отображение информации о топологии по имени сети).
  • Выберите Show All Networks (Показать все сети). Пример выводимых данных см. на рис 6.8(рис 6.8) Проверка конфигурации сети пульса через диски
  • К этому моменту мы успешно сконфигурировали новую топологию кластера. Пожалуйста, еще раз проверьте новую топологию и выполнение предварительных требований, прежде чем начинать процесс верификации и синхронизации.

    Выполнение верификации и синхронизации кластера

  • Запустите smit hacmp.
  • Выберите Extended Configuration (Расширенное конфигурирование).
  • Выберите Extended Verification and Synchronization (Расширенная верификация и синхронизация).
  • Используйте следующие значения при запуске процесса верификации кластера (рис. 6.9):
  • Emulate or Actual (Эмуляция или действительное выполнение): Actual (Действительное выполнение).
  • Verify changes only? (Выполнить только верификацию изменений?): No (Нет).
  • Logging (Ведение журналов): Standard (Стандартное).
  • При верификации кластера выполняется проверка и наполнение ODM-классов HACMP информацией о новой конфигурации топологии. Если у вас включены наборы файлов, HACMP копирует файлы на новые узлы. Вам нужно исправить возможные ошибки и предупреждения, прежде чем продолжать конфигурирование группы ресурсов. После успешной верификации новые узлы и коммуникационные интерфейсы должны выводиться в утилите /usr/es/sbin/cluster/clstat.

    (рис 6.9) Верификация и синхронизация кластераВнимание! Когда кластер находится в активном состоянии, нельзя выполнять верификацию и синхронизацию HACMP с включенной опцией "Аutomatically correct errors found during verification" ("Автоматически исправлять ошибки, обнаруженные при верификации"). Кроме того, нельзя выполнить принудительную синхронизацию в случае неудачной верификации.

    Конфигурирование ресурсов

    На данном этапе предполагается, что уже были выполнены следующие предварительные задачи:

  • создано общее хранилище, группы томов и файловые системы;
  • установлено приложение;
  • созданы и протестированы скрипты запуска и остановки приложения.
  • Конфигурирование сервисного IP-адреса

    Для выполнения этого этапа используйте данные конфигурации сети из табл. 6.10.

  • Запустите smit hacmp.
  • Выберите Extended Configuration (Расширенное конфигурирование).
  • Выберите Extended Resource Configuration (Расширенное конфигурирование ресурсов).
  • Выберите HACMP Extended Resources Configuration (Расширенное конфигурирование ресурсов HACMP).
  • Выберите Configure HACMP Service IP Labels/Addresses (Конфигурирование сервисных IP-меток/адресов HACMP).
  • Выберите Add a Service IP Label/Address (Добавить сервисную IP-метку/ адрес).
  • Выберите Configurable on Multiple Nodes (Настраиваемая на нескольких узлах).
  • Выберите свою сеть, например, net_ether_01.
  • Нажмите F4 для вывода списка обнаруженных адресов. Нажмите Enter для подтверждения (рис. 6.10).
  • (рис 6.10) Конфигурирование сервисной IP-метки

    Повторите эти действия для новых сервисных IP-меток: p650n03 и p690n01.

    Определение новых серверов приложений

  • Запустите smit hacmp.
  • Выберите Extended Configuration (Расширенное конфигурирование).
  • Выберите Extended Resource Configuration (Расширенное конфигурирование ресурсов).
  • Выберите HACMP Extended Resources Configuration (Расширенное конфигурирование ресурсов HACMP).
  • Выберите Configure HACMP Applications (Конфигурирование приложений HACMP).
  • Выберите Configure HACMP Application Servers (Конфигурирование серверов приложений HACMP).
  • Выберите Add an Application Server (Добавить сервер приложения).
  • Введите имя сервера приложения, а также полный путь и имя скриптов запуска и остановки. Здесь можно выполнить конфигурирование метода монитора приложения, если он у вас есть (см. скриншот SMIT на рис. 6.11).
  • (рис 6.11) Добавление сервера приложения

    Создайте серверы приложений itapp и app1. Сведения о конфигурации серверов приложений см. в табл. 6.17.

    Определение групп ресурсов

    Подробные сведения о параметрах конфигурации групп ресурсов см. в табл. 6.18 и в табл. 6.19.

  • Запустите smit hacmp.
  • Выберите Extended Configuration (Расширенное конфигурирование).
  • Выберите Extended Resource Configuration (Расширенное конфигурирование ресурсов).
  • Выберите HACMP Extended Resource Group Configuration (Расширенное конфигурирование групп ресурсов HACMP).
  • Выберите Add a Resource Group (Добавить группу ресурсов).
  • Введите имя группы ресурсов. Выберите имена узлов-участников (нажмите F4 для вывода всплывающего списка имен узлов). Установите политики запуска, перемещения при сбое и возврата после восстановления (нажмите F4 для вывода имеющихся опций) (рис. 6.12).
  • (рис 6.12) Добавление группы ресурсов

    Повторите эти действия для всех новых групп ресурсов ( rg3 и rg4 ).

    Определение атрибутов группы ресурсов

  • Запустите smit hacmp.
  • Выберите Extended Configuration (Расширенное конфигурирование).
  • Выберите Extended Resource Configuration (Расширенное конфигурирование ресурсов).
  • Выберите HACMP Extended Resource Group Configuration (Расширенное конфигурирование групп ресурсов HACMP).
  • Выберите Change/Show Resources and Attributes for a Resource Group (Изменить/показать ресурсы и атрибуты группы ресурсов).
  • Выберите из списка группу ресурсов, которую требуется изменить.
  • Выполните конфигурирование группы ресурсов на основе параметров конфигурации группы ресурсов, представленных в табл. 6.19 (см. скриншот SMIT на рис. 6.13)
  • Повторите эти действия для всех новых групп ресурсов ( rg3 и rg4 ). Если какой-либо из предопределенных ресурсов (например, общая группа томов или файловая система) не отображается, следует еще раз запустить процесс обнаружения HACMP (см. раздел "Обнаружение информации, относящейся к HACMP, на узлах".

    Выполнение верификации и синхронизации кластера

    К этому моменту было успешно выполнено конфигурирование новых ресурсов кластера. Можно также выполнить любые другие необходимые задачи конфигурирования, например добавить мониторы приложений или скрипты пред- и постобработки событий.

    (рис 6.13) Конфигурирование атрибутов группы ресурсов

    Пожалуйста, ее раз проверьте новые ресурсы, прежде чем начинать процесс верификации и синхронизации, так как некоторые группы ресурсов могут быть активизированы на первоначальных узлах. В нашем примере группы ресурсов rg3 и rg4 будут подключены на узлах p650n01 или p650n02 после успешной синхронизации кластера.

  • Запустите smit hacmp.
  • Выберите Extended Configuration (Расширенное конфигурирование).
  • Выберите Extended Verification and Synchronization (Расширенная верификация и синхронизация).
  • Нажмите Enter, чтобы запустить процесс верификации и синхронизации.
  • Так как два узла уже работают и новая конфигурация ресурсов может на них повлиять, пожалуйста, проверьте файлы /tmp/hacmp.out на двух первоначальных узлах на наличие ошибок.

    Запуск HACMP на новых узлах

    Если верификация кластера прошла успешно, можно запустить HACMP на новых узлах.

  • Запустите smit clstart.
  • Выберите новые узлы и нажмите Enter для запуска HACMP.
  • Следует проверить файлы /tmp/hacmp.out на всех узлах на наличие ошибок при запуске. Если проектирование и конфигурирование были выполнены должным образом, то на этом этапе все должно быть нормально.

    Тестирование кластера

    Так как выполнение этой операции предполагает, что кластер должен продолжать работать на первых двух узлах, мы рекомендуем выполнить тестирование новой конфигурации во время окна обслуживания, когда допускается перерыв в работе существующих приложений. Мы предлагаем как можно быстрее выполнить тестирование перехвата и проверить максимально возможное количество сценариев. См. раздел "Разработка плана тестирования кластера".

    В табл. 6.20 представлено размещение группы ресурсов при отказе одного или двух узлов. При отключении узла p690n01 нельзя предсказать расположение группы ресурсов rg4, так как она будет перемещена на узел с наименьшим показателем использования процессора. В таблице это обозначено путем указания группы ресурсов в скобках.

    Размещение групп ресурсов при отказе узла
    p65 0n01 p65 0n02 p65 0n03 p69 0n01
    Все узлы работают rg1 rg2 rg3 rg4
    Отказ p650n01 отказ rg2, rg1 rg3 rg4
    Отказ p650n02 rg1, rg2 отказ rg3 rg4
    Отказ p650n03 rg1 rg2 отказ rg4, rg3
    Отказ p690n01 rg1 (rg4) rg2 (rg4) rg3 (rg4) отказ
    Отказ p650n03 и p690n01 rg1 (rg4) rg2, rg3, (rg4) отказ отказ
    Отказ p650n01, p650n03 и p690n01 отказ rg2, rg1, rg3, rg4 отказ отказ
    Вернуться к учебному плану