Интернет-Университет Суперкомпьютерных Технологий:

Реализация мультипроцессорных кластеров высокой доступности (HACMP)
[+]
Компания IBM
Опубликован: 01.02.2008 | Доступ: свободный | Студентов: 616 / 22 | Оценка: 4.60 / 4.40 | Длительность: 43:55:00
Темы: Сетевые технологии, Операционные системы, Программирование, Суперкомпьютерные технологии
Специальности: Разработчик аппаратуры
Теги: aix, etherchannel, extended configuration, ODM, RMC, RPV, SMIT, SPOC, SSA, высокая доступность, интерфейсы, каталоги, кластеры, клиенты, политика, приложения, программное обеспечение, процессоры, серверы, скрипты, тестирование, файловые системы
Лекция 1:

Введение в HACMP
A
|
версия для печати
Лекция 1: 123456 || Лекция 2 >

История и эволюция

История IBM High Availability Cluster Multi-Processing началась в начале 1990-х гг. Разработка HACMP была начата в 1990 г. с целью обеспечить решение высокой доступности для приложений, выполняющихся на серверах RS/6000. Мы не представляем информацию о самых ранних версиях, так как эти версии уже не поддерживались и не использовались на момент написания этой статьи курса; вместо этого мы сосредоточились на наиболее поздних версиях.

Изначально HACMP разрабатывался как автономный продукт (называемый сейчас HACMP Classic), однако, как только появилась инфраструктура высокой доступности Reliable Scalable Clustering Technology (RSCT) от компании IBM, она была применена в HACMP, в результате чего была разработана технология HACMP Enhanced Scalability (HACMP/ES), обеспечивающая более высокую производительность и функциональность по сравнению с "классической" версией.

HACMP Version 4

HACMP V4.2.2 Наряду с HACMP Classic (HAS) эта версия включала версию с улучшенной масштабируемостью (enhanced scalability, ES), основанную на топологии RSCT (Reliable Scalable Clustering Technology), группах и службах управления событиями, унаследованных от PSSP (Parallel Systems Support Program).
HACMP V4.3.X Помимо прочего, эта версия включала поддержку 32 узлов для HACMP/ES, усовершенствования C-SPOC, поддержку сетей ATM, HACMP Task Guides (графический интерфейс для упрощения конфигурирования кластеров), множество скриптов пред и постобработки событий (pre-event, post-event scripts), функцию переноса (takeover) MAC-адреса FDDI, усовершенствования мониторинга и поддержку администрирования, поузловую миграцию и поддержку AIX Fast Connect.
HACMP V4.4.X К новым элементам в этой версии относятся интеграция с Tivoli, мониторинг приложений, каскадирование без возврата после восстановления (cascading without fallback), усовершенствования C-SPOC, улучшенная поддержка миграции, интеграция функциональных возможностей HA-NFS и электронная документация (HTML и PDF).
HACMP V4.5 В этой версии обязательным является использование AIX 5L; версия содержит функцию автоматического определения конфигурации, допускает применение нескольких сервисных меток (service labels) для каждого сетевого адаптера [посредством использования IP-синонимов (alias)], обеспечивает поддержку постоянных (persistent) IP-адресов, содержит 64-разрядный API и функции мониторинга и восстановления после потери кворума группы томов.

HACMP Version 5 Release 1

В этой версии появилось множество крупных изменений, от упрощения конфигурирования и повышения производительности до изменения терминологии HACMP:

HACMP Classic (HAS) не был включен; пакет содержал только HACMP/ES, основанный на технологии IBM Reliable Scalable Cluster Technology.

Ниже приведены некоторые наиболее важные новые возможности HACMP V5.1.

  • Пути конфигурации (процедуры) SMIT "Standard" ("Базовая") и "Extended" ("Расширенная").
  • Автоматическое определение конфигурации.
  • Настраиваемые группы ресурсов (Custom Resourse Groups).
  • Сети, отличные от IP, основанные на передаче пакетов мониторинга (пульса, heartbeating) через диски.
  • Быстрый перехват диска (Fast Disk Takeover).
  • Принудительная активизация (varyon) групп томов.
  • Передача пакетов мониторинга (пульса) через IP-синонимы (Heartbeating over IP aliases).
  • Повышенная безопасность посредством использования демона коммуникаций (cluster communication daemon) в кластере (что устраняет необходимость использования r-команд AIX, устраняя и необходимость в файле /.rhosts).
  • Повышенная производительность процесса конфигурирования и синхронизации кластера.
  • Упорядочение терминологии HACMP (ее согласование с другими продуктами HA).
  • Упрощение конфигурирования и обслуживания.
  • Усовершенствования системы автоматизированного планирования (Online Planning Worksheets).
  • Настраиваемые группы ресурсов.
  • Мониторинг пульса сервисных IP-адресов/меток на резервных узлах (узлах подхвата).
  • Мониторинг пульса через IP-синонимы.
  • Мониторинг пульса через диски.
  • Различные усовершенствования C-SPOC.
  • Интеграция с GPFS.
  • Усовершенствования в проверке кластеров.
  • Улучшенное управление группами ресурсов.

HACMP Version 5 Release 2

Выпущенная в июле 2004 г. версия HACMP V5.2 содержала дополнительные усовершенствования в управлении, упрощении конфигурирования, автоматизации и производительности: Two-Node Configuration Assistant (упрощенное конфигурирование кластера из двух узлов), содержащий как меню SMIT, так и интерфейс Java™ (в дополнение к путям конфигурации SMIT "Standard" и "Extended"). Ниже приведен обзор усовершенствований, реализованных в HACMP V5.2:

  • Наборы файлов (File Collections).
  • Управление паролями пользователей.
  • Отказ от использования классических групп ресурсов; заменены настраиваемыми группами ресурсов.
  • Автоматические процедуры тестирования.
  • Автоматическая проверка кластеров.
  • Усовершенствованная система автоматизированного планирования (OLPW) теперь может импортировать конфигурацию из существующего HACMP-кластера.
  • Управление событиями (event management, EM) было заменено подсистемой мониторинга и управления ресурсами (resource monitoring and control, RMC; стандартна в AIX).
  • Повышенная безопасность.
  • Зависимости групп ресурсов.
  • Возможности самовосстановления кластеров (исправление некоторых ошибок конфигурации кластера).
  • HACMP Smart Assist для WebSphere® Application Server.

HACMP Version 5 Release 3

Начиная с июля 2005 г. новая версия, HACMP V5.3, продолжает развитие HACMP, добавляя дальнейшие усовершенствования в областях управления, упрощения конфигурирования, автоматизации и производительности. Ниже приведен обзор усовершенствований в HACMP V5.3.

  • Проверка (верификация) кластера при его запуске.
  • При проверке выполняются дополнительные корректирующие действия.
  • clverify предупреждает о распознаваемых единых точках отказа.
  • clverify интегрирует опции HACMP/XD – PPRC; GeoRM; GLVM.
  • clverify автоматически заполняет файл clhosts.
  • Использование формата XML для файлов OLPW, а также возможность преобразования существующих файлов снимков конфигурации (snapshots) в XML-файлы конфигурации кластера.
  • Поддержка томов и файловых систем сторонних производителей (OEM).
  • Дальнейшая интеграция HACMP с RSCT.
  • Большее количество опций "Smart Assist" – DB2® и Oracle Application Server.
  • Удаление некоторых ограничений, относящихся к сайтам, из HACMP.
  • Добавление зависимости расположения для групп ресурсов.
  • Усовершенствование безопасности WebSMIT:
    • проверка клиентских данных перед выполнением команд HACMP;
    • проверка параметров на стороне сервера;
    • интеграция инструментов аутентификации WebSMIT с механизмами аутентификации AIX.
  • Непрерывное выполнение диспетчера кластера Cluster Manager (clstrmgrES), вне зависимости от состояния кластера (работает/не работает), для поддержки дальнейшей автоматизации конфигурирования и расширенного администрирования кластера.
  • Демон расширений multi-peer (cluster multi-peer extension daemon, clsmuxpdES ) и демон информации кластера (cluster information daemon, clinfoES ) больше не используют общие сегменты памяти.

Примечание. На момент публикации существовали версии HACMP 5.1, 5.2 и 5.3, однако в этом курсе для тестирования использовалась HACMP V5.3.

Терминология и понятия высокой доступности

Чтобы понимать функциональные возможности HACMP и эффективно их использовать, необходимо знать некоторые важные термины и понятия.

Терминология

Начиная с HACMP V5.1 терминология, используемая для описания конфигурации и работы HACMP, значительно изменилась. Цель такого изменения заключается в упрощении общего использования и обслуживания HACMP, а также в том, чтобы согласовать терминологию с прочими продуктами IBM.

Например, в предыдущей версии HACMP термин "адаптер" в зависимости от контекста мог иметь различные значения, что затрудняло конфигурирование.

В этом курсе используются следующие термины:

Кластер (Cluster) Слабосвязанный набор независимых систем (узлов) или логических разделов (Logical Partitions, LPAR), объединенный в сеть с целью совместного доступа к ресурсам и обмена данными друг с другом. HACMP определяет связи между совместно работающими системами, где соседние одноранговые узлы кластера обеспечивают работу служб, предоставляемых узлом кластера в том случае, если он не способен это делать. Эти отдельные узлы вместе ответственны за обеспечение функционирования одного или нескольких приложений в случае отказа любого из компонентов кластера.
Узел (Node) Компьютер IBM eserver pSeries (или LPAR), на котором выполняются AIX и HACMP и который определен как часть кластера. Каждый узел имеет набор ресурсов (диски, файловые системы, IP-адреса и приложения), которые могут быть переданы другому узлу в кластере в случае сбоя узла или компонента.
Клиенты Клиентом является система, которая может осуществлять доступ к приложению, выполняющемуся на узлах кластера через локальную сеть. На клиентах выполняется клиентское приложение, осуществляющее подключение к серверу (узлу), на котором выполняется приложение.

Понятия

Основные понятия HACMP можно систематизировать следующим образом:

Топология Включает основные компоненты кластера: узлы, сети, коммуникационные интерфейсы, коммуникационные устройства и коммуникационные адаптеры.
Ресурсы Логические компоненты или объекты, к которым обеспечивается высокий уровень доступа [например, файловые системы, устройства прямого доступа (raw devices), сервисные IP-метки и приложения] путем перемещения с одного узла на другой. Все ресурсы, которые совместно составляют приложение или службу с высокой доступностью, группируются в группы ресурсов (resource groups, RG). HACMP обеспечивает высокую доступность группы ресурсов как единого объекта, который может быть перемещен с одного узла на другой в случае отказа компонента или узла. Группы ресурсов могут быть доступны с одного узла либо, в случае одновременно выполняющихся приложений, могут быть одновременно доступны с нескольких узлов. Кластер может содержать более одной группы ресурсов, что позволяет эффективно использовать узлы кластера (отсюда и понятие "мультиобработка" в HACMP).
Сервисная IP-метка (Service IP label) Метка, соответствующая сервисному IP-адресу и используемая для связи между клиентами и узлом. Сервисная IP-метка является частью группы ресурсов, что означает, что HACMP осуществляет ее мониторинг и обеспечивает ее высокую доступность.
Перехват2Мы используем термины "перехват" или "подхват", так как takeover происходит тогда, когда компонент (элемент топологии) кластера не может больше по какой-либо причине "держать" ресурс, за который он отвечает, и резервный компонент "подхватывает" его нагрузку. IP-адреса (IP address takeover) Процесс, при котором IP-адрес перемещается с одного адаптера на другой адаптер в той же логической сети. Этот адаптер может быть расположен либо на том же узле, либо на другом узле в кластере. При использовании IP-синонимов в качестве метода назначения адресов адаптерам одному адаптеру может соответствовать более одного адреса.
Перехват ресурса (Resourse takeover) Представляет собой операцию передачи ресурсов между узлами внутри кластера. При отказе одного компонента или узла в связи с проблемами оборудования или операционной системы его группы ресурсов передаются на другой узел.
Перемещение при сбое (Fallover) Представляет собой перемещение группы ресурсов с одного активного узла на другой узел (резервный узел) при сбое на этом активном узле.
Возврат после восстановления (Fallback) Представляет собой перемещение группы ресурсов обратно с резервного узла на прежний узел, когда он станет доступным. Это перемещение обычно выполняется после реинтеграции ранее отказавшего узла.
Пакет "пульсации" (Heartbeat packet) Пакет, передаваемый между коммуникационными интерфейсами в кластере, используемый различными демонами кластера для мониторинга состояния компонентов кластера – узлов, сетей, адаптеров.
Демоны RSCT Включают два процесса (службы топологии и службы групп), осуществляющие мониторинг состояния кластера и каждого узла. Диспетчер кластера получает информацию о событиях, генерируемую этими демонами, и предпринимает соответствующие (ответные) действия в случае сбоя.
Лидер группы (Group Leader) Узел с наивысшим IP-адресом, определенным в одной из сетей HACMP (первой доступной сети), выступающий в качестве центрального репозитория (хранилища) для всех данных топологии и групп, поступающих от демонов RSCT, относящихся к состоянию кластера.
Резервный лидер группы (Group Leader Backup) Узел со вторым по величине IP-адресом в той же произвольно выбранной сети, выступающий в качестве резервного узла для лидера группы и принимающий на себя роль лидера группы в случае выхода его из кластера.
Распорядитель (Mayor) Узел, выбранный лидером группы RSCT (узел с третьим по величине IP-адресом, если таковой существует; в противном случае им является резервный лидер группы). В его обязанности входит информирование других узлов о любых изменениях в кластере, определенных лидером группы.

Примечание. В более ранних версиях HACMP перемещение группы ресурсов при сбое компонента на одном узле называлось "failover"4.3.

Более подробно эти понятия описаны в "Составляющие высокой доступности" , "Составляющие высокой доступности".

Дальше >>
Лекция 1: 123456 || Лекция 2 >

Вопросы и ответы

вопросов: 0