Введение в HACMP

Разбить на страницы

Показывать лекцию целиком

Что такое HACMP

HACMP является сокращением от "High Availability Cluster Multi-Processing". Главными составляющими здесь являются высокая доступность и мультиобработка в кластерной (многоузловой) среде.

Высокая доступность

В современных сложных средах обеспечение непрерывности работы приложений является основным компонентом эффективной реализации IT-системы. Высокая доступность – одна из составляющих, способствующих обеспечению непрерывности обслуживания клиентов приложения путем маскирования (скрытия) или устранения как запланированных, так и незапланированных простоев (остановок) в работе систем и приложений. Это достигается путем устранения единых точек отказа (Single Point Of Failure, SPOFЗдесь и далее мы будем упоминать в скобках оригинальные названия терминов (на английском языке), чтобы читателю было проще соотнести термины, используемые в этом руководстве, с теми терминами, которые он встретит в англоязычной документации и при непосредственной работе с HACMP. ) в аппаратном и программном обеспечении. Решение высокой доступности гарантирует, что отказ любого компонента решения (аппаратного обеспечения, программного обеспечения или управления системой) не вызовет длительной недоступности приложения и его данных для конечного пользователя.

Решения высокой доступности должны устранять единые точки отказа посредством соответствующего проектирования, планирования, выбора оборудования, конфигурирования программного обеспечения, управления приложениями, тщательного управления средой и дисциплин управления изменениями.

Вкратце высокую доступность можно определить как процесс обеспечения доступности приложения для использования посредством дублирования и/или реализации общего доступа к аппаратным ресурсам, управляемым специализированным программным компонентом.

Кластерная мультиобработка

Помимо высокой доступности, HACMP также содержит компонент, обеспечивающий мультиобработку. В основе функции мультиобработки лежит тот факт, что кластер содержит множество аппаратных и программных ресурсов, управляемых HACMP и обеспечивающих сложную функциональность приложений и более эффективное использование ресурсов.

Краткое определение кластерной мультиобработки может иметь такой вид: множество приложений, выполняющихся на нескольких узлах с общим или одновременным доступом к данным.

Хотя компонент кластерной мультиобработки и является желательным, эффективное использование им всех доступных в многоузловой (кластерной) среде ресурсов зависит от возможностей приложения и реализации системы. Их реализация должна начинаться на этапе планирования и проектирования кластеров.

HACMP – всего лишь одна из технологий высокой доступности, построенная на все более надежных операционных системах, более надежном оборудовании с возможностью выполнения "горячей замены", все более устойчивых приложениях и предлагающая функции мониторинга и автоматического реагирования.

Решение высокой доступности на основе HACMP обеспечивает автоматическое обнаружение сбоев, диагностику, восстановление приложений и реинтеграцию узлов. При использовании соответствующего приложения HACMP также может обеспечивать одновременный доступ к данным для приложений параллельной обработки, предлагая таким образом отличную горизонтальную и вертикальную масштабируемость (с добавлением возможностей управления динамическим LPAR).

IBM также разработала расширенную версию HACMP, содержащую функции аварийного восстановления, интегрированные в решение под названием HACMP Extended Distance (HACMP/XD), которое поддерживает функциональность HACMP между двумя географически распределенными сайтами. HACMP/XD поддерживает множество различных методов репликации данных и подробно обсуждается в лекции 15, "Понятия и планирование HACMP Extended Distance".

Решения по обеспечению доступности: обзор

Существует множество решений, обеспечивающих широкий диапазон опций доступности. В таблице 1.1 описаны различные типы решений обеспечения доступности и их характеристики.

Типы решений обеспечения доступности
Решение	Время простоя (отключения)	Доступность данных	Стоимость
Автономное (Standalone)	Дни	С последней резервной копии	Базовые затраты на аппаратное и программное обеспечение ($)
Улучшенное автономное (Enhanced standalone)	Часы	До последней транзакции	Двойные затраты на аппаратное обеспечение ($$)
Кластеры высокой доступности (High availability clusters)	Минуты	До последней транзакции	Двойные затраты на аппаратное обеспечение и дополнительное обслуживание ($$+)
Отказоустойчивые вычислительные системы (fault-tolerant computing)	Никогда не отключаются	Без потери данных	Специализированное аппаратное и программное обеспечение, очень дорогостоящее ($$$$$$)
HACMP/XD	Минуты	До последней транзакции	Двойная или тройная стоимость аппаратного обеспечения + дополнительные затраты на связь ($$$$)

Решения по обеспечению высокой доступности в целом предлагают следующие преимущества:

стандартные аппаратные и сетевые компоненты (могут использоваться с существующим оборудованием);

работают практически со всеми приложениями (зависит только от умения того, кто осуществляет внедрение);

работают с широким диапазоном типов дисков и сетей;

отличная доступность при приемлемой стоимости.

Решение высокой доступности от компании IBM для IBM eserver® pSeries предлагает различные преимущества, включая следующие:

решение является проверенным (результат более чем 15 лет разработки);

гибкость (практически любое приложение, выполняющееся на автономной системе AIX, может быть защищено с использованием HACMP);

использование доступных аппаратных компонентов (pSeries);

проверенное качество поддержки наших клиентов.

При планировании внедрения решения HACMP следует учитывать следующие аспекты:

тщательное проектирование и подробное планирование;

устранение единых точек отказа;

выбор соответствующего оборудования;

надлежащее внедрение (без использования упрощенных подходов);

упорядоченные методы системного администрирования и управление изменениями;

документированные процедуры эксплуатации;

всесторонний тестовый план и тщательное тестирование. Пример среды HACMP представлен на рис 1.1

(рис 1.1) Кластер HACMP

Время отключения (простоя)

Время отключения (простоя) означает период, когда приложение недоступно для обслуживания своих клиентов. Можно разделить отключения на две категории:

запланированные:

замена оборудования;

обслуживание;

обновление программного обеспечения;

резервное копирование (автономное резервное копирование);

тестирование (периодическое тестирование необходимо для проверки кластеров);

разработка;

незапланированные:

ошибки администратора;

отказы приложений;

отказы оборудования;

ошибки операционной системы;

стихийные бедствия.

Таким образом, роль HACMP состоит в том, чтобы обеспечивать доступность приложения как при незапланированных отказах, так и при выполнении обычных повседневных административных задач. HACMP обеспечивает мониторинг и автоматическое восстановление ресурсов, от которых зависит приложение.

Единая точка отказа

Единой точкой отказа (single point of failure, SPOF) является любой отдельно взятый компонент в составе кластера, который в случае сбоя делает приложение недоступным для конечных пользователей.

Хорошее проектирование позволяет устранить единые точки отказа (узлы, устройства хранения, сети) в кластере. HACMP осуществляет управление этими компонентами, а также управление ресурсами, необходимыми для приложения (включая скрипты запуска-перезапуска приложений).

В конечном счете цель любого информационного решения в критической среде состоит в том, чтобы обеспечить непрерывную доступность приложения и защиту данных. Высокая доступность – только один из элементов в обеспечении непрерывной работы. В основе высокой доступности лежит доступность оборудования, программного обеспечения (операционной системы и ее компонентов), приложения и сетевых компонентов.

Во избежание возникновения единых точек отказа необходимы:

избыточные (резервные) серверы;

избыточные сетевые пути;

избыточные пути хранения (данных);

избыточное хранение (зеркальное отображение/RAID);

мониторинг;

обнаружение и диагностика отказов;

автоматическое перемещение (failover) приложения при сбое;

автоматическая реинтеграция ресурсов.

Как говорилось выше, хорошее проектирование позволяет устранить единые точки отказа, и HACMP осуществляет управление доступностью приложения во время отключений. В табл. 1.2 перечислены все объекты кластеров, сбой которых может вызвать недоступность приложения. Каждый объект кластера может представлять собой физический или логический компонент.

Единая точка отказа
Объекты кластера	Способ устранения единой точки отказа
Узел (серверы)	Использование нескольких узлов
Электропитание	Использование нескольких цепей или источников питания и/или ИБП
Сетевой адаптер	Избыточность сетевых адаптеров
Сеть	Несколько сетей, подключенных ко всем узлам, избыточные сетевые пути с независимым оборудованием между каждым узлом и клиентами
Подсистема TCP/IP	Использование сетей "точка-точка" для подключения каждого узла к соседнему узлу в кольце
Адаптер ввода-вывода	Избыточность адаптеров ввода-вывода
Контроллеры	Избыточность контроллеров
Хранение	Избыточность оборудования, дисковые стойки, зеркальное отображение/технология RAID, избыточность путей данных
Приложение	Конфигурирование мониторинга приложения и резервных узлов для "подхвата" приложения и его данных
Сайты	Использование более одного сайта для аварийного восстановления
Группы ресурсов	Использование групп ресурсов для управления всеми ресурсами, требуемыми приложению

HACMP также обеспечивает оптимизацию доступности, допуская динамическое реконфигурирование работающих кластеров. Задачи обслуживания, такие, как добавление или удаление узлов, можно выполнять без остановки и перезапуска кластера.

Кроме того, на работающем кластере можно выполнять другие задачи управления, такие, как изменение конфигурации системы хранения, управление пользователями с применением eдиной точки управления кластером (Cluster Single Point of Control, C-SPOC), не прерывая доступ пользователя к приложению, выполняющемуся на узлах кластера (cluster nodes). C-SPOC также обеспечивает репликацию изменений, выполненных на одном узле, по всему кластеру последовательным образом.

История и эволюция

История IBM High Availability Cluster Multi-Processing началась в начале 1990-х гг. Разработка HACMP была начата в 1990 г. с целью обеспечить решение высокой доступности для приложений, выполняющихся на серверах RS/6000. Мы не представляем информацию о самых ранних версиях, так как эти версии уже не поддерживались и не использовались на момент написания этой статьи курса; вместо этого мы сосредоточились на наиболее поздних версиях.

Изначально HACMP разрабатывался как автономный продукт (называемый сейчас HACMP Classic), однако, как только появилась инфраструктура высокой доступности Reliable Scalable Clustering Technology (RSCT) от компании IBM, она была применена в HACMP, в результате чего была разработана технология HACMP Enhanced Scalability (HACMP/ES), обеспечивающая более высокую производительность и функциональность по сравнению с "классической" версией.

HACMP Version 4


HACMP V4.2.2	Наряду с HACMP Classic (HAS) эта версия включала версию с улучшенной масштабируемостью (enhanced scalability, ES), основанную на топологии RSCT (Reliable Scalable Clustering Technology), группах и службах управления событиями, унаследованных от PSSP (Parallel Systems Support Program).
HACMP V4.3.X	Помимо прочего, эта версия включала поддержку 32 узлов для HACMP/ES, усовершенствования C-SPOC, поддержку сетей ATM, HACMP Task Guides (графический интерфейс для упрощения конфигурирования кластеров), множество скриптов пред и постобработки событий (pre-event, post-event scripts), функцию переноса (takeover) MAC-адреса FDDI, усовершенствования мониторинга и поддержку администрирования, поузловую миграцию и поддержку AIX Fast Connect.
HACMP V4.4.X	К новым элементам в этой версии относятся интеграция с Tivoli, мониторинг приложений, каскадирование без возврата после восстановления (cascading without fallback), усовершенствования C-SPOC, улучшенная поддержка миграции, интеграция функциональных возможностей HA-NFS и электронная документация (HTML и PDF).
HACMP V4.5	В этой версии обязательным является использование AIX 5L; версия содержит функцию автоматического определения конфигурации, допускает применение нескольких сервисных меток (service labels) для каждого сетевого адаптера [посредством использования IP-синонимов (alias)], обеспечивает поддержку постоянных (persistent) IP-адресов, содержит 64-разрядный API и функции мониторинга и восстановления после потери кворума группы томов.

HACMP Version 5 Release 1

В этой версии появилось множество крупных изменений, от упрощения конфигурирования и повышения производительности до изменения терминологии HACMP:

HACMP Classic (HAS) не был включен; пакет содержал только HACMP/ES, основанный на технологии IBM Reliable Scalable Cluster Technology.

Ниже приведены некоторые наиболее важные новые возможности HACMP V5.1.

Пути конфигурации (процедуры) SMIT "Standard" ("Базовая") и "Extended" ("Расширенная").

Автоматическое определение конфигурации.

Настраиваемые группы ресурсов (Custom Resourse Groups).

Сети, отличные от IP, основанные на передаче пакетов мониторинга (пульса, heartbeating) через диски.

Быстрый перехват диска (Fast Disk Takeover).

Принудительная активизация (varyon) групп томов.

Передача пакетов мониторинга (пульса) через IP-синонимы (Heartbeating over IP aliases).

Повышенная безопасность посредством использования демона коммуникаций (cluster communication daemon) в кластере (что устраняет необходимость использования r-команд AIX, устраняя и необходимость в файле /.rhosts).

Повышенная производительность процесса конфигурирования и синхронизации кластера.

Упорядочение терминологии HACMP (ее согласование с другими продуктами HA).

Упрощение конфигурирования и обслуживания.

Усовершенствования системы автоматизированного планирования (Online Planning Worksheets).

Настраиваемые группы ресурсов.

Мониторинг пульса сервисных IP-адресов/меток на резервных узлах (узлах подхвата).

Мониторинг пульса через IP-синонимы.

Мониторинг пульса через диски.

Различные усовершенствования C-SPOC.

Интеграция с GPFS.

Усовершенствования в проверке кластеров.

Улучшенное управление группами ресурсов.

HACMP Version 5 Release 2

Выпущенная в июле 2004 г. версия HACMP V5.2 содержала дополнительные усовершенствования в управлении, упрощении конфигурирования, автоматизации и производительности: Two-Node Configuration Assistant (упрощенное конфигурирование кластера из двух узлов), содержащий как меню SMIT, так и интерфейс Java™ (в дополнение к путям конфигурации SMIT "Standard" и "Extended"). Ниже приведен обзор усовершенствований, реализованных в HACMP V5.2:

Наборы файлов (File Collections).

Управление паролями пользователей.

Отказ от использования классических групп ресурсов; заменены настраиваемыми группами ресурсов.

Автоматические процедуры тестирования.

Автоматическая проверка кластеров.

Усовершенствованная система автоматизированного планирования (OLPW) теперь может импортировать конфигурацию из существующего HACMP-кластера.

Управление событиями (event management, EM) было заменено подсистемой мониторинга и управления ресурсами (resource monitoring and control, RMC; стандартна в AIX).

Повышенная безопасность.

Зависимости групп ресурсов.

Возможности самовосстановления кластеров (исправление некоторых ошибок конфигурации кластера).

HACMP Smart Assist для WebSphere® Application Server.

HACMP Version 5 Release 3

Начиная с июля 2005 г. новая версия, HACMP V5.3, продолжает развитие HACMP, добавляя дальнейшие усовершенствования в областях управления, упрощения конфигурирования, автоматизации и производительности. Ниже приведен обзор усовершенствований в HACMP V5.3.

Проверка (верификация) кластера при его запуске.

При проверке выполняются дополнительные корректирующие действия.

clverify предупреждает о распознаваемых единых точках отказа.

clverify интегрирует опции HACMP/XD – PPRC; GeoRM; GLVM.

clverify автоматически заполняет файл clhosts.

Использование формата XML для файлов OLPW, а также возможность преобразования существующих файлов снимков конфигурации (snapshots) в XML-файлы конфигурации кластера.

Поддержка томов и файловых систем сторонних производителей (OEM).

Дальнейшая интеграция HACMP с RSCT.

Большее количество опций "Smart Assist" – DB2® и Oracle Application Server.

Удаление некоторых ограничений, относящихся к сайтам, из HACMP.

Добавление зависимости расположения для групп ресурсов.

Усовершенствование безопасности WebSMIT:

проверка клиентских данных перед выполнением команд HACMP;

проверка параметров на стороне сервера;

интеграция инструментов аутентификации WebSMIT с механизмами аутентификации AIX.

Непрерывное выполнение диспетчера кластера Cluster Manager (clstrmgrES), вне зависимости от состояния кластера (работает/не работает), для поддержки дальнейшей автоматизации конфигурирования и расширенного администрирования кластера.

Демон расширений multi-peer (cluster multi-peer extension daemon, clsmuxpdES ) и демон информации кластера (cluster information daemon, clinfoES ) больше не используют общие сегменты памяти.

Примечание. На момент публикации существовали версии HACMP 5.1, 5.2 и 5.3, однако в этом курсе для тестирования использовалась HACMP V5.3.

Терминология и понятия высокой доступности

Чтобы понимать функциональные возможности HACMP и эффективно их использовать, необходимо знать некоторые важные термины и понятия.

Терминология

Начиная с HACMP V5.1 терминология, используемая для описания конфигурации и работы HACMP, значительно изменилась. Цель такого изменения заключается в упрощении общего использования и обслуживания HACMP, а также в том, чтобы согласовать терминологию с прочими продуктами IBM.

Например, в предыдущей версии HACMP термин "адаптер" в зависимости от контекста мог иметь различные значения, что затрудняло конфигурирование.

В этом курсе используются следующие термины:

Кластер (Cluster)	Слабосвязанный набор независимых систем (узлов) или логических разделов (Logical Partitions, LPAR), объединенный в сеть с целью совместного доступа к ресурсам и обмена данными друг с другом. HACMP определяет связи между совместно работающими системами, где соседние одноранговые узлы кластера обеспечивают работу служб, предоставляемых узлом кластера в том случае, если он не способен это делать. Эти отдельные узлы вместе ответственны за обеспечение функционирования одного или нескольких приложений в случае отказа любого из компонентов кластера.
Узел (Node)	Компьютер IBM eserver pSeries (или LPAR), на котором выполняются AIX и HACMP и который определен как часть кластера. Каждый узел имеет набор ресурсов (диски, файловые системы, IP-адреса и приложения), которые могут быть переданы другому узлу в кластере в случае сбоя узла или компонента.
Клиенты	Клиентом является система, которая может осуществлять доступ к приложению, выполняющемуся на узлах кластера через локальную сеть. На клиентах выполняется клиентское приложение, осуществляющее подключение к серверу (узлу), на котором выполняется приложение.

Понятия

Основные понятия HACMP можно систематизировать следующим образом:


Топология	Включает основные компоненты кластера: узлы, сети, коммуникационные интерфейсы, коммуникационные устройства и коммуникационные адаптеры.
Ресурсы	Логические компоненты или объекты, к которым обеспечивается высокий уровень доступа [например, файловые системы, устройства прямого доступа (raw devices), сервисные IP-метки и приложения] путем перемещения с одного узла на другой. Все ресурсы, которые совместно составляют приложение или службу с высокой доступностью, группируются в группы ресурсов (resource groups, RG). HACMP обеспечивает высокую доступность группы ресурсов как единого объекта, который может быть перемещен с одного узла на другой в случае отказа компонента или узла. Группы ресурсов могут быть доступны с одного узла либо, в случае одновременно выполняющихся приложений, могут быть одновременно доступны с нескольких узлов. Кластер может содержать более одной группы ресурсов, что позволяет эффективно использовать узлы кластера (отсюда и понятие "мультиобработка" в HACMP).
Сервисная IP-метка (Service IP label)	Метка, соответствующая сервисному IP-адресу и используемая для связи между клиентами и узлом. Сервисная IP-метка является частью группы ресурсов, что означает, что HACMP осуществляет ее мониторинг и обеспечивает ее высокую доступность.
ПерехватМы используем термины "перехват" или "подхват", так как takeover происходит тогда, когда компонент (элемент топологии) кластера не может больше по какой-либо причине "держать" ресурс, за который он отвечает, и резервный компонент "подхватывает" его нагрузку. IP-адреса (IP address takeover)	Процесс, при котором IP-адрес перемещается с одного адаптера на другой адаптер в той же логической сети. Этот адаптер может быть расположен либо на том же узле, либо на другом узле в кластере. При использовании IP-синонимов в качестве метода назначения адресов адаптерам одному адаптеру может соответствовать более одного адреса.
Перехват ресурса (Resourse takeover)	Представляет собой операцию передачи ресурсов между узлами внутри кластера. При отказе одного компонента или узла в связи с проблемами оборудования или операционной системы его группы ресурсов передаются на другой узел.
Перемещение при сбое (Fallover)	Представляет собой перемещение группы ресурсов с одного активного узла на другой узел (резервный узел) при сбое на этом активном узле.
Возврат после восстановления (Fallback)	Представляет собой перемещение группы ресурсов обратно с резервного узла на прежний узел, когда он станет доступным. Это перемещение обычно выполняется после реинтеграции ранее отказавшего узла.
Пакет "пульсации" (Heartbeat packet)	Пакет, передаваемый между коммуникационными интерфейсами в кластере, используемый различными демонами кластера для мониторинга состояния компонентов кластера – узлов, сетей, адаптеров.
Демоны RSCT	Включают два процесса (службы топологии и службы групп), осуществляющие мониторинг состояния кластера и каждого узла. Диспетчер кластера получает информацию о событиях, генерируемую этими демонами, и предпринимает соответствующие (ответные) действия в случае сбоя.
Лидер группы (Group Leader)	Узел с наивысшим IP-адресом, определенным в одной из сетей HACMP (первой доступной сети), выступающий в качестве центрального репозитория (хранилища) для всех данных топологии и групп, поступающих от демонов RSCT, относящихся к состоянию кластера.
Резервный лидер группы (Group Leader Backup)	Узел со вторым по величине IP-адресом в той же произвольно выбранной сети, выступающий в качестве резервного узла для лидера группы и принимающий на себя роль лидера группы в случае выхода его из кластера.
Распорядитель (Mayor)	Узел, выбранный лидером группы RSCT (узел с третьим по величине IP-адресом, если таковой существует; в противном случае им является резервный лидер группы). В его обязанности входит информирование других узлов о любых изменениях в кластере, определенных лидером группы.

Примечание. В более ранних версиях HACMP перемещение группы ресурсов при сбое компонента на одном узле называлось "failover"4.3.

Более подробно эти понятия описаны в лекции 2, "Составляющие высокой доступности".

Высокая доступность и отказоустойчивость

В зависимости от времени реагирования и ответного действия на обнаруженные отказы системы кластеры и системы можно разделить:

на отказоустойчивые системы;

на системы высокой доступности.

Отказоустойчивые системы

Отказоустойчивые системы предназначены для обеспечения бесперебойной работы вне зависимости от типов отказов, которые могут возникнуть (исключение, пожалуй, составляет только полный отказ сайта вследствие стихийного бедствия). В таких системах ВСЕ компоненты как программного, так и аппаратного обеспечения по меньшей мере дублируются.

Все эти компоненты, процессоры, память и диски имеют специальный дизайн, обеспечивающий непрерывную работу даже при отказе одного субкомпонента. Только специализированное программное обеспечение работает на отказоустойчивом оборудовании.

Такие системы являются очень дорогостоящими и чрезвычайно специализированными. Внедрение отказоустойчивого решения требует больших затрат и значительных усилий на настройку всех компонентов системы.

В средах, где отключения абсолютно неприемлемы (в жизненно важных системах), использование отказоустойчивого оборудования и решений является обязательным.

Системы высокой доступности

Системы высокой доступности представляют собой сочетание аппаратных и программных компонентов, сконфигурированное для совместной работы, обеспечивающее в случае сбоя автоматическое восстановление с минимальным допустимым временем отключения.

В таких системах используемое специальное программное обеспечение обнаруживает проблемы в среде и управляет живучестью приложения, выполняя его перезапуск на том же или на другом доступном компьютере (сохраняя идентичность первоначального компьютера-узла).

Другая важная задача состоит в том, чтобы защитить данные посредством зеркального отображения и их записи в совместно используемые дисковые области, доступные с любого компьютера в кластере.

Программное обеспечение HACMP (High Availability Cluster Multi-Processing) гарантирует инфраструктуру и набор инструментов для интеграции приложений в систему высокой доступности.

Приложения, интегрируемые в кластер HACMP, требуют значительной настройки, причем не на уровне приложения, а скорее на уровне платформ HACMP и AIX. HACMP представляет собой гибкую платформу, позволяющую осуществлять интеграцию обычных приложений, выполняющихся на платформе AIX, что дает возможность создавать системы высокой доступности с приемлемой стоимостью. Важно помнить, что HACMP не является отказоустойчивым решением, и при внедрении это необходимо учитывать.

Планирование программного обеспечения

В процессе планирования кластера HACMP один из наиболее важных этапов состоит в том, чтобы определить параметры программного обеспечения, которое будет выполняться на узлах кластера.

Определяющими факторами при планировании программного обеспечения узла являются:

требования операционной системы: версия AIX и рекомендуемые параметры;

совместимость приложения: необходимо убедиться в соответствии параметров приложения всем установленным требованиям и в том, что оно поддерживается в кластерных средах;

ресурсы: используемые типы ресурсов (IP-адреса, конфигурация системы хранения данных, использование NFS и т. д.).

Уровень AIX и соответствующие требования

Перед установкой HACMP необходимо проверить другие требования уровня программного обеспечения.

Актуальный список рекомендованных параметров для HACMP V5.1, 5.2 и V5.3 см. на веб-сайте IBM по адресу http://www-912.ibm.com/eserver/support/fixes/fcgui.jsp

Табл. 1.3 содержит рекомендованные уровни обновлений HACMP и другого программного обеспечения на момент написания этой курса.

Требования к уровню ОС для HACMP V5.1 и V5.2
Версия HACMP	Уровень ОС AIX и прочего ПО	AIX APAR	Уровень RSCT
HACMP V5.1	5100-05	IY50579, IY48331	2.2.1.30 или выше
HACMP V5.1	5200-02	IY48180, IY44290	2.3.1.0 или выше
HACMP V5.2	5100-06	IY54018, IY53707, IY54140, IY55017	2.2.1.30 или выше
HACMP V5.2	5200-03	IY56213	2.3.3.0 или выше
HACMP V5.3	5200-04	IY72082, IY72946, IY72928	2.3.6 или выше
HACMP V5.3	5300-02	IY71500, 72852, IY72916, IY72928	2.4.2 или выше
HACMP 5.3, CBU, DLPAR, CUoD	5.2 / 5.3	IY73050, IY73051
HACMP/XD:HAGeo		Дополнительные требования отсутствуют
HACMP/XD:GLVM	5200-04	IY66555
HACMP/XD:GLVM	5300-02	IY68029, IY68300

Примечание. Для использования C-SPOC с дисками VPATH требуется Subsystem Device Driver (SDD) 1.3.1.3 или более поздней версии. Для применения HACMP Online Planning Worksheets требуется AIX 5L Java Runtime Environment 1.3.1 или более поздней версии и графический дисплей (локальный или удаленный). HACMP V5.1 и V5.2 поддерживают использование драйверов устройств MPIO (Multipath I/O) AIX 5L V5.2 для доступа к дисковым подсистемам.

Требования HACMP/XD с использованием ESS/PPRC:

AIX 5L Java 1.3.0.13 или более поздней версии;

микрокод ESS 2.1.1 или более поздней версии;

интерфейс командной строки 2105 (ibm2105cli.rte.32.6.200.13 или ibm2105esscli. rte.2.1.0.15);

драйвер устройств подсистемы IBM 2105 (ibmSdd_510nchacmp.rte 1.3.3.6 или выше);

ESS eRCMF V2.0 для HACMP/XD для eRCMF. Требования HACMP/XD с использованием SVC/PPRC:

openssh 3.6.1 или более поздней версии;

драйвер устройств подсистемы IBM 2145 -devices.fcp.disk.ibm.rte (1.0.0.0), devices. sdd.5.2.rte, devices.fcp.disk.ibm2145.rte.

Следующие компоненты базовой операционной системы AIX являются обязательными для работы HACMP:

bos.adt.lib,

bos.adt.libm,

bos.adt.syscalls,

bos.net.tcp.client,

bos.net.tcp.server,

bos.rte.SRC,

bos.rte.libc,

bos.rte.libcfg,

bos.rte.libcur,

bos.rte.libpthreads,

bos.rte.odm,

bos.data.

При использовании одновременного доступа к ресурсам [(enhanced) concurrent] также необходимы следующие компоненты:

bos.rte.lvm.5.1.0.25 или выше (для AIX 5L V5.1);

bos.clvm.enh (необходим для работы LVM).

Полный список рекомендованных пакетов обновлений (maintenance levels) для AIX 5L V5.1 и V5.2 см. на веб-странице IBM по адресу http://www-912.ibm.com/eserver/support/fixes/fcgui.jsp

Лицензирование

Большинство производителей программного обеспечения требуют наличия лицензий для каждого приложения, для каждого физического компьютера или процессора многопроцессорного компьютера (SMP). Обычно код активизации лицензии вводится во время установки.

Однако в среде HACMP при перехвате, в случае перезапуска приложения на другом узле нужно убедиться в наличии необходимых кодов активизации (лицензий) для нового компьютера; в противном случае приложение может не запуститься должным образом.

Приложение также может требовать наличия уникальной лицензии, привязанной к узлу (отдельного файла лицензии на каждом узле).

Некоторые приложения также содержат ограничения на количество плавающих лицензий для этого приложения в кластере. Во избежание этой проблемы необходимо убедиться, что вы имеете достаточно лицензий для каждого узла кластера, чтобы приложение могло выполняться одновременно на нескольких узлах (особенно это касается действующих приложений, работающих в параллельном (конкурентном) режиме).

Установка программного обеспечения HACMP

Программное обеспечение HACMP содержит набор средств, которые можно использовать для обеспечения высокой доступности ваших приложений. Необходимо помнить о том, что защита HACMP распространяется не на все компоненты системы или приложения.

Например, если все данные критического приложения находятся на одном диске, этот диск является единой точкой отказа для всего кластера и защита HACMP на него не распространяется. В этом случае необходимо применять защиту с использованием диспетчера логических томов (LVM) AIX или подсистем хранения. HACMP только лишь обеспечивает перехват диска на резервном узле, обеспечивая доступ к данным.

Планирование HACMP потому является столь важным, что главная цель в процессе планирования состоит в устранении единых точек отказа. Единая точка отказа имеет место в том случае, когда критическая функция кластера обеспечивается одним компонентом. При отказе этого компонента кластер не имеет альтернативного способа обеспечения этой функции и приложение или служба, зависящие от этого компонента, становятся недоступными.

Также необходимо помнить о том, что при хорошем планировании кластер является простым в установке, обеспечивает более высокую доступность приложения, корректно работает и требует меньше обслуживания, чем при плохом планировании.

Проверка соответствия требованиям

По окончании планирования необходимо убедиться в том, что ваша система соответствует требованиям, предъявляемым к HACMP; это позволит избежать множества потенциальных ошибок.

HACMP V5.1 требует наличия одного из следующих компонентов операционной системы:

AIX 5L V5.1 ML5 с RSCT V2.2.1.30 или выше;

AIX 5L V5.2 ML2 с RSCT V2.3.1.0 или выше (рекомендуемая версия – 2.3.1.1);

AIX 5L V5.3 ML2 с RSCT V2 или выше (рекомендуемая версия – 2);

Поддержка C-SPOC vpath требует использования SDD 1.3.1.3 или выше.

Наиболее актуальные сведения о требованиях и APAR см. в файле README, поставляемом вместе с продуктом, а также на следующей веб-странице IBM: http://techsupport.services.ibm.com/server/cluster/

HACMP V5.2 требует наличия одного из следующих компонентов операционной системы:

AIX 5L V5.1 ML5 с RSCT V2 или выше;

AIX 5L V5.2 ML2 с RSCT V2 или выше (рекомендуемая версия – 2.3);

AIX 5L V5.3 ML2 с RSCT V2 или выше (рекомендуемая версия – 2);

Поддержка C-SPOC vpath требует использования SDD 1 или выше.

HACMP V5.3 требует наличия одного из следующих компонентов операционной системы:

AIX 5L V5.3 ML2 с RSCT V2 или выше (рекомендуемая версия – 2.3); Поддержка C-SPOC vpath требует использования SDD 1. или выше.

Новая установка

HACMP может быть установлен с использованием программы AIX Network Installation Management (NIM), включающей опцию Alternate Disk Migration. Вам необходимо установить наборы файлов (filesets) HACMP на каждом узле кластера. Установку наборов файлов HACMP можно выполнить либо с использованием NIM, либо из локального хранилища программного обеспечения.

Установка с использованием сервера NIM

Мы рекомендуем использование NIM просто потому, что это позволяет загрузить программное обеспечение HACMP на другие узлы с сервера быстрее, чем с другого носителя. Кроме того, это является гибким методом распространения, обновления и администрирования узлов. Он позволяет установить несколько узлов параллельно и обеспечить среду для выполнения обновления программного обеспечения. В больших средах это может быть очень полезно и позволяет сэкономить время; в небольших средах может быть достаточно локального хранилища.

Если вы решили использовать NIM, необходимо скопировать все наборы файлов HACMP на сервер NIM и определить ресурс lpp_source, прежде чем продолжать установку.

Установка с компакт-диска или жесткого диска

Если ваша среда содержит лишь несколько узлов или если вы считаете использование NIM излишним, можно воспользоваться установкой с компакт-диска или создать локальное хранилище, скопировав наборы файлов HACMP на локальный диск и воспользовавшись командой exportfs ; это позволит другим узлам осуществлять доступ к данным с использованием NFS.

Прочие примеры установки, например пример установки на SP-системах, а также инструкции по созданию сервера установки см. в части 3, "Network Installation", руководства AIX 5L Version 5.2 Installation Guide and Reference, SC23-4389.

Установка HACMP

Перед установкой HACMP настоятельно советуем просмотреть документацию к релизу (release notes) HACMP V5.1, находящуюся в каталоге /usr/es/lpp/cluster/doc. на наличие последней информации о требованиях или известных проблемах.

Для установки программного обеспечения HACMP на серверном узле необходимо выполнить следующие действия:

При инсталляции непосредственно с установочного носителя, например с компакт-диска или из локального хранилища, введите быстрый путь (fast path) smitty install_all. SMIT выведет экран Install and Update from ALL Available Software (Установка и обновление программного обеспечения).

Введите имя устройства, соответствующего установочному носителю, или каталог установки в поле INPUT device/directory for software (Устройство/каталог с программным обеспечением) и нажмите Enter.

Введите соответствующие значения полей. Чтобы выбрать устанавливаемое программное обеспечение, нажмите F4 для вывода списка программного обеспечения или введите all для установки всех образов серверов и клиентов. Выберите пакеты, которые требуется установить, в соответствии с конфигурацией вашего кластера. Некоторые из пакетов могут потребовать использования систем, отсутствующих в вашей среде (например, Tivoli Monitoring). Образы cluster.es и cluster.cspoc (содержащие исполняемый модуль HACMP) являются обязательными и должны быть установлены на всех серверах. Примечание. При установке диспетчера одновременного доступа к ресурсам (Concurrent Resource Manager) необходимо установить LPP cluster.es.clvm, и при выборе cluster.es и cluster.cspoc необходимо также выбрать соответствующие пакеты сообщений. В поле Accept new license agreements (Принять условия лицензионного соглашения) необходимо выбрать Yes. Это нужно для продолжения установки. Если выбрать No, установка может прерваться с выдачей предупреждения о том, что для одного или нескольких наборов файлов требуются лицензии на программное обеспечение. Для каждого узла лицензионное соглашение принимается только один раз.

Нажмите Enter для запуска процесса установки.

Действия после установки

После установки программного обеспечения HACMP необходимо выполнить следующие действия:

Проверьте установленное программное обеспечение с использованием команды AIX lppchk, а также просмотрите установленные каталоги на наличие требуемых файлов.

Выполните команды lppchk -v и lppchk -c cluster*. Если установка прошла без ошибок, обе команды выполняются без выдачи сообщений; в противном случае следует использовать соответствующие методы устранения неполадок.

Каждый узел кластера необходимо перезагрузить.

Пути и варианты миграции

При обновлении или преобразовании кластера HACMP возможны следующие варианты: поузловая миграция и миграция на основе снимка (snapshot).

Поузловая миграция

Вариант поузловой миграции используется в том случае, если необходимо обеспечить доступность приложения во время процесса миграции. Ниже перечислены действия, выполняемые при поузловой миграции.

Остановите службы кластера на одном из узлов кластера.

Выполните обновление программного обеспечения HACMP.

Выполните реинтеграцию узла в кластер.

Этот процесс также называется циклической миграцией (rolling migration). Этот вариант миграции имеет ряд ограничений;

Если вы можете отключить приложение для его обслуживания, миграция будет включать следующие действия:

Остановите службы кластера на всех узлах кластера.

Обновите программное обеспечение HACMP на каждом узле.

Поочередно запустите службы кластера на каждом узле.

Миграция на основе снимка

Кроме того, можно перевести весь кластер на HACMP V5.1 с использованием функции снимка кластера. Однако во время этого процесса кластер будет недоступен и все узлы должны быть обновлены до повторной активизации кластера.

Преобразование снимка кластера

Этот метод миграции предназначен для случаев, когда для AIX и HACMP необходимо выполнить обновление и миграцию одновременно (например, при переходе с AIX V4.3.3 и HACMP V4.4.1 на AIX 5L™ V5.1 и HACMP V5.1).

Важно! Не оставляйте кластер в режиме одновременного использования различных версий надолго, так как при этом нельзя гарантировать высокую доступность.

При миграции с ранней поддерживаемой версии HACMP (HAS) на HACMP V5.X можно выполнить миграцию кластера без снимка. Необходимо сохранить таблицу планирования (planning worksheet) и конфигурационные файлы из текущей конфигурации для последующего использования в случае, если потребуется сконфигурировать кластер HACMP так же, как он был сконфигурирован в предыдущей установке. Затем требуется удалить компоненты программного обеспечения HACMP, повторно их установить в более поздней версии HACMP и сконфигурировать их в соответствии с сохраненными файлами планирования и конфигурации.

Примечание. Нужно помнить о том, что после миграции или обновления ни одна из функций HACMP V5.X еще не является активной. Для активизации новых функций (усовершенствований) необходимо сконфигурировать опции и синхронизировать кластер.

Для перехода с поддерживаемой версии HAS на HACMP необходимо выполнить следующие действия:

Убедитесь, что текущее программное обеспечение является committed (не находится в статусе applied).

Сохраните конфигурацию своего кластера HAS в виде снимка, а также сохраните все настроенные скрипты обработки событий, которые требуется оставить.

Удалите программное обеспечение HAS на всех узлах кластера.

Установите программное обеспечение HACMP V5.1.

Проверьте установленное программное обеспечение.

Преобразуйте и примените сохраненный снимок.

Инструмент создания снимков кластера позволяет сохранить конфигурацию кластера в файл посредством выполнения следующих действий:

Переустановите модифицированные вами скрипты обработки событий.

Перезагрузите каждый узел.

Выполните синхронизацию и проверьте конфигурацию HACMP V5.1.

Эти действия подробно описаны в следующем разделе.

Проверка предыдущих версий HACMP

Чтобы просмотреть, существует ли программное обеспечение HACMP Classic (HAS) в вашей системе, введите следующую команду:

# lslpp -h "cluster*"

Если выходные данные команды lslpp покажут, что установлена HACMP версии ниже V4.5, то, прежде чем использовать утилиту преобразования снимков, необходимо сначала выполнить обновление как минимум до версии V4.5. Дополнительные сведения см. в руководстве HACMP for AIX 5L V5.1 Administration and Troubleshooting Guide, SC23-4862-02.

Сохранение конфигурации кластера и модифицированных скриптов обработки событий

Для сохранения конфигурации кластера HACMP (HAS) версии V4.5 или выше, необходимо создать снимок в HACMP (HAS). Если у вас есть модифицированные скрипты обработки событий, они также должны быть сохранены.

Внимание! Не сохраняйте конфигурацию своего кластера или модифицированные скрипты обработки событий в каталогах /usr/sbin/cluster, /usr/es/sbin/cluster и /usr/lpp/ cluster. При установке новых пакетов HACMP эти каталоги удаляются и создаются заново.

Как удалить программное обеспечение HACMP Classic (HAS)

Для удаления программного обеспечения HACMP и конфигурации кластера на узлах кластера и клиентах, необходимо выполнить следующие действия:

Введите быстрый путь smitty install_remove. Должен будет появиться экран, представленный в примере 1.1.

Remove Installed Software
					
Type or select values in entry fields.
Press Enter AFTER making all desired changes.

					[Entry Fields]
* SOFTWARE name			[cluster*]	+
PREVIEW only? (remove operation will NOT occur)	yes		+
REMOVE dependent software?			no		+
EXTEND file systems if space needed?		no		+
DETAILED output? 				no		+	
F1=Help	F2=Refresh	F3=Cancel	F4=List
F5=Reset		F6=Command	F7=Edit		F8=Image
F9=Shell		F10=Exit	Enter=Do

Установка HACMP V5.1

При установке программного обеспечения следуйте инструкциям, приведенным в разделе "Установка HACMP".

Примечание. Не выполняйте перезагрузку до преобразования и применения сохраненного снимка.

Проверка установленного программного обеспечения

После установки HACMP проверьте наличие требуемых файлов с использованием команды lppchk. Дополнительные сведения см. в разделе "Действия после установки".

Преобразование и применение сохраненного снимка

После установки HACMP V5.1 на узлах кластера необходимо преобразовать и применить снимок, сохраненный в прежней конфигурации.

Важно! Преобразование снимка необходимо выполнять перед перезагрузкой узлов кластера.

Для преобразования и применения снимка:

Используйте утилиту clconvert_snapshot, указав номер версии HACMP (HAS) и имя преобразуемого файла снимка. Флаг -C выполняет преобразование снимка HACMP (HAS) в формат снимка HACMP V5.1:

clconvert_snapshot -C -v версия -s <имя_файла>

Примените снимок.

Переустановка сохраненных модифицированных скриптов обработки событий

Переустановите требуемые модифицированные скрипты обработки событий, сохраненные в предыдущей конфигурации.

Примечание. Некоторые скрипты обработки событий, использовавшиеся в прежних версиях, могут оказаться ненужными в HACMP V5.1, особенно в группах ресурсов, применяющих параллельную обработку.

Перезагрузка узлов кластера

Перезагрузка узлов кластера необходима для активизации коммуникационного демона нового кластера (clcomdES).

Проверка и синхронизация конфигурации кластера

После установки программного обеспечения HACMP и перезагрузки каждого узла необходимо выполнить проверку (верификацию) и синхронизацию топологии кластера. При верификации удостоверяется согласованность определения кластера на всех узлах с выдачей соответствующих ошибок и/или предупреждений. В следующем разделе мы кратко рассмотрим процесс проверки кластера.

Выполните команду smitty hacmp и выберите пункт Extended Configuration Extended Verification and Synchronization (Расширенная конфигурация > Расширенная верификация и синхронизация), выберите Verify changes only (Верифицировать только изменения), после чего нажмите Enter (пример 1.2).

HACMP Verification and Synchronization (Active Cluster on a Local Node)
 
 Type or select values in entry fields.
 Press Enter AFTER making all desired changes.
 
 			[Entry Fields]
* Emulate or Actual 				[Actual] 	+
Force synchronization if verification fails? 	[No] 		+
* Verify changes only? 				[No] 		+
* Logging 					[Standard] 	+

F1=Help 	F2=Refresh 	F3=Cancel 	F4=List
F5=Reset 	F6=Command 	F7=Edit 	F8=Image
F9=Shell 	F10=Exit 	Enter=Do

Важно! Нельзя выполнить синхронизацию в кластере со смешанными версиями. При обновлении не следует надолго оставлять кластер со смешанными версиями HACMP. Новые функции версии V5.1 доступны только после обновления всех узлов и синхронизации кластера.

Поузловая миграция

При выполнении поузловой (циклической) миграции необходимо учитывать следующее:

На всех узлах кластера должно быть установлено состояние committed ПО HACMP V4.5.Поузловая миграция выполняется только с версии HACMP (HAS) V4.5 на версию HACMP V5.1.

Все узлы в кластере должны быть включены и на них должно выполняться программное обеспечение HAS V4.5.

Кластер должен находиться в стабильном состоянии. Должно быть достаточно дискового пространства, чтобы в процессе миграции хватило места как для программного обеспечения HAS, так и для программного обеспечения HACMP:

приблизительно 120 Мб в каталоге /usr;

приблизительно 1.2 Мб в каталоге / (root);

После завершения миграции требования к дисковому пространству снижаются до обычных показателей, необходимых для работы HACMP V5.1.

Узлы должны иметь достаточно памяти для одновременного выполнения демонов HACMP (HAS) и HACMP. Это составляет как минимум 64 Мб оперативной памяти. Рекомендуется иметь 128 Мб оперативной памяти.

Убедитесь, что у вас отсутствуют типы сетей, неподдерживаемые в HACMP. После начала миграции уже нельзя будет внести изменения в конфигурацию. Необходимо удалить или изменить неподдерживаемые типы заранее. Дополнительные сведения см. в лекции 3, "Planning Cluster Network Connectivity", руководства HACMP for AIX 5L V5.1 Planning and Installation Guide, SC23-4861-02. Важно! Как и при любой миграции, не пытайтесь внести какие-либо изменения в топологию или ресурсы кластера после начала процесса миграции.

Если какие-либо узлы в кластере в настоящее время настроены на автоматический запуск служб кластера при перезагрузке, измените этот параметр до начала процесса миграции. Следующие процедуры описывают, как отключить автоматический запуск кластера.

Используйте C-SPOC для отключения автоматического запуска служб кластера при перезапуске системы.

Используйте быстрый путь SMIT smitty clstop и выберите опции, показанные в примере 1.3.

Stop Cluster Services
			
Type or select values in entry fields.
Press Enter AFTER making all desired changes.

				[Entry Fields]
* Stop now, on system restart or both 	on system restart 	+
Stop Cluster Services on these nodes 	[p630n01] 		+
BROADCAST cluster shutdown? 		true 			+
* Shutdown mode 			graceful 		+

F1=Help 	F2=Refresh 	F3=Cancel 	F4=List
F5=Reset 	F6=Command 	F7=Edit 	F8=Image
F9=Shell 	F10=Exit 	Enter=Do

Если вы не используете C-SPOC, необходимо изменить этот параметр на каждом узле в отдельности.

Как осуществить поузловую миграцию

Для осуществления поузловой миграции с HACMP V4.5 на HACMP V5.1 необходимо выполнить следующие действия:

Сохраните текущую конфигурацию в снимке (в качестве меры предосторожности). Поместите его в безопасный каталог (не затрагиваемый процедурами установки). Не используйте каталог /usr/sbin/cluster.

Остановите службы кластера на одном из узлов, на котором выполняется HAS V4.5, с использованием метода постепенной остановки с передачей ресурсов на резервные узлы (graceful with takeover). Для остановки служб кластера из командной строки введите

# /usr/es/sbin/cluster/utilities/clstop -gr

Прежде чем продолжить, убедитесь в том, что службы кластера на узле остановлены и что ресурсы кластера с этого узла были переданы на резервные узлы.

Установите HACMP V5.1 на узле. Инструкции по установке см. в разделе "Установка программного обеспечения HACMP".

Выполните проверку установленного программного обеспечения с использованием команды AIX lppchk. См. раздел "Действия после установки".

Перезагрузите узел.

Перезапустите программное обеспечение HACMP:

введите быстрый путь smitty hacmp ;

перейдите в System Management (C-SPOC);

выберите Manage HACMP Services;

выберите Start Cluster Services.

Перезапуск служб кластера При перезапуске также используется программное обеспечение HACMP: на узле запускаются службы кластера HACMP, после чего узел заново присоединяется к кластеру. Узел заново получает ресурсы типа cascading (каскадные), для которых он является первичным узлом (это зависит от параметра Inactive Takeover). Теперь на узле выполняется и старая и новая версия HACMP (т. е., HACMP V4.5 и HACMP/ES V5.1), но только HACMP Classic (HAS) управляет событиями и ресурсами кластера. При выводе списка демонов, управляемых контроллером системных ресурсов (system resource controller, SRC), он будет содержать следующие демоны на этом гибридном узле ( табл. 1.4).

Список демонов, используемых HACMP
HACMP	HACMP/ES	RSCT
clstmgr	clstmgrES	grpsvcs
cllockd (необязательный)	cllockdES (необязательный)	topsvcs
clsmuxpd	clsmuxpES	emsvcs
clinfo (необязательный)	clinfoES (необязательный)	grpglsm
	clcomdES	emaixos

Повторите действия пп. 2–6 для всех узлов в кластере. Внимание! Запуск служб кластера на последнем узле можно считать точкой необратимости. После перезапуска HACMP (при этом выполняется перезапуск обеих версий HACMP) на последнем узле, когда миграция уже была начата, ее нельзя обратить. Если после этого вам потребуется возвратиться к прежней конфигурации HACMP, придется переустановить программное обеспечение HACMP и применить сохраненный снимок. До этого момента можно отменить установку HACMP и вернуться к прежней конфигурации кластера HACMP. Если вам потребуется это сделать, см. раздел "Процедура возврата". Во время процесса установки и миграции, при перезапуске каждого узла происходит запуск обоих продуктов, где контроль обработки событий кластера осуществляет HACMP clstrmgr, а clstrmgrES работает в пассивном режиме. После перезапуска служб кластера на последнем узле миграция на HACMP продолжается автоматически. Полное управление кластером автоматически передается демонам HACMP V5.1. Сообщения, описывающие процесс миграции, записываются в файл /tmp/hacmp. out, а также в файлы журналов /tmp/cm.log и /tmp/clstrmgr.debug. После окончания миграции, когда все узлы кластеров включены и на них выполняется HACMP V5.1, происходит удаление программного обеспечения HACMP (HAS).

После обновления и перезагрузки всех узлов кластер перейдет в стабильное состояние и нужно будет выполнить синхронизацию и проверку конфигурации. Также после миграции следует обязательно протестировать корректность выполнения операций перемещения при сбое и восстановления.

Примечание. В процессе поузловой миграции с HAS 4.5 на HACMP V5.1 будут выдаваться следующие предупреждения: sysck: 3001-036 WARNING: File /etc/cluster/lunreset.lst is also owned by fileset cluster. base.server.events. sysck: 3001-036 WARNING: File /etc/cluster/disktype.lst is also owned by fileset cluster. base.server.events. Можете благополучно игнорировать эти предупреждения и продолжать установку.

Сообщение config_too_long

После завершения процесса миграции во время удаления наборов файлов HACMP может появиться сообщение config_too_long. Это сообщение возникает, когда диспетчер кластера обнаруживает, что обработка события занимает больше установленного времени. Сообщения config_too_long добавляются в файл hacmp.out, пока не завершится событие. При возникновении таких сообщений следует периодически убеждаться в том, что событие все еще действует и что не произошел отказ.

Можно избежать вывода этих сообщений, увеличив время ожидания до вызова события config_too_long (с использованием SMIT). Чтобы изменить интервал, заданный для обработки события, нужно выполнить следующие действия:

Введите быстрый путь smitty hacmp.

Перейдите в Extended Configuration.

Выберите Extended Event Configuration.

Выберите Change/Show Time Until Warning.

Это необходимо сделать на каждом узле. Изменения вступают в действие после перезапуска служб кластера.

Как работает процесс поузловой миграции

После установки HACMP на всех узлах кластера (когда все узлы находятся в гибридном состоянии) запуск служб кластера на последнем узле кластера автоматически вызывает передачу управления в HACMP V5.1 следующим образом:

При установке HACMP V5.1 выполняется установка файла восстановления firstboot на узле кластера, а также происходит создание файла миграции (.mig), используемого в процессе миграции в качестве флага.

Драйвер восстановления HACMP направляет сообщение диспетчеру кластера HACMP, сообщая о необходимости инициировать события waiting и waiting_complete.

HACMP использует службы групп RSCT для проверки стабильности и членства в кластере.

На каждом узле файл firstboot перемещается в активный каталог (/etc).

На всех узлах флаг миграции (файл .mig), созданный при установке, передается из каталога HACMP V5.1 в каталог HACMP V4.5. После перемещения файла firstboot в активный каталог и передачи файла .mig на всех узлах передача управления в HACMP продолжается инициированием события migrate.

Драйвер восстановления HACMP инициирует событие migrate.

HACMP V5.1 останавливает демоны HACMP V4.5 с использованием опции принудительной остановки (режим forced).

Активизируются демоны HACMP V5.1 clinfoES и clsmuxpdES, используя порты, которые прежде применялись соответствующими демонами HACMP V4.5.

Драйвер восстановления HACMP V5.1 инициирует событие migrate_complete.

Выполняется удаление HACMP V4.5. Файлы конфигурации, общие для обоих продуктов, не затрагиваются.

Выполняется повторная установка ссылок на базовые каталоги.

Происходит удаление файлов /etc/firstboot.

Выполняется удаление флага миграции (файл .mig) в каталоге /usr/sbin/cluster.

Миграция завершена.

Снимки кластера, сохраненные во время миграции

Ранее существовавшие снимки HACMP сохраняются в каталоге /usr/es/sbin/cluster/ snapshots.

Обработка отказа узла в процессе миграции

При отказе узла в процессе миграции после перемещения файла firstboot в активный каталог он завершает процесс миграции во время перезагрузки узла. Однако после реинтеграции в кластер отказавший узел может иметь несинхронизированный HACMP ODM. В этом случае следует выполнить синхронизацию топологии и ресурсов кластера до реинтеграции отказавшего узла в кластер.

Процедура возврата

Если по какой-то причине вы решите не продолжать процесс миграции, вы можете удалить программное обеспечение HACMP V5.1 с узлов, на которых оно было установлено, в любой момент процесса до запуска HACMP на последнем узле.

Примечание. Удаление программного обеспечения HACMP следует проводить только на локальном узле. Во время миграции не следует выбирать вариант удаления программного обеспечения с нескольких узлов.

Удаление программного обеспечения HACMP

Для этого проделайте следующее:

На каждом узле поочередно остановите службы кластера (остановка служб кластера показана в примере 1.3). Прежде чем продолжить, убедитесь в том, что службы кластера на узле остановлены и что соответствующие ресурсы кластера были переданы на резервные (takeover) узлы.

После того как вы убедитесь в том, что ресурсы на узле были должным образом переданы на резервный узел, удалите программное обеспечение HACMP V5.1 (см. раздел "Как удалить программное обеспечение HACMP Classic (HAS)".

Запустите HACMP на этом узле. Когда вы будете уверены в том, что ресурсы были должным образом переданы обратно на этот узел (если это необходимо), повторите эти действия на следующем узле.

Продолжайте этот процесс, пока HACMP не будет удален на всех узлах в кластере.

Обработка отказов синхронизации при поузловой миграции

Если вы попытаетесь внести изменение в топологию или ресурсы кластера до завершения миграции, произойдет отказ процесса синхронизации. Возникнет следующее сообщение:

cldare: Migration from HACMP V4.5 to 
HACMP V5.1 Detected. cldare cannot be
run until migration has completed.

Для возврата после изменения необходимо восстановить активный ODM. Для этого нужно выполнить следующие действия:

Запустите smitty hacmp.

Перейдите в Problem Determination Tools.

Выберите Restore HACMP Configuration Database from Active Configuration.

Опции обновления

В этом разделе мы обсудим обновления для HACMP.

Поддерживаемые обновления для HACMP V5.1

Утилиты преобразования HACMP предлагают простой путь обновления до версии V5.1 с нижеперечисленных версий:

с HACMP/ES V4.4.1 до HACMP V5.1;

с HACMP/ES V4.5 до HACMP V5.1.

Если вам потребуется выполнить преобразование на HACMP V5.1 с более ранних версий, чем указаны выше, необходимо сначала выполнить обновление до одной из поддерживаемых версий. Затем вы сможете выполнить преобразование на HACMP V5.1. Например, для преобразования с HACMP/ES 4.2.2 на HACMP V5.1 сначала нужно будет выполнить обновление установки до HACMP/ES 4.4.1 или выше и затем выполнить обновление до HACMP V5.1.

Чтобы выполнить обновление до HACMP V5.1, нужно выполнить следующие действия:

Если необходимо, выполните обновление до AIX 5L V5.1 Maintenance Level 5 или выше.

Если необходимо, выполните проверку установки AIX.

Переведите текущее программное обеспечение HACMP на всех узлах в состояние commited.Остановите HACMP/ES на одном узле (gracefully with takeover – постепенная остановка с передачей ресурсов на резервные узлы) с использованием команды clstop.

После успешного перемещения ресурсов с остановленного узла на резервный узел установите новое программное обеспечение HACMP (инструкции по установке программного обеспечения HACMP V5.1 см. в разделе 1.7, "Установка программного обеспечения HACMP"). Проверьте установку программного обеспечения с использованием команды AIX lppchk, после чего проверьте установленные каталоги на наличие требуемых файлов:

lppchk -v or lppchk -c "cluster.*"

Если установка прошла без ошибок, обе команды выполняются без выдачи сообщений.

Перезагрузите первый узел.

Запустите программное обеспечение HACMP на первом узле командой

smitty
clstart

и убедитесь в успешном подключении первого узла к кластеру.

Повторите предыдущие действия для остальных узлов кластера поочередно.

Убедитесь в том, что устройство tty сконфигурировано как последовательная сеть (serial network).

Убедитесь в том, что с первого узла доступны все внешние диски (с помощью команды lspv проверьте PVID для каждого диска). Если PVID для дисков не выводятся, может потребоваться удалить диск и выполнить повторное конфигурирование.

После обновления всех узлов выполните синхронизацию конфигурации узлов и топологии кластера с первого узла на все узлы, как описано в следующем разделе, "cl_convert и clconvert_snapshot". Не пропускайте проверку во время синхронизации. Важно! Во время обновления не следует выполнять синхронизацию с обновленного узла, если необновленный узел остается в кластере со смешанными версиями. Утилита cl_convert назначает идентификаторы узлов (node ID) последовательно для всех узлов в кластере. Эти новые идентификаторы могут конфликтовать с уже существующими.

Восстановите объектный класс ODM событий HACMP, чтобы сохранить все скрипты обработки событий, сконфигурированные для вашего кластера.

Если нужно, внесите дополнительные изменения в кластер.

Проведите тестирование кластера прежде, чем перевести его в рабочую среду.

cl_convert и clconvert_snapshot

HACMP содержит утилиты преобразования cl_convert и clconvert_snapshot.

Обновление программного обеспечения HACMP/ES до последней версии HACMP включает преобразование ODM с предыдущей версии до текущей версии. При установке HACMP утилита cl_convert запускается автоматически. Однако в случае сбоя при установке необходимо запустить cl_convert из командной строки.

В случае сбоя при преобразовании следует выполнить cl_convert с флагом -F. Например, чтобы выполнить преобразование с HACMP/ES V4.5 на HACMP V5.1, следует использовать флаги -F и -v (version) следующим образом (обратите внимание на добавление "0" к номеру версии V4.5):

# /usr/es/sbin/cluster/conversion/cl_convert -F -v 4.5.0

Для запуска утилиты преобразования требуются:

привилегии пользователя root;

версия HACMP, с которой выполняется преобразование.

Утилита cl_convert записывает информацию о выполнении преобразования в файл /tmp/clconvert.log, что дает возможность оценить успешность выполнения преобразования. Этот файл журнала генерируется (перезаписывается) при каждом выполнении cl_convert или clconvert_snapshot.

Утилита clconvert_snapshot не запускается автоматически во время установки, ее следует запускать из командной строки. Выполните clconvert_snapshot для обновления снимков кластера при миграции с HACMP (HAS) на HACMP, как описано в этом разделе.

Обновление диспетчера одновременного доступа к ресурсам

Для установки средства одновременного доступа на узлах кластера необходимо установить диспетчер одновременного доступа к ресурсам (Concurrent Resource Manager, CRM), следуя процедуре, описанной в разделе "Установка программного обеспечения HACMP".

AIX 5L V5.1 поддерживает расширенный режим одновременного доступа (enhanced concurrent mode, ECM). Если вы выполняете установку HACMP вместе с диспетчером одновременного доступа к ресурсам (Concurrent Resource Manager), см. лекцию 2, "Initial Cluster Planning", руководства HACMP for AIX 5L V5.1 Planning and Installation Guide, SC23-4861-02.

Сведения о расширенном режиме одновременного доступа и о поддерживаемых дисковых устройствах общего доступа производства IBM см. в гл. 5, "Planning Shared LVM Components", руководства HACMP for AIX 5L V5.1 Planning and Installation Guide, SC23-4861-02. Кроме того, если вы хотите использовать диски других производителей, см. прил. D, "OEM Disk Accommodation", руководства HACMP for AIX 5L V5.1 Planning and Installation Guide, SC23-4861-02.

Проблемы при установке

Если при установке возникают проблемы, программа установки автоматически выполняет процесс очистки. Если по какой-либо причине после неудачной установки не была выполнена очистка, нужно выполнить следующие действия:

Введите smitty install.

Выберите Software Maintenance and Utilities.

Выберите Clean Up After a Interrupted Installation.

Просмотрите выходные данные SMIT (или файл /smit.log) на наличие указания причины прерывания установки.

Исправьте выявленные проблемы с использованием методов определения проблем AIX и повторите процесс установки.

Страницы:

Что такое HACMP

Высокая доступность

Кластерная мультиобработка

Решения по обеспечению доступности: обзор

Типы решений обеспечения доступности
Решение	Время простоя (отключения)	Доступность данных	Стоимость
Автономное (Standalone)	Дни	С последней резервной копии	Базовые затраты на аппаратное и программное обеспечение ($)
Улучшенное автономное (Enhanced standalone)	Часы	До последней транзакции	Двойные затраты на аппаратное обеспечение ($$)
Кластеры высокой доступности (High availability clusters)	Минуты	До последней транзакции	Двойные затраты на аппаратное обеспечение и дополнительное обслуживание ($$+)
Отказоустойчивые вычислительные системы (fault-tolerant computing)	Никогда не отключаются	Без потери данных	Специализированное аппаратное и программное обеспечение, очень дорогостоящее ($$$$$$)
HACMP/XD	Минуты	До последней транзакции	Двойная или тройная стоимость аппаратного обеспечения + дополнительные затраты на связь ($$$$)

Решения по обеспечению высокой доступности в целом предлагают следующие преимущества:

стандартные аппаратные и сетевые компоненты (могут использоваться с существующим оборудованием);

работают практически со всеми приложениями (зависит только от умения того, кто осуществляет внедрение);

работают с широким диапазоном типов дисков и сетей;

отличная доступность при приемлемой стоимости.

решение является проверенным (результат более чем 15 лет разработки);

использование доступных аппаратных компонентов (pSeries);

проверенное качество поддержки наших клиентов.

При планировании внедрения решения HACMP следует учитывать следующие аспекты:

тщательное проектирование и подробное планирование;

устранение единых точек отказа;

выбор соответствующего оборудования;

надлежащее внедрение (без использования упрощенных подходов);

упорядоченные методы системного администрирования и управление изменениями;

документированные процедуры эксплуатации;

всесторонний тестовый план и тщательное тестирование. Пример среды HACMP представлен на рис 1.1

(рис 1.1) Кластер HACMP

Время отключения (простоя)

запланированные:

замена оборудования;

обслуживание;

обновление программного обеспечения;

резервное копирование (автономное резервное копирование);

тестирование (периодическое тестирование необходимо для проверки кластеров);

разработка;

незапланированные:

ошибки администратора;

отказы приложений;

отказы оборудования;

ошибки операционной системы;

стихийные бедствия.

Единая точка отказа

Во избежание возникновения единых точек отказа необходимы:

избыточные (резервные) серверы;

избыточные сетевые пути;

избыточные пути хранения (данных);

избыточное хранение (зеркальное отображение/RAID);

мониторинг;

обнаружение и диагностика отказов;

автоматическое перемещение (failover) приложения при сбое;

автоматическая реинтеграция ресурсов.

Единая точка отказа
Объекты кластера	Способ устранения единой точки отказа
Узел (серверы)	Использование нескольких узлов
Электропитание	Использование нескольких цепей или источников питания и/или ИБП
Сетевой адаптер	Избыточность сетевых адаптеров
Сеть	Несколько сетей, подключенных ко всем узлам, избыточные сетевые пути с независимым оборудованием между каждым узлом и клиентами
Подсистема TCP/IP	Использование сетей "точка-точка" для подключения каждого узла к соседнему узлу в кольце
Адаптер ввода-вывода	Избыточность адаптеров ввода-вывода
Контроллеры	Избыточность контроллеров
Хранение	Избыточность оборудования, дисковые стойки, зеркальное отображение/технология RAID, избыточность путей данных
Приложение	Конфигурирование мониторинга приложения и резервных узлов для "подхвата" приложения и его данных
Сайты	Использование более одного сайта для аварийного восстановления
Группы ресурсов	Использование групп ресурсов для управления всеми ресурсами, требуемыми приложению

История и эволюция

HACMP Version 4


HACMP V4.2.2	Наряду с HACMP Classic (HAS) эта версия включала версию с улучшенной масштабируемостью (enhanced scalability, ES), основанную на топологии RSCT (Reliable Scalable Clustering Technology), группах и службах управления событиями, унаследованных от PSSP (Parallel Systems Support Program).
HACMP V4.3.X	Помимо прочего, эта версия включала поддержку 32 узлов для HACMP/ES, усовершенствования C-SPOC, поддержку сетей ATM, HACMP Task Guides (графический интерфейс для упрощения конфигурирования кластеров), множество скриптов пред и постобработки событий (pre-event, post-event scripts), функцию переноса (takeover) MAC-адреса FDDI, усовершенствования мониторинга и поддержку администрирования, поузловую миграцию и поддержку AIX Fast Connect.
HACMP V4.4.X	К новым элементам в этой версии относятся интеграция с Tivoli, мониторинг приложений, каскадирование без возврата после восстановления (cascading without fallback), усовершенствования C-SPOC, улучшенная поддержка миграции, интеграция функциональных возможностей HA-NFS и электронная документация (HTML и PDF).
HACMP V4.5	В этой версии обязательным является использование AIX 5L; версия содержит функцию автоматического определения конфигурации, допускает применение нескольких сервисных меток (service labels) для каждого сетевого адаптера [посредством использования IP-синонимов (alias)], обеспечивает поддержку постоянных (persistent) IP-адресов, содержит 64-разрядный API и функции мониторинга и восстановления после потери кворума группы томов.

HACMP Version 5 Release 1

HACMP Classic (HAS) не был включен; пакет содержал только HACMP/ES, основанный на технологии IBM Reliable Scalable Cluster Technology.

Ниже приведены некоторые наиболее важные новые возможности HACMP V5.1.

Пути конфигурации (процедуры) SMIT "Standard" ("Базовая") и "Extended" ("Расширенная").

Автоматическое определение конфигурации.

Настраиваемые группы ресурсов (Custom Resourse Groups).

Сети, отличные от IP, основанные на передаче пакетов мониторинга (пульса, heartbeating) через диски.

Быстрый перехват диска (Fast Disk Takeover).

Принудительная активизация (varyon) групп томов.

Передача пакетов мониторинга (пульса) через IP-синонимы (Heartbeating over IP aliases).

Повышенная производительность процесса конфигурирования и синхронизации кластера.

Упорядочение терминологии HACMP (ее согласование с другими продуктами HA).

Упрощение конфигурирования и обслуживания.

Усовершенствования системы автоматизированного планирования (Online Planning Worksheets).

Настраиваемые группы ресурсов.

Мониторинг пульса сервисных IP-адресов/меток на резервных узлах (узлах подхвата).

Мониторинг пульса через IP-синонимы.

Мониторинг пульса через диски.

Различные усовершенствования C-SPOC.

Интеграция с GPFS.

Усовершенствования в проверке кластеров.

Улучшенное управление группами ресурсов.

HACMP Version 5 Release 2

Наборы файлов (File Collections).

Управление паролями пользователей.

Отказ от использования классических групп ресурсов; заменены настраиваемыми группами ресурсов.

Автоматические процедуры тестирования.

Автоматическая проверка кластеров.

Повышенная безопасность.

Зависимости групп ресурсов.

Возможности самовосстановления кластеров (исправление некоторых ошибок конфигурации кластера).

HACMP Smart Assist для WebSphere® Application Server.

HACMP Version 5 Release 3

Проверка (верификация) кластера при его запуске.

При проверке выполняются дополнительные корректирующие действия.

clverify предупреждает о распознаваемых единых точках отказа.

clverify интегрирует опции HACMP/XD – PPRC; GeoRM; GLVM.

clverify автоматически заполняет файл clhosts.

Поддержка томов и файловых систем сторонних производителей (OEM).

Дальнейшая интеграция HACMP с RSCT.

Большее количество опций "Smart Assist" – DB2® и Oracle Application Server.

Удаление некоторых ограничений, относящихся к сайтам, из HACMP.

Добавление зависимости расположения для групп ресурсов.

Усовершенствование безопасности WebSMIT:

проверка клиентских данных перед выполнением команд HACMP;

проверка параметров на стороне сервера;

интеграция инструментов аутентификации WebSMIT с механизмами аутентификации AIX.

Терминология и понятия высокой доступности

Терминология

В этом курсе используются следующие термины:

Кластер (Cluster)	Слабосвязанный набор независимых систем (узлов) или логических разделов (Logical Partitions, LPAR), объединенный в сеть с целью совместного доступа к ресурсам и обмена данными друг с другом. HACMP определяет связи между совместно работающими системами, где соседние одноранговые узлы кластера обеспечивают работу служб, предоставляемых узлом кластера в том случае, если он не способен это делать. Эти отдельные узлы вместе ответственны за обеспечение функционирования одного или нескольких приложений в случае отказа любого из компонентов кластера.
Узел (Node)	Компьютер IBM eserver pSeries (или LPAR), на котором выполняются AIX и HACMP и который определен как часть кластера. Каждый узел имеет набор ресурсов (диски, файловые системы, IP-адреса и приложения), которые могут быть переданы другому узлу в кластере в случае сбоя узла или компонента.
Клиенты	Клиентом является система, которая может осуществлять доступ к приложению, выполняющемуся на узлах кластера через локальную сеть. На клиентах выполняется клиентское приложение, осуществляющее подключение к серверу (узлу), на котором выполняется приложение.

Понятия

Основные понятия HACMP можно систематизировать следующим образом:


Топология	Включает основные компоненты кластера: узлы, сети, коммуникационные интерфейсы, коммуникационные устройства и коммуникационные адаптеры.
Ресурсы	Логические компоненты или объекты, к которым обеспечивается высокий уровень доступа [например, файловые системы, устройства прямого доступа (raw devices), сервисные IP-метки и приложения] путем перемещения с одного узла на другой. Все ресурсы, которые совместно составляют приложение или службу с высокой доступностью, группируются в группы ресурсов (resource groups, RG). HACMP обеспечивает высокую доступность группы ресурсов как единого объекта, который может быть перемещен с одного узла на другой в случае отказа компонента или узла. Группы ресурсов могут быть доступны с одного узла либо, в случае одновременно выполняющихся приложений, могут быть одновременно доступны с нескольких узлов. Кластер может содержать более одной группы ресурсов, что позволяет эффективно использовать узлы кластера (отсюда и понятие "мультиобработка" в HACMP).
Сервисная IP-метка (Service IP label)	Метка, соответствующая сервисному IP-адресу и используемая для связи между клиентами и узлом. Сервисная IP-метка является частью группы ресурсов, что означает, что HACMP осуществляет ее мониторинг и обеспечивает ее высокую доступность.
ПерехватМы используем термины "перехват" или "подхват", так как takeover происходит тогда, когда компонент (элемент топологии) кластера не может больше по какой-либо причине "держать" ресурс, за который он отвечает, и резервный компонент "подхватывает" его нагрузку. IP-адреса (IP address takeover)	Процесс, при котором IP-адрес перемещается с одного адаптера на другой адаптер в той же логической сети. Этот адаптер может быть расположен либо на том же узле, либо на другом узле в кластере. При использовании IP-синонимов в качестве метода назначения адресов адаптерам одному адаптеру может соответствовать более одного адреса.
Перехват ресурса (Resourse takeover)	Представляет собой операцию передачи ресурсов между узлами внутри кластера. При отказе одного компонента или узла в связи с проблемами оборудования или операционной системы его группы ресурсов передаются на другой узел.
Перемещение при сбое (Fallover)	Представляет собой перемещение группы ресурсов с одного активного узла на другой узел (резервный узел) при сбое на этом активном узле.
Возврат после восстановления (Fallback)	Представляет собой перемещение группы ресурсов обратно с резервного узла на прежний узел, когда он станет доступным. Это перемещение обычно выполняется после реинтеграции ранее отказавшего узла.
Пакет "пульсации" (Heartbeat packet)	Пакет, передаваемый между коммуникационными интерфейсами в кластере, используемый различными демонами кластера для мониторинга состояния компонентов кластера – узлов, сетей, адаптеров.
Демоны RSCT	Включают два процесса (службы топологии и службы групп), осуществляющие мониторинг состояния кластера и каждого узла. Диспетчер кластера получает информацию о событиях, генерируемую этими демонами, и предпринимает соответствующие (ответные) действия в случае сбоя.
Лидер группы (Group Leader)	Узел с наивысшим IP-адресом, определенным в одной из сетей HACMP (первой доступной сети), выступающий в качестве центрального репозитория (хранилища) для всех данных топологии и групп, поступающих от демонов RSCT, относящихся к состоянию кластера.
Резервный лидер группы (Group Leader Backup)	Узел со вторым по величине IP-адресом в той же произвольно выбранной сети, выступающий в качестве резервного узла для лидера группы и принимающий на себя роль лидера группы в случае выхода его из кластера.
Распорядитель (Mayor)	Узел, выбранный лидером группы RSCT (узел с третьим по величине IP-адресом, если таковой существует; в противном случае им является резервный лидер группы). В его обязанности входит информирование других узлов о любых изменениях в кластере, определенных лидером группы.

Более подробно эти понятия описаны в лекции 2, "Составляющие высокой доступности".

Высокая доступность и отказоустойчивость

на отказоустойчивые системы;

на системы высокой доступности.

Отказоустойчивые системы

Системы высокой доступности

Планирование программного обеспечения

Определяющими факторами при планировании программного обеспечения узла являются:

требования операционной системы: версия AIX и рекомендуемые параметры;

ресурсы: используемые типы ресурсов (IP-адреса, конфигурация системы хранения данных, использование NFS и т. д.).

Уровень AIX и соответствующие требования

Перед установкой HACMP необходимо проверить другие требования уровня программного обеспечения.

Требования к уровню ОС для HACMP V5.1 и V5.2
Версия HACMP	Уровень ОС AIX и прочего ПО	AIX APAR	Уровень RSCT
HACMP V5.1	5100-05	IY50579, IY48331	2.2.1.30 или выше
HACMP V5.1	5200-02	IY48180, IY44290	2.3.1.0 или выше
HACMP V5.2	5100-06	IY54018, IY53707, IY54140, IY55017	2.2.1.30 или выше
HACMP V5.2	5200-03	IY56213	2.3.3.0 или выше
HACMP V5.3	5200-04	IY72082, IY72946, IY72928	2.3.6 или выше
HACMP V5.3	5300-02	IY71500, 72852, IY72916, IY72928	2.4.2 или выше
HACMP 5.3, CBU, DLPAR, CUoD	5.2 / 5.3	IY73050, IY73051
HACMP/XD:HAGeo		Дополнительные требования отсутствуют
HACMP/XD:GLVM	5200-04	IY66555
HACMP/XD:GLVM	5300-02	IY68029, IY68300

Требования HACMP/XD с использованием ESS/PPRC:

AIX 5L Java 1.3.0.13 или более поздней версии;

микрокод ESS 2.1.1 или более поздней версии;

интерфейс командной строки 2105 (ibm2105cli.rte.32.6.200.13 или ibm2105esscli. rte.2.1.0.15);

драйвер устройств подсистемы IBM 2105 (ibmSdd_510nchacmp.rte 1.3.3.6 или выше);

ESS eRCMF V2.0 для HACMP/XD для eRCMF. Требования HACMP/XD с использованием SVC/PPRC:

openssh 3.6.1 или более поздней версии;

драйвер устройств подсистемы IBM 2145 -devices.fcp.disk.ibm.rte (1.0.0.0), devices. sdd.5.2.rte, devices.fcp.disk.ibm2145.rte.

Следующие компоненты базовой операционной системы AIX являются обязательными для работы HACMP:

bos.adt.lib,

bos.adt.libm,

bos.adt.syscalls,

bos.net.tcp.client,

bos.net.tcp.server,

bos.rte.SRC,

bos.rte.libc,

bos.rte.libcfg,

bos.rte.libcur,

bos.rte.libpthreads,

bos.rte.odm,

bos.data.

При использовании одновременного доступа к ресурсам [(enhanced) concurrent] также необходимы следующие компоненты:

bos.rte.lvm.5.1.0.25 или выше (для AIX 5L V5.1);

bos.clvm.enh (необходим для работы LVM).

Лицензирование

Установка программного обеспечения HACMP

Проверка соответствия требованиям

HACMP V5.1 требует наличия одного из следующих компонентов операционной системы:

AIX 5L V5.1 ML5 с RSCT V2.2.1.30 или выше;

AIX 5L V5.2 ML2 с RSCT V2.3.1.0 или выше (рекомендуемая версия – 2.3.1.1);

AIX 5L V5.3 ML2 с RSCT V2 или выше (рекомендуемая версия – 2);

Поддержка C-SPOC vpath требует использования SDD 1.3.1.3 или выше.

HACMP V5.2 требует наличия одного из следующих компонентов операционной системы:

AIX 5L V5.1 ML5 с RSCT V2 или выше;

AIX 5L V5.2 ML2 с RSCT V2 или выше (рекомендуемая версия – 2.3);

AIX 5L V5.3 ML2 с RSCT V2 или выше (рекомендуемая версия – 2);

Поддержка C-SPOC vpath требует использования SDD 1 или выше.

HACMP V5.3 требует наличия одного из следующих компонентов операционной системы:

AIX 5L V5.3 ML2 с RSCT V2 или выше (рекомендуемая версия – 2.3); Поддержка C-SPOC vpath требует использования SDD 1. или выше.

Новая установка

Установка с использованием сервера NIM

Установка с компакт-диска или жесткого диска

Установка HACMP

Для установки программного обеспечения HACMP на серверном узле необходимо выполнить следующие действия:

Нажмите Enter для запуска процесса установки.

Действия после установки

После установки программного обеспечения HACMP необходимо выполнить следующие действия:

Каждый узел кластера необходимо перезагрузить.

Пути и варианты миграции

Поузловая миграция

Остановите службы кластера на одном из узлов кластера.

Выполните обновление программного обеспечения HACMP.

Выполните реинтеграцию узла в кластер.

Если вы можете отключить приложение для его обслуживания, миграция будет включать следующие действия:

Остановите службы кластера на всех узлах кластера.

Обновите программное обеспечение HACMP на каждом узле.

Поочередно запустите службы кластера на каждом узле.

Миграция на основе снимка

Преобразование снимка кластера

Для перехода с поддерживаемой версии HAS на HACMP необходимо выполнить следующие действия:

Убедитесь, что текущее программное обеспечение является committed (не находится в статусе applied).

Удалите программное обеспечение HAS на всех узлах кластера.

Установите программное обеспечение HACMP V5.1.

Проверьте установленное программное обеспечение.

Преобразуйте и примените сохраненный снимок.

Переустановите модифицированные вами скрипты обработки событий.

Перезагрузите каждый узел.

Выполните синхронизацию и проверьте конфигурацию HACMP V5.1.

Эти действия подробно описаны в следующем разделе.

Проверка предыдущих версий HACMP

# lslpp -h "cluster*"

Сохранение конфигурации кластера и модифицированных скриптов обработки событий

Как удалить программное обеспечение HACMP Classic (HAS)

Введите быстрый путь smitty install_remove. Должен будет появиться экран, представленный в примере 1.1.

Remove Installed Software
					
Type or select values in entry fields.
Press Enter AFTER making all desired changes.

					[Entry Fields]
* SOFTWARE name			[cluster*]	+
PREVIEW only? (remove operation will NOT occur)	yes		+
REMOVE dependent software?			no		+
EXTEND file systems if space needed?		no		+
DETAILED output? 				no		+	
F1=Help	F2=Refresh	F3=Cancel	F4=List
F5=Reset		F6=Command	F7=Edit		F8=Image
F9=Shell		F10=Exit	Enter=Do

Установка HACMP V5.1

При установке программного обеспечения следуйте инструкциям, приведенным в разделе "Установка HACMP".

Примечание. Не выполняйте перезагрузку до преобразования и применения сохраненного снимка.

Проверка установленного программного обеспечения

Преобразование и применение сохраненного снимка

Важно! Преобразование снимка необходимо выполнять перед перезагрузкой узлов кластера.

Для преобразования и применения снимка:

clconvert_snapshot -C -v версия -s <имя_файла>

Примените снимок.

Переустановка сохраненных модифицированных скриптов обработки событий

Перезагрузка узлов кластера

Перезагрузка узлов кластера необходима для активизации коммуникационного демона нового кластера (clcomdES).

Проверка и синхронизация конфигурации кластера

HACMP Verification and Synchronization (Active Cluster on a Local Node)
 
 Type or select values in entry fields.
 Press Enter AFTER making all desired changes.
 
 			[Entry Fields]
* Emulate or Actual 				[Actual] 	+
Force synchronization if verification fails? 	[No] 		+
* Verify changes only? 				[No] 		+
* Logging 					[Standard] 	+

F1=Help 	F2=Refresh 	F3=Cancel 	F4=List
F5=Reset 	F6=Command 	F7=Edit 	F8=Image
F9=Shell 	F10=Exit 	Enter=Do

Поузловая миграция

При выполнении поузловой (циклической) миграции необходимо учитывать следующее:

Все узлы в кластере должны быть включены и на них должно выполняться программное обеспечение HAS V4.5.

приблизительно 120 Мб в каталоге /usr;

приблизительно 1.2 Мб в каталоге / (root);

Используйте C-SPOC для отключения автоматического запуска служб кластера при перезапуске системы.

Используйте быстрый путь SMIT smitty clstop и выберите опции, показанные в примере 1.3.

Stop Cluster Services
			
Type or select values in entry fields.
Press Enter AFTER making all desired changes.

				[Entry Fields]
* Stop now, on system restart or both 	on system restart 	+
Stop Cluster Services on these nodes 	[p630n01] 		+
BROADCAST cluster shutdown? 		true 			+
* Shutdown mode 			graceful 		+

F1=Help 	F2=Refresh 	F3=Cancel 	F4=List
F5=Reset 	F6=Command 	F7=Edit 	F8=Image
F9=Shell 	F10=Exit 	Enter=Do

Если вы не используете C-SPOC, необходимо изменить этот параметр на каждом узле в отдельности.

Как осуществить поузловую миграцию

Для осуществления поузловой миграции с HACMP V4.5 на HACMP V5.1 необходимо выполнить следующие действия:

# /usr/es/sbin/cluster/utilities/clstop -gr

Установите HACMP V5.1 на узле. Инструкции по установке см. в разделе "Установка программного обеспечения HACMP".

Перезагрузите узел.

Перезапустите программное обеспечение HACMP:

введите быстрый путь smitty hacmp ;

перейдите в System Management (C-SPOC);

выберите Manage HACMP Services;

выберите Start Cluster Services.

Список демонов, используемых HACMP
HACMP	HACMP/ES	RSCT
clstmgr	clstmgrES	grpsvcs
cllockd (необязательный)	cllockdES (необязательный)	topsvcs
clsmuxpd	clsmuxpES	emsvcs
clinfo (необязательный)	clinfoES (необязательный)	grpglsm
	clcomdES	emaixos

Сообщение config_too_long

Введите быстрый путь smitty hacmp.

Перейдите в Extended Configuration.

Выберите Extended Event Configuration.

Выберите Change/Show Time Until Warning.

Это необходимо сделать на каждом узле. Изменения вступают в действие после перезапуска служб кластера.

Как работает процесс поузловой миграции

HACMP использует службы групп RSCT для проверки стабильности и членства в кластере.

На каждом узле файл firstboot перемещается в активный каталог (/etc).

Драйвер восстановления HACMP инициирует событие migrate.

HACMP V5.1 останавливает демоны HACMP V4.5 с использованием опции принудительной остановки (режим forced).

Драйвер восстановления HACMP V5.1 инициирует событие migrate_complete.

Выполняется удаление HACMP V4.5. Файлы конфигурации, общие для обоих продуктов, не затрагиваются.

Выполняется повторная установка ссылок на базовые каталоги.

Происходит удаление файлов /etc/firstboot.

Выполняется удаление флага миграции (файл .mig) в каталоге /usr/sbin/cluster.

Миграция завершена.

Снимки кластера, сохраненные во время миграции

Ранее существовавшие снимки HACMP сохраняются в каталоге /usr/es/sbin/cluster/ snapshots.

Обработка отказа узла в процессе миграции

Процедура возврата

Удаление программного обеспечения HACMP

Для этого проделайте следующее:

Продолжайте этот процесс, пока HACMP не будет удален на всех узлах в кластере.

Обработка отказов синхронизации при поузловой миграции

cldare: Migration from HACMP V4.5 to 
HACMP V5.1 Detected. cldare cannot be
run until migration has completed.

Запустите smitty hacmp.

Перейдите в Problem Determination Tools.

Выберите Restore HACMP Configuration Database from Active Configuration.

Опции обновления

В этом разделе мы обсудим обновления для HACMP.

Поддерживаемые обновления для HACMP V5.1

Утилиты преобразования HACMP предлагают простой путь обновления до версии V5.1 с нижеперечисленных версий:

с HACMP/ES V4.4.1 до HACMP V5.1;

с HACMP/ES V4.5 до HACMP V5.1.

Чтобы выполнить обновление до HACMP V5.1, нужно выполнить следующие действия:

Если необходимо, выполните обновление до AIX 5L V5.1 Maintenance Level 5 или выше.

Если необходимо, выполните проверку установки AIX.

lppchk -v or lppchk -c "cluster.*"

Если установка прошла без ошибок, обе команды выполняются без выдачи сообщений.

Перезагрузите первый узел.

Запустите программное обеспечение HACMP на первом узле командой

smitty
clstart

и убедитесь в успешном подключении первого узла к кластеру.

Повторите предыдущие действия для остальных узлов кластера поочередно.

Убедитесь в том, что устройство tty сконфигурировано как последовательная сеть (serial network).

Если нужно, внесите дополнительные изменения в кластер.

Проведите тестирование кластера прежде, чем перевести его в рабочую среду.

cl_convert и clconvert_snapshot

HACMP содержит утилиты преобразования cl_convert и clconvert_snapshot.

# /usr/es/sbin/cluster/conversion/cl_convert -F -v 4.5.0

Для запуска утилиты преобразования требуются:

привилегии пользователя root;

версия HACMP, с которой выполняется преобразование.

Обновление диспетчера одновременного доступа к ресурсам

Проблемы при установке

Введите smitty install.

Выберите Software Maintenance and Utilities.

Выберите Clean Up After a Interrupted Installation.

Просмотрите выходные данные SMIT (или файл /smit.log) на наличие указания причины прерывания установки.

Занятие пройдено

Предыдущее занятие Занятие пройдено Следующее занятие

Вернуться к учебному плану

Что такое HACMP

Высокая доступность

Кластерная мультиобработка

Решения по обеспечению доступности: обзор

Время отключения (простоя)

Единая точка отказа

История и эволюция

HACMP Version 4

HACMP Version 5 Release 1

HACMP Version 5 Release 2

HACMP Version 5 Release 3

Терминология и понятия высокой доступности

Терминология

Понятия

Высокая доступность и отказоустойчивость

Отказоустойчивые системы

Системы высокой доступности

Планирование программного обеспечения

Уровень AIX и соответствующие требования

Лицензирование

Установка программного обеспечения HACMP

Проверка соответствия требованиям

Новая установка

Установка HACMP

Пути и варианты миграции

Преобразование снимка кластера

Поузловая миграция

Опции обновления

Что такое HACMP

Высокая доступность

Кластерная мультиобработка

Решения по обеспечению доступности: обзор

Время отключения (простоя)

Единая точка отказа

История и эволюция

HACMP Version 4

HACMP Version 5 Release 1

HACMP Version 5 Release 2

HACMP Version 5 Release 3

Терминология и понятия высокой доступности

Терминология

Понятия

Высокая доступность и отказоустойчивость

Отказоустойчивые системы

Системы высокой доступности

Планирование программного обеспечения

Уровень AIX и соответствующие требования

Лицензирование

Установка программного обеспечения HACMP

Проверка соответствия требованиям

Новая установка

Установка HACMP

Пути и варианты миграции

Преобразование снимка кластера

Поузловая миграция

Опции обновления

Купить дополнительную попытку

Вы действительно хотите купить ещё одну попытку для прохождения тестирования?

Успешно!

Напишите нам, если у вас есть вопросы

Уважаемые пользователи ИНТУИТ!

Уважаемые пользователи ИНТУИТ!

Добро пожаловать на обновлённый сайт НОУ «ИНТУИТ»!