Составляющие высокой доступности

Общий LVM

В кластере HACMP основным элементом являются данные, используемые приложениями высокой доступности. Эти данные хранятся в объектах диспетчера логических томов (Logical Volume Manager, LVM). Кластеры HACMP используют возможности LVM для обеспечения доступа к этим данным с нескольких узлов. Диспетчер логических томов AIX обеспечивает общий доступ к данным с нескольких узлов. К компонентам общего диспетчера логических томов относятся:

• общая группа томов (shared volume group) – группа томов, расположенная полностью на внешних дисках, совместно используемых узлами кластера;
• общий физический том (shared physical volume) – диск, расположенный в общей группе томов;
• общий логический том (shared logical volume) – логический том, расположенный полностью в общей группе томов;
• общая файловая система (shared file system) – файловая система, полностью расположенная на общем логическом томе.

Если вы системный администратор кластера HACMP, вам, возможно, придется выполнять следующие задачи, связанные с LVM:

• создание новой общей группы томов;
• расширение, сокращение, изменение или удаление существующей группы томов;
• создание нового логического тома;
• расширение, сокращение, изменение или удаление существующего логического тома;
• создание новой общей файловой системы;
• расширение, изменение или удаление существующей файловой системы;
• добавление и удаление физических томов.

При выполнении любой из этих задач обслуживания общих компонентов LVM необходимо убедиться в том, что после экспорта и последующего реимпорта группы томов права владения и разрешения были переустановлены.

После экспорта и реимпорта владельцем группы томов является пользователь "root", и эта группа является доступной для группы system.

Примечание. Такое изменение может оказать неблагоприятное воздействие на некоторые приложения, в частности на некоторые серверы баз данных, использующие логические тома прямого доступа, в случае изменения прав владения для логического тома прямого доступа. После выполнения этой последовательности действия необходимо восстановить требуемые значения прав владения и разрешений.

Доступ к общему логическому тому может обеспечиваться в любом из следующих режимов доступа к данным:

• режим неодновременного доступа;
• режим одновременного доступа;
• режим расширенного одновременного доступа.

Режим неодновременного доступа

В среде неодновременного (non-concurrent) доступа HACMP обычно использует файловые системы Journaled File System для управления данными, хотя некоторые приложения баз данных могут обходить файловую систему JFS и осуществлять прямой доступ к логическому тому.

В режиме неодновременного доступа LVM поддерживаются как конфигурации с зеркальным отображением, так и конфигурации без зеркального отображения. Дополнительные сведения по созданию логических томов с зеркальным отображением и без него см. в руководстве HACMP for AIX 5L V5.3 Planning and Installation Guide, SC23-4861-06.

Для создания на узле общей группы томов с неодновременном доступом необходимо выполнить следующие действия:

1. Используйте быстрый путь smitty mkvg.
2. Используйте заданные по умолчанию значения полей, если только ваш сайт не имеет других особых требований:
   • VOLUME GROUP name (Имя группы томов). Имя группы томов в кластере должно быть уникальным.
   • Activate volume group AUTOMATICALLY at system restart? (Установить автоматическую активизацию группы томов при перезапуске системы?) Установите значение No, чтобы группа томов активизировалась надлежащим образом скриптами событий кластера.
   • ACTIVATE volume group after it is created? (Активизировать ли группу томов после ее создания?). Установите значение Yes.
   • Volume Group MAJOR NUMBER [Старший номер (устройства) группы томов]. Необходимо использовать одинаковый старший номер на всех узлах. Используйте команду lvlstmajor на всех узлах для определения свободного старшего номера, общего для всех узлов.

Для создания на узле общей файловой системы с неодновременным доступом, необходимо выполнить следующие действия:

1. Используйте быстрый путь smitty crjfs.
2. Переименуйте логический том и логический том журналов для файловой системы и группы томов. AIX присваивает имя логического тома каждому создаваемому логическому тому. Примеры имен логических томов: /dev/lv00 и /dev/lv01. В кластере HACMP имя любого общего логического тома должно быть уникальным. Кроме того, журнал файловой системы JFS (jfslog) также представляет собой логический том, требующий уникального имени в кластере.
3. Просмотрите значения следующих полей:
   • Mount automatically at system restart? (Осуществлять ли подключение при перезапуске системы?). Убедитесь в том, что для этого поля установлено значение No.
   • Start Disk Accounting (Запустить учет использования дисков). Установите для этого поля значение No, если только вы действительно не хотите запустить учет использования дисков.
4. Выполните тестирование только что созданной файловой системы путем ее подключения и отключения.

Импорт группы томов на узле перемещения при сбое

Перед импортом группы томов убедитесь в том, что группа томов деактивизирована на основном узле. После этого можно запустить процесс сбора информации discovery HACMP, при котором собираются сведения обо всех группах томов, доступных на всех узлах.

При импорте группы томов на узле перемещения при сбое выполняется синхронизация определения ODM для группы томов на каждом узле, на котором осуществляется ее импорт.

При добавлении группы томов в группу ресурсов можно выбрать импорт группы томов вручную на узел перемещения при сбое либо автоматический импорт на все узлы перемещения при сбое в группе ресурсов. Дополнительные сведения об импорте групп томов см. в руководстве HACMP for AIX 5L V5.3 Planning and Installation Guide, SC23-4861-06.

Примечание. После импорта группы томов на узле перемещения при сбое необходимо изменить состояние запуска группы томов. Для изменения состояния группы томов в соответствии с требованиями HACMP нужно выполнить следующую команду:

# chvg -an -Qn <vgname>

Эта команда отключает автоматическую активизацию при перезапуске системы, а также отключает кворум группы томов.

Режим одновременного доступа

Использование одновременного (concurrent) доступа в HACMP требует установки дополнительного набора файлов. Режим одновременного доступа не поддерживается в файловых системах; вместо этого необходимо использовать логические тома прямого доступа или физические диски.

Создание группы томов с одновременным доступом

Должны быть выполнены установка, конфигурирование и обеспечена доступность физических томов (hdisk*). Проверка состояния дисков выполняется с помощью следующей команды:

# lsdev -Cc disk

Для использования группы томов с одновременным доступом необходимо выполнить ее создание как группы томов с возможностью одновременного доступа (concurrent capable). Группа томов с возможностью одновременного доступа может быть активизирована как в режиме неодновременного доступа, так и в режиме одновременного доступа.

Для создания группы томов с одновременным доступом, нужно выполнить следующие действия:

1. Введите smit cl_convg.
2. Выберите Create a Concurrent Volume Group.
3. Введите требуемые значения полей.
4. Нажмите Enter.

Импорт группы томов с возможностью одновременного доступа

Импорт группы томов с возможностью одновременного доступа выполняется с использованием следующей команды:

# importvg -C -y vg_name physical_volume_name

Имя диска в группе томов указывается в качестве аргумента команды importvg. По умолчанию AIX автоматически активизирует группы томов без возможности одновременного доступа при их импорте. AIX не выполняет автоматическую активизацию группы томов с возможностью одновременного доступа при их импорте.

Активизация групп томов с возможностью одновременного доступа в режиме неодновременного доступа

Для создания логического тома необходимо выполнить активизацию группы томов с возможностью одновременного доступа в режиме неодновременного доступа. Для активизации группы томов в режиме неодновременного доступа следует использовать команду varyonvg:

# varyonvg <vgname>

Создание логических томов в группе томов с возможностью одновременного доступа

Существует возможность создания логических томов в группе томов с указанием зеркальных отображений логических томов для обеспечения избыточности данных.

Для создания логических томов в группе томов с возможностью одновременного доступа на исходном узле необходимо выполнить следующие действия:

1. Используйте быстрый путь smit cl_conlv.
2. Укажите размер логического тома в виде количества логических разделов.
3. Укажите требуемые значения других доступных опций.
4. Нажмите Enter.

Деактивизация группы томов

После создания логического тома необходимо выполнить деактивизацию (varyoff) группы томов с использованием команды varyoffvg так, чтобы ее активизацию можно было выполнить скриптами HACMP. Введите

# varyoffvg <vgname>

Определение группы томов с одновременным доступом в группе ресурсов HACMP

Для одновременного запуска группы томов с одновременным доступом на всех узлах нужно указать имя группы томов в скрипте запуска HACMP.

При запуске кластера вы можете убедиться в том, что группа томов с одновременным доступом активизирована на всех сконфигурированных узлах.

Группы томов в режиме расширенного одновременного доступа

В HACMP V5.1 была реализована возможность создания и использования групп томов с расширенным одновременным доступом (enhanced concurrent mode, ECM). Их можно использовать как для одновременного, так и для неодновременного доступа. Также можно выполнить преобразование существующих групп томов с одновременным доступом (классических) в группы томов в режиме расширенного одновременного доступа с использованием C-SPOC.

Для групп томов с расширенным одновременным доступом, используемых в среде неодновременного доступа, вместо применения механизма резервирования SCSI HACMP V5.1 использует механизм быстрого перехвата дисков, что обеспечивает быстрый перехват и целостность данных.

Примечание. В HACMP V5.1 быстрый перехват дисков доступен только в AIX 5L V5.2.

Группа томов с расширенным одновременным доступом активизируется на всех узлах в кластере, входящих в группу ресурсов. Однако доступ для изменения данных разрешен только для узла с активной (подключенной) группой ресурсов.

Активная и пассивная активизация в режиме расширенного одновременного доступа

Группа томов с расширенным одновременным доступом может быть активизирована на узле в двух режимах: активном или пассивном.

Активная активизация

В активном состоянии разрешены все высокоуровневые операции. При активизации группы томов с расширенным одновременным доступом на узле в активном состоянии возможны следующие операции:

• операции над файловыми системами, в частности монтирование файловых систем;
• операции над приложениями;
• операции над логическими томами, в частности создание логических томов;
• синхронизация групп томов.

Пассивная активизация

При активизации группы томов с расширенным одновременным доступом в пассивном состоянии LVM обеспечивает своего рода ограждение группы томов на уровне LVM. Узел, содержащий группу томов с пассивной активизацией, допускает выполнение ограниченного количества операций чтения для группы томов:

• доступ только для чтения к специальному файлу группы томов^{6Имеется в виду VGDA.} ;
• доступ только для чтения к первым 4 Кб на всех логических томах, входящих в группу томов^{7Для доступа к LVCB.} .

Когда группа томов активизирована в пассивном состоянии, не допускается выполнение следующих операций:

• операций над файловыми системами, в частности монтирования;
• любых операций открытия или записи для логических томов;
• синхронизации групп томов.

Создание группы томов с расширенным одновременным доступом

При создании групп томов с одновременным доступом в AIX 5L 5.1 или более поздней версии они автоматически создаются в режиме расширенного одновременного доступа.

Для создания группы томов с возможностью одновременного доступа из командной строки AIX следует использовать команду mkvg. Например:

# mkvg -n -s 32 -C -y myvg hdisk11 hdisk12

При этом произойдет создание группы томов с расширенным одновременным доступом для hdisk11 и hdisk12. Флаги выполняют следующие действия:

Быстрый перехват дисков

Представляет собой новую возможность HACMP V5.1, основное назначение которой заключается в следующем:

• сокращение времени отключения приложений с обеспечением более быстрого перемещения при сбое для группы ресурсов;
• одновременный доступ к группе томов (с сохранением целостности данных);
• использование групп томов с расширенным одновременным доступом (ECM);
• использование RSCT для связи.

Группы томов с расширенным одновременным доступом поддерживают активизацию в активном и пассивном режимах и могут быть включены в группу ресурсов с неодновременным доступом.

Быстрый перехват дисков (fast disk takeover) выполняется программным обеспечением HACMP автоматически. Для всех общих групп томов, созданных в режиме расширенного одновременного доступа и содержащих файловые системы, HACMP активизирует функцию быстрого перехвата дисков. При запуске HACMP на всех узлах в группе ресурсов, совместно использующих одну группу томов с расширенным доступом, эта группа томов активизируется в пассивном режиме. При подключении группы ресурсов на узле, осуществляющем "подхват" ресурсов, группа томов активизируется в активном режиме.

Другие узлы обеспечивают активизацию группы томов в пассивном режиме.

В этом случае все изменения в группе томов распространяются автоматически на все узлы в группе томов. Переход из активного в пассивный режим и обратно координируется HACMP при запуске кластера, активизации и перемещении при сбое группы ресурсов, а также при переподключении отказавшего узла к кластеру.

Эти функции имеют следующие требования:

• HACMP V5.1,
• AIX 5L 5.2 или выше,
• bos.clvm.5.2.0.11 или выше,
• APAR IY44237.

Дополнительные сведения о быстром перехвате дисков см. в руководстве HACMP for AIX 5L V5.3 Planning and Installation Guide, SC23-4861-06.

Конфигурация хранилища с общим доступом

Большинство конфигураций HACMP требует использования общего хранилища. К дисковым подсистемам IBM с поддержкой доступа с нескольких узлов относятся SCSI, SSA, ESS и FAStT.

Кроме того, можно использовать устройства и подсистемы хранения сторонних производителей (OEM), хотя большинство из них не сертифицированы IBM для использования в HACMP. Прежде чем использовать такие устройства, следует просмотреть соответствующую информацию на веб-сайтах производителей.

Табл. 2.7 содержит список наиболее часто используемых устройств хранения IBM, которые могут употребляться для общего доступа в кластере HACMP.

HACMP также поддерживает накопители на магнитной ленте с общим доступом (SCSI или FC). Накопители на магнитной ленте с общим доступом могут быть подключены через SCSI или FC. Режим одновременного доступа к ленте не поддерживается. Некоторые из поддерживаемых подсистем работы с магнитными лентами перечислены в табл. 2.8.

Актуальный список поддерживаемых устройств хранения и накопителей на магнитной ленте см. на веб-сайте IBM http://www-1.ibm.com/servers/eserver/pseries/ha/

HACMP также можно настроить на работу с подсистемами хранения общего доступа (дисковыми подсистемами и накопителями на магнитной ленте) сторонних производителей. Список устройств хранения сторонних производителей см. на вебсайтах соответствующих производителей, а также на веб-сайте Availant http://www.availant.com/

Конфигурирование хранилища – одна из наиболее важных задач, которые необходимо выполнить, прежде чем выполнять конфигурирование кластера HACMP. Конфигурирование хранилища можно считать частью конфигурирования HACMP.

В зависимости от потребностей приложения и от типа хранилища необходимо решить, сколько узлов в кластере будут иметь доступ к общему хранилищу, а также какие группы ресурсов какие диски будут использовать.

Большая часть подсистем хранения производства IBM поддерживается в HACMP. Дополнительные сведения о поддержке серверов хранения см. в руководстве HACMP for AIX 5L V5.3 Planning and Installation Guide, SC23-4861-06.

Требования общего LVM

Планирование общего LVM для кластера HACMP зависит от метода общего доступа к диску и от типа общего дискового устройства. При планировании общего LVM следует учитывать следующие аспекты:

• метод защиты данных;
• метод доступа к хранилищу;
• избыточность оборудования хранилища.

Примечание. HACMP сам по себе не обеспечивает защиту хранилища. Защита хранилища обеспечивается двумя последними системами:

• AIX (зеркальное отображение LVM);
• аппаратный RAID.

В этом разделе содержится информация о методах защиты данных на уровне хранилища, а также о режимах доступа к общим дискам LVM:

• режим неодновременного доступа;
• "классический" режим одновременного доступа (диспетчер одновременного доступа к логическим томам HACMP – clvm);
• режим расширенного одновременного доступа (ECM), новая опция в AIX 5L V5.1 и выше.

Неодновременный доступ, одновременный доступ и расширенный одновременный доступ

В конфигурации с неодновременным доступом только один узел кластера может одновременно осуществлять доступ к общим данным. При перемещении группы ресурсов, содержащей общее дисковое пространство, на другой узел новый узел активизирует диски и проверяет текущее состояние групп томов, логических томов и файловых систем.

В конфигурациях с неодновременным доступом диски могут совместно использоваться как:

• физические тома прямого доступа;
• логические тома прямого доступа;
• файловые системы.

В конфигурации с одновременным доступом данные на дисках одновременно доступны для всех дисков. Этот режим не поддерживает использование файловых систем (JFS или JFS2).

Быстрый перехват диска

В HACMP V5.1 используется новый диспетчер, AIX LVM, с расширенным одновременным доступом. В AIX 5L V5.2 каждая новая группа томов с одновременным доступом должна создаваться в режиме расширенного одновременного доступа.

Только в AIX 5L V5.2 группы томов с расширенным одновременным доступом могут также использоваться для размещения на них файловых систем (общих или необщих). Это позволяет ускорить процесс перехвата общих файловых систем в случае перемещения при сбое.

Группы томов с расширенным одновременным доступом активизируются на всех узлах в группе ресурсов, и доступ к данным координируется HACMP. Только узел с активной группой ресурсов может активизировать группу томов в "активном" режиме; остальные узлы активизируют группу томов в "пассивном" режиме. В "пассивном" режиме не разрешено выполнение высокоуровневых операций над группой томов.

Требования LVM

Диспетчер логических томов (Logical Volume Manager, LVM) осуществляет управление хранилищем, координируя постановку в соответствие данных в физических и логических хранилищах. Логическое хранилище может быть расширено и реплицировано, а также может охватывать несколько физических дисков и стоек.

Основные компоненты LVM:

• Физический том (physical volume, PV). Представляет единый физический диск, видимый из AIX (hdisk*). Разделяется на физические разделы, которые представляют физические единицы размещения, используемые LVM.
• Группа томов (volume group, VG). Представляет собой набор физических томов, воспринимаемых AIX как непрерывная адресуемая дисковая область. В HACMP группа томов и ее логические тома могут входить в общую группу ресурсов. Группа томов не может входить в несколько групп ресурсов.
• Физический раздел (physical partition, PP). Представляет собой единицу размещения в группе томов. Физические тома разделяются на физические разделы (при добавлении физического тома в группу томов), и физические разделы используются в логических томах (один, два или три физических раздела на логический раздел^{8Два или три – в случае зеркалирования.} ).
• Область дескриптора группы томов (Volume group descriptor area, VGDA). Представляет зону на диске, содержащую информацию о размещении хранилища в группе томов. Группе томов из одного диска соответствует две копии VGDA. Двухдисковая группа томов содержит три копии VGDA: две на одном диске и одна на другом. Группа томов, состоящая из трех и более физических томов, содержит по одной копии VGDA на каждом диске в группе томов.
• Кворум. Чтобы активная группа томов оставалась активной, должен быть доступен "кворум" (quorum) областей VGDA (50 % + 1). Кроме того, если в группе томов отключена опция кворума, такая группа томов не может быть активизирована (без использования опции принудительной активизации), если отсутствует одна копия VGDA. При включении опции кворума системный администратор должен знать схему группы томов, чтобы обеспечить целостность данных.
• Логический том (logical volume, LV). Представляет набор логических разделов, для которых AIX обеспечивает доступность в качестве единого хранилища. Логические тома могут использоваться как пространство хранения прямого доступа или как хранилища файловой системы. В HACMP логический том, входящий в группу томов, одновременно становится частью группы ресурсов и не может стать частью другой группы ресурсов.
• Логический раздел (logical partition, LP). Представляет собой единицу размещения пространства для логических томов, а также является логическим представлением физического раздела. AIX LVM позволяет осуществлять сопоставление логических разделов одному, двум или трем физическим разделам для реализации зеркального отображения логических томов.

Примечание. Хотя зеркальное отображение LVM может применяться с любым типом диска, при использовании серверов хранения IBM 2105 ESS или FAStT можете пропустить эту опцию. Эти подсистемы хранения (а также некоторые подсистемы сторонних производителей) обеспечивают собственную избыточность данных с использованием различных уровней RAID.

• Файловые системы. В действительности представляет собой простую базу данных для хранения файлов и каталогов. В AIX файловая система хранится на едином логическом томе. Основными компонентами файловой системы (JFS или JFS2) являются логический том, содержащий данные, журнал файловой системы и драйвер устройств файловой системы. HACMP поддерживает использование JFS и JFS2 в качестве общих файловых систем, с тем условием, что журнал должен находиться на отдельном логическом томе [JFS2 также может содержать встроенные журналы (inline log), но они не поддерживаются в HACMP].

Принудительная активизация групп томов

HACMP V5.1 содержит новую функцию принудительной активизации группы томов на узле. Если в процессе перехвата простое выполнение команды varyon для этой группы томов будет неуспешным (из-за отсутствия кворума), HACMP проверит наличие хотя бы одной рабочей копии каждого логического раздела для каждого логического тома в этой группе томов, прежде чем выполнять активизацию этой группы томов на узле перехвата.

Принудительная активизация группы томов позволяет подключить группу томов (в составе группы ресурсов) и поддерживать подключенное состояние, пока доступна хотя бы одна рабочая копия данных. Использовать опцию принудительной активизации следует только для групп томов, имеющих логические тома с зеркальным отображением; при этом нужно быть очень внимательным, чтобы не допустить создание разделенного кластера.

Примечание. Следует задать политику размещения "super strict" для логических томов в группах томов, используемых с опцией принудительной активизации. В этом случае LVM проверяет наличие копий логического тома на разных дисках, увеличивая вероятность успешности принудительной активизации после отказа одного или нескольких дисков.

Эта опция полезна при перехвате в том случае, если в группе томов, входящей в группу ресурсов, отказывает один или несколько дисков (VGDA). Если эта опция отключена, группа ресурсов не будет активизирована на узле перехвата, что делает приложение недоступным.

HACMP при использовании принудительной активизации групп томов при перехвате сначала пытается просто выполнить команду varyonvg. В случае неуспешного выполнения команды из-за отсутствия кворума HACMP проверяет целостность данных, чтобы убедиться, что существует хотя бы одна доступная копия всех данных в группе томов, прежде чем пытаться выполнить принудительное подключение тома. Если такая копия существует, выполняется команда varyonvg -f; в противном случае группа томов остается отключенной и группа ресурсов переходит в ошибочное состояние (ERROR).

Примечание. Пользователи все еще могут применять диски для обеспечения кворума (quorum buster disks) или дополнительные скрипты для принудительной активизации группы томов, однако новый атрибут принудительной активизации в HACMP автоматизирует эту операцию, и пользовательские принудительные процедуры теперь можно отключить.

Дополнительные сведения см. в лекции 5, "Planning Shared LVM Components", руководства HACMP for AIX 5L V5.3 Planning and Installation Guide, SC23-4861-06.