Реализация мультипроцессорных кластеров высокой доступности (HACMP)

HACMP и Cross-Site LVM

Разбить на страницы
Показывать лекцию целиком

Введение в межсайтовое зеркальное отображение Cross-Site LVM mirroring

Сеть хранения данных (storage area network, SAN) представляет собой высокоскоростную сеть, позволяющую реализовать прямые подключения между устройствами хранения и серверами. Максимальное расстояние подключений определяется ограничениями Fibre Channel. Это позволяет двум и более серверам, расположенным на разных сайтах, осуществлять доступ к одним и тем же физическим дискам.

Эти удаленные диски могут быть объединены в группу томов через AIX 5L Logical Volume Manager (LVM), после чего эту группу томов можно импортировать на узлах, расположенных на разных сайтах. Можно создать логические тома и установить на каждом сайте зеркальное отображение LVM с копией. HACMP поддерживает не больше двух активных сайтов в межсайтовом зеркальном отображении Cross-Site LVM mirroring.

Основное различие между обычными локальными кластерами и кластерными решениями с межсайтовым зеркальным отображением состоит в следующем. В локальных кластерах все узлы и подсистемы хранения расположены в одном месте. В кластере с межсайтовым зеркальным отображением узлы и подсистемы хранения располагаются в разных местах. Каждый сайт имеет как минимум один узел кластера и одну подсистему хранения со всей необходимой инфраструктурой IP-сети и SAN.

Такое решение обеспечивает автоматизацию зеркального отображения AIX LVM в дисковых подсистемах SAN между разными сайтами. Оно также обеспечивает автоматическую синхронизацию зеркальных отображений LVM и активизацию дисковых устройств, когда после отказа диска или сайта узел или диск становится недоступным. Каждый узел в кластере Cross-Site LVM имеет доступ ко всем подсистемам хранения. Доступность данных обеспечивается посредством зеркального отображения LVM между томами, находящимися в различных подсистемах хранения на разных сайтах.

Рис. 16.1 представляет среду межсайтового отображения LVM с двумя сайтами, которую мы использовали при тестировании межсайтового зеркального отображения LVM.

В случае отказа сайта HACMP выполняет перехват ресурсов на дополнительном сайте в соответствии с установленной политикой кластера. Он активизирует все определенные группы томов с оставшейся зеркальной копии. В случае отказа одной подсистемы хранения доступ к данным не нарушается и приложения могут получить доступ к данным, расположенным на активной зеркальной копии в оставшейся дисковой подсистеме.

HACMP выполняет автоматическую синхронизацию зеркальных отображений LVM, и после интеграции отказавшего сайта в кластер он автоматически исправляет удаленные и отсутствующие тома (с состоянием PV removed и missing) и осуществляет синхронизацию данных. Автоматическая синхронизация в любом случае невозможна, однако вы можете использовать C-SPOC для синхронизации данных с рабочих зеркальных отображений на неактуальные (stale) зеркальные отображения после отказа диска или сайта.

Требования

Для обеспечения целостности данных и соответствующей реакции HACMP при отказе сайта или дисковой подсистемы необходимо выполнение следующих требований:

  • атрибут принудительной активизации force varyon для группы ресурсов должен быть установлен в значение true;
  • должна быть установлена политика размещения логических томов "super strict" (это обеспечит размещение копий логических томов на разных томах, а также размещение основной и дополнительной копии каждого логического раздела (LP) на дисках, расположенных на разных сайтах);
  • зеркальные копии логических томов должны быть расположены на отдельных томах, расположенных в разных дисковых подсистемах (или на разных сайтах).
    •

    При увеличении размера файловой системы с зеркальным отображением необходимо обеспечить выделение нового логического раздела на различных томах и в разных дисковых подсистемах в соответствии с требованиями, приведенными выше. Для выполнения этой задачи необходимо сначала увеличить размер логического тома, выбрав соответствующий том, а затем увеличить размер файловой системы, желательно с использованием C-SPOC (в этом случае HACMP выполнит принудительное применение установленных параметров).

    Перед конфигурированием среды зеркального отображения Cross-Site LVM mirroring проверьте выполнение следующих требований:

  • сконфигурируйте сайты и группы ресурсов и запустите процесс обнаружения кластера HACMP;
  • убедитесь в том, что оба сайта имеют копии логических томов и что для атрибута forced varyon (принудительная активизация) группы томов установлено значение Yes, если группа ресурсов уже содержит группу томов.
    •

    Аспекты инфраструктуры

    В этом разделе описываются некоторые аспекты, связанные с установкой SAN, подключениями Fibre Channel и средой локальной сети. Аспекты и ограничения основаны на технологиях и протоколах, используемых для реализации кластера с межсайтовым зеркальным отображением.

    SAN или сеть может быть расширена за пределами первоначального сайта с использованием передовых технологий. См. SG-245250-04 .

    Ниже перечислены технологии, которые можно использовать для такого расширения. Этот список не является исчерпывающим.

  • Маршрутизатор FCIP.
  • Устройства WDM (Wave Division Multiplexing). Эта технология включает:
  • CWDM (Coarse Wavelength Division Multiplexing) – менее дорогостоящий компонент технологии WDM;
  • DWDM (Dense Wavelength Division Multiplexing).
    •

    Конфигурирование межсайтового зеркального отображения Cross-Site LVM mirroring

    В этом разделе мы представим пример установки и конфигурирования среды зеркального отображения Cross-Site LVM mirroring. В целом можно выполнить конфигурирование зеркального отображения Cross-Site LVM mirroring при создании нового кластера. Также можно изменить существующий локальный кластер путем добавления зависимостей сайтов и функций Cross-Site LVM в конфигурацию кластера и их интеграции в межсайтовой среде.

    Конфигурирование кластера Cross-Site LVM

    Для тестирования зеркального отображения Cross-Site LVM мы решили выполнить конфигурирование новой кластерной среды. Через меню Extended Configuration (Расширенное конфигурирование) мы сначала определяем топологию кластера, включая определение кластера, узлы, сети, сетевые интерфейсы и сети мониторинга пульса через диски, отличные от IP, как в обычной кластерной среде. У нас есть узлы koper и nantes; koper расположен на сайте Slovenia, тогда как nantes расположен на сайте France ( рис. 16.1).

    (рис 16.1) Среда тестирования кластера с зеркальным отображением Cross-Site LVM mirroring

    Важным элементом в межсайтовых средах являются пути для связи между узлами на обоих сайтах. Связь между узлами включает IP-подключения и подключения, отличные от IP. Подключения, отличные от IP, очень важны в межсайтовых кластерных системах, так как они позволяют не допустить изоляции узла или сайта ("split brain"). Мы сконфигурировали сеть пульса, отличную от IP, с использованием функции мониторинга пульса через диски.

    Следуя общим рекомендациям для сетей пульса, отличных от IP (см. раздел "Планирование сетей кластера", мы определили две сети пульса, отличные от IP. Первая сеть использует дисковые устройства в хранилище ESS, расположенном на сайте France. Вторая сеть применяет дисковые устройства в хранилище FAStT/DS4xxx, расположенном на сайте Slovenia. Такое дублирование устанавливается для того, чтобы сохранить работоспособность отличных от IP сетей пульса в кластере в случае отказа одной дисковой подсистемы.

    Рис. 16.1 представляет нашу тестовую среду для тестирования межсайтового зеркального отображения Cross-Site LVM mirroring. В следующих разделах подробно описываются этапы конфигурирования Cross-Site LVM для определенной конфигурации кластера.

    Конфигурирование сайтов кластера

    При конфигурировании межсайтового зеркального отображения LVM или любого из компонентов HACMP/XD следует использовать определения сайта в HAMCP.

    Мы выполнили конфигурирование сайтов и добавили их в конфигурацию кластера, используя меню SMIT. Мы выбрали smit hacmp > Extended Configuration (Расширенное конфигурирование) > Extended Topology Configuration (Расширенное конфигурирование топологии) > Configure HACMP Sites (Конфигурирование сайтов HACMP) > Add a Site (Добавление сайта). Мы добавили два сайта: France и Slovenia. Узел koper является частью сайта Slovenia, тогда как узел nantes является частью сайта France. На рис. 16.2 представлено меню создания сайта в SMIT.

    (рис 16.2) Добавление сайта в конфигурацию топологии

    Для определения сайта в меню SMIT необходимо заполнить следующие поля:

  • Site Name (Имя сайта). Определите имя сайта, используемое для назначения различных зависимостей сайта при последующем конфигурировании.
  • Site Nodes (Узлы сайта). Для каждого сайта мы определяем список узлов, расположенных на сайте.
  • Dominance (Доминирование). Выбрав Yes, мы определяем, что этот сайт должен быть доминирующим при изоляции сайтов.
  • Backup Communications (Резервные связи). Следует определить тип резервных связей для обнаружения изоляции сайта (none, sgn, dbfs).
    •

    Конфигурирование зависимостей сайтов с зеркальным отображением Cross-Site LVM

    После определения топологии кластера с зависимостями сайтов выполняется назначение определенных дисковых устройств соответствующим сайтам. На сайте France установлено хранилище ESS 2105-800, тогда как на сайте Slovenia установлено хранилище DS4500. Серверы используют MPIO для хранилища ESS и драйвер RDAC для хранилища DS4xxx. Конфигурация разделения SAN на зоны создается таким образом, чтобы каждый сервер мог осуществлять доступ к дисковой подсистеме ESS через адаптер Fiber Channel, тогда как доступ к хранилищу DS4xxx осуществляется через другой адаптер. В примере 16.1 представлен список дисков на узле nantes. Мы планируем использовать диски hdisk2 – hdisk6 и hdisk10 – hdisk14 для конфигурации зеркального отображения Cross-Site LVM, тогда как диски hdisks7 свободны для использования в группе томов без зеркального отображения.

    nantes /иsr/es/sbin/cluster * lspv
hdnskO	0O22be2ablcdllac	raotvg        active
hdlskl	0022be2ahc247c91	alt1nst_rootvg
hdisk2	O022be2afl607249f	elvmmenhvg    active
hciikJ	0022be2d0bfelf60	clvmmshvg     active
hdisk4	0022be2a86607918	clvmmhvg     active
hdisk5	0022be2aOSd4844e	clvitnenhvg    active
bdisk6	0D22be2ae662ce0e	apP3vg
hdisk7	00Ј2beЈa0bfe9el9	None
hdiskS	O025740Qh4d32D54	None
hdisk9	0022be2aa6630978	None
hdiskl0	0022be2aDbfe9eec	elvmmenhvg    active
hdiskll	OD22be2aObfe9fBa	elvmmenhvg    active
hdiskl2	0022be2a0bfea026	elvmmenhvg     active
hdiskl3	0022be2a0bfeaOca	elvmmshvg     active
hdisk14	0022 Ье2а11690be3	apP3vg

    Мы используем SMIT для назначения зависимостей сайтов/дисков; запускаем smit hacmp > System Management (C-SPOC) > HACMP Physical Volume Management (Управление физическими томами HACMP) > Configure Disk/Site Locations for Cross-Site LVM Mirroring (Конфигурирование расположения дисков/сайтов при зеркальном отображении Cross-Site LVM) > Add Disk/Site Definition for Cross-Site LVM Mirroring (Добавление определения дисков/сайтов для зеркального отображения Cross-Site LVM). Для прямого доступа к меню Configure Disk/Site Locations for Cross-Site LVM Mirroring (Конфигурирование расположения дисков/сайтов при зеркальном отображении Cross-Site LVM) можно использовать быстрый путь smit cl_xslvmm.

    Примечание. Меню Configure Disk/Site Locations for Cross-Site LVM Mirroring (Конфигурирование расположения дисков/сайтов при зеркальном отображении Cross-Site LVM) функционирует корректно только в том случае, если файл обнаружения дисков (Disk Discovery File) отражает текущую конфигурацию дисков. Мы рекомендуем выполнить процесс обнаружения HACMP, прежде чем выполнять конфигурирование зависимостей дисков/сайтов. Внимание! Всем дискам должны быть назначены соответствующие PVID, прежде чем запускать Discover HACMP-related Information from Configured Nodes (Обнаружение информации, относящейся к HACMP, на сконфигурированных узлах), чтобы иметь полную информацию о дисках в файле обнаружения дисков. Это можно сделать, используя команду chdev -l hdiskX -a pv=yes на одном узле с последующим удалением и реконфигурированием дисковых устройств на других узлах (rmdev..., cfgmgr).

    После использования меню Add Disk/Site Definition for Cross-Site LVM Mirroring (Добавление определения дисков/сайтов для зеркального отображения Cross-Site LVM) сначала следует выбрать сайт для своего определения, как показано в примере 16.2. После этого нужно выбрать диски, расположенные на выбранном сайте, как показано в примере 16.3.

    Hove cursor to desired item and press Enter,
France
Slovenia
    [TORE...10]
0O22be2aObfea026	hd1skl3 koper
0O2Zbe2aObfeaDca	hdisk14 koper
>	0O22be2aS607249f	hdisk2 nantes  
	22bi22a0bfelfEQ		hdisk3 ngntes
>	0O22be2a86607913	hdisk4 nantes
>	0O22be2aOBd4844e	hdisk5 nantes
	0O22beЈa8662ceQe	hdisk6 nanus
	0022 beSaObfe9e19	hdisк7 nantes
[MORE..6]

    Впоследствии можно изменить зависимость сайтов/дисков, выполнив smit cl_ xslvmm и выбрав Change/Show Disk/Site Definition for Cross-Site LVM Mirroring (Изменение/вывод определения дисков/сайтов для зеркального отображения Cross-Site LVM). Также можно удалить зависимость сайтов/дисков, выполнив smit cl_xslvmm и выбрав Remove Disk/Site Definition for Cross-Site LVM Mirroring (Удаление определения дисков/сайтов для зеркального отображения Cross-Site LVM).

    Настройка групп томов зеркального отображения cross-site LVM

    Для тестирования межсайтового зеркального отображения Cross-Site LVM мы создали три группы томов:

  • clvmmshvg – общая группа томов без одновременного доступа (shared non-concurrent);
  • clvmmenhvg – группа томов с расширенным одновременным доступом (enhanced concurrent);
  • app3vg – группа томов с расширенным одновременным доступом (enhanced concurrent).
    •

    Мы создали свои группы томов через меню C-SPOC. Мы запустили smit cl_admin, после чего выбрали HACMP Logical Volume Management (Управление логическими томами HACMP) для общей группы томов или HACMP Concurrent Logical Volume Management (Управление логическими томами HACMP с одновременным доступом) для обеих групп томов с расширенным одновременным доступом.

    После выбора участвующих узлов мы выбрали диски, как показано в примере 16.4. Затем мы заполняем все необходимые поля на экране создания группы томов и устанавливаем для опции Enable Cross-Site LVM Mirroring Verification (Включить верификацию зеркального отображения Cross-Site LVM) значение true. В примере 16.5 представлен экран создания группы томов.

    [MORE.. .1]
>	0022be2a86607918	France
>	0022be2a0bfelf60	France
>	0022be2a0bfea026	Slovenia
>	0022be2a0bfea0ca	Slovenia 
   	0022be2a86630978 
	0022be2a0bfe9f8a	Slovenia 0
	022be2a0bfe9eec	Slovenia 
	0022be2a0bfe9el9

    В примере 16.5 представлено создание общей группы томов.

    

    Конфигурирование группы ресурсов, содержащей группу
томов с поддержкой зеркального отображения Cross-Site LVM
    

    После определения в кластере всех компонентов топологии и LVM мы выполнили
создание групп ресурсов. Для двух групп ресурсов узел nantes является основным
узлом. Для третьей группы ресурсов основным узлом является koper. Каждая группа
ресурсов владеет одной группой томов, для которой осуществляется межсайтовое
зеркальное отображение.
    

    Создание группы ресурсов в межсайтовой кластерной среде подобно обычной
кластерной конфигурации. Для групп ресурсов с зависимостями сайтов в кластерной
среде, в которой выполняется определение сайтов, устанавливается дополнительный
параметр Inter-Site Management Policy (Политика межсайтового управления). Этот параметр может принимать следующие значения:
    

  • Ignore (Игнорировать). Это значение установлено по умолчанию и игнорирует
параметры зависимостей сайта для группы ресурсов.
    • 

  • Prefer Primary Site (Предпочтительное использование основного сайта).
Для группы ресурсов можно установить перехват несколькими сайтами приоритетным образом. При отказе сайта ресурс перехватывает активный сайт с наивысшим приоритетом. При реинтеграции отказавшего сайта ресурс получает сайт
с наивысшим приоритетом.
    • 

  • Online On Either Site (Подключение на любом сайте). Группа ресурсов может быть получена любым сайтом в цепочке ресурсов. При отказе сайта перехват
группы ресурсов выполняется на дежурном сайте с наивысшим приоритетом. При
реинтеграции отказавшего сайта группа ресурсов остается у нового владельца.
    • 

  • Online On Both Sites (Подключение на обоих сайтах). Получение группы
выполняется на обоих сайтах. Этот вариант определяет группу ресурсов с возможностью одновременного доступа.
    • 
    

    После определения групп ресурсов выполняется конфигурирование атрибутов
группы ресурсов, таких, как группа томов, сервисный IP-адрес и сервер приложения.
    

    Важным параметром при добавлении группы томов с поддержкой межсайтового зеркального отображения в группу ресурсов является поле Use forced varyon of volume
groups, if necessary (При необходимости использовать принудительную активизацию групп томов). Необходимо установить для этого поля значение true в любой конфигурации межсайтового зеркального отображения Cross-Site LVM. Это обеспечивает возможность активизации определенной группы томов на другом узле только
с одной (оставшейся) копией логического тома в случае отказа хранилища или сайта.
    

    После определения групп ресурсов и назначения групп томов в группы ресурсов
выполняется добавление логических томов и файловой системы в группы томов.
Конфигурирование выполняется обычным способом с использованием C-SPOC. Дополнительные сведения о создании компонентов LVM см. в разделе  "Управление
общим хранением".
    

    Для каждой группы ресурсов мы определяем сервер приложения. Сервер приложения выполняет тестовое приложение, которое осуществляет интенсивную запись
в файловые системы заданной группы ресурсов. При такой нагрузке мы можем достичь показателя использования заданного диска между 70 и 100 %.
    

    После настройки кластерной среды мы выполнили активизацию автоматического уведомления об ошибках. Мы выполнили smit hacmp > Problem Determination
Tools (Инструменты определения проблем) > HACMP Error Notification
(Уведомления об ошибках HACMP) > Configure Automatic Error Notification
(Конфигурирование автоматического уведомления об ошибках) > Add
Error Notify Methods for Cluster Resources (Добавить методы уведомления
об ошибках для ресурсов кластера). Дополнительные сведения о функции уведомления об ошибках см. в разделе  "Уведомление об ошибках".
    
Примечание: DARE не поддерживается в активном кластере с определенными
сайтами. Можно использовать C-SPOC для некоторых изменений в конфигурации
кластера. Все остальные изменения в конфигурации необходимо выполнять при
неактивном кластере.


    Тестирование межсайтового зеркального
отображения Cross-Site LVM
    

    После конфигурирования топологии и ресурсов кластера мы выполняем синхронизацию и верификацию кластера. Мы запустили кластер и проверили, все ли
ресурсы и пути для связи активны. Утилита cldump выводит информацию об узлах
кластера и сетевых интерфейсах, а также о состоянии групп ресурсов (включая политики каждой группы ресурсов). Пример 16.6 содержит выходные данные команды cldump  из нашей тестовой кластерной среды.
    

    kaper /usr/es/sbin/cluster/utilities gt; 
cldump Obtaining information via SNMP  from Nude:  nantes...
Cluster Name: crossitelm Cluster State:  JP Cluster Substate: STABLE
Node Name: knper	State: UP
Network Name: netdiskhbDl	State: UP
Address:	Label: dfskbb_slovenfatonantes State: UP
Network Hums: net_ether_01	State: UP
Address: 10.10.1.9	Label; koper_basel	State: UP
Address;  10.10.2.9	Label: koper_b3se2	State: UP
Address:  192.18.100,117 Label: appJsvc	State: UP
Node Name: nantes	State: UP
Network Warn*: netdfskhbOl	State; UP
Address;	Label: di skhb_fraricetos1 ovinia State: UP
Network Name: net_ether_01	State: UP
Address:	10.10.1.2	Label:	nantes_basel	State:  UP
Address:	10.10.2.2	Label:	nantesbaseZ	State: UP
Address:	192.163.100,86	Label:	applsvc	State: UP
Address:	192.163.100.87	Label:	appZsvc	State: UP
Cluster Name: crossitelvm
Resource Group Name: RG1
Startup Policy: Online On Home Node Only
Fallover Policy:  Fallover To Next Priority Node In The List
Fallback Policy:  Fallback To Higher Priority Node In The List
Site Policy:  ignore
Priority Override Information:
Primary Instance POL:
Node	Group State
nantes	ONLINE
koper	OFFLINE
Resource Group Name: RG2
Startup Policy: Online On Home Node Only
Fallover Policy: Fallover To Next Priority Node In The List
Fallback Policy: Fallback To Higher Priority Node In The List
Site Policy: ignore
Priority Override Information:
Primary Instance POL:
Node	Group State
nantes	ONLINE
kopar	OFFLINE
Resource Group Name: RG3
Startup Policy: Online On Home Node Only
Fallover Policy: Fallover To Next Priority Node In The List
Fallback Policy: Fallback To Higher Priority Node In The List
Site Policy: ignore
Priority Override Information:
Primary Instance POL:
Node	Group State
koper	OtlLlNE
nantes	OFFLINE
    

    Протестированные сценарии
    

    Постепенная остановка с передачей ресурсов
    

    Сначала мы выполняем тестирование постепенной остановки с передачей ресурсов (graceful
shutdown with takeover) на узле nantes. Службы кластера на узле nantes останавливают
и перемещают группы ресурсов RG1 и RG2, активизируя их на узле koper сайта Slovenia,
как и ожидалось. После тестирования мы запустили узел nantes0ы и кластер инициировал
перемещение групп ресурсов RG1 и RG2 обратно на основной узел (nantes), как и было
определено в политике группы ресурсов. Все ресурсы в группах ресурсов RG1 и RG2 стали
доступны на узле nantes, после чего приложения стали активными.
    

    Перемещение группы ресурсов на другой сайт
    

    В следующем тесте мы выбрали узел nantes, владеющий двумя группами ресурсов.
Используя функцию C-SPOC Move a Resource Group to Another Node / Site (Перемещение группы ресурсов на другой узел/сайт), мы переместили только
группу ресурсов RG1 на узел koper. Все ресурсы группы ресурсов RG1 были перемещены на узел koper, тогда как группа ресурсов RG2 осталась активной на узле nantes
без прерывания обслуживания, как и ожидалось.
    

    Отказ одной подсистемы хранения
    

    В следующем тесте мы имитировали отказ (основного) хранилища ESS. Тестирование
отказа хранилища производилось, когда все три тестовых приложения были активны
и при интенсивной нагрузке на диски. Показатель использования дисков составлял
около 100 % для всех тестовых файловых систем. Мы имитировали два различных
типа отказов хранилища.
    

    При первой имитации мы убрали назначения всех LUN, которыми владели наши
группы томов с поддержкой межсайтового зеркального отображения. Это имитировало внутренний логический отказ хранилища. При имитации второго отказа мы
отключили кабель Fibre Channel на узле nantes для имитации отказа подключения.
    

    В обоих случаях приложения продолжали работать без прерывания и группы
томов и файловые системы оставались доступными. После отказа мы проверили доступность диска и состояние синхронизации копии логического тома. Диски из хранилища ESS выводились с пометкой missing и с состоянием логического тома stale.
Пример 16.7 содержит выходные данные для группы томов clvmmenhvg при недоступной дисковой подсистемы ESS.
    

    nantes > lsvg	-p clvmmenhvg
clvmmenhvg:
PV_NAME                      PV STATE                    TOTAL	PPs      FREE PPs	FREE DISTRIBUTION
hdiskll                     active                      79	78	16..15..15..16..16
hdisklO                    active                     79	59	16..00..11..16..16
hdisk2                     missing                    74	73	15..14..14..15.. 15
hdiskS                      missing                     74	54	15..00. .09..15..15
nantes > lsvg	-1 clvmmenhvg
clvmmenhvg:
LV NAME                          TYPE	LPs      PPs	PVs    LV STATE	MOUNT POINT
cenglogZlv                  jfsZlog	12	2       open/stale	N/A
enhtestllv                 jfs2	20       ВД	2       open/stale	/applfs
    

    Приложения продолжали работать с оставшейся копией логического тома. После этого теста мы восстановили доступ к хранилищу ESS. Мы использовали опцию
CSPOC Synchronize Shared LVM Mirrors (Синхронизация общих зеркальных
отображений LVM), которая автоматически сделала доступными все устройства
hdisk и выполнила синхронизацию всех логических томов. Мы выполнили smit
cl_admin > HACMP Logical Volume Management (Управление логическими
томами HACMP) > Synchronize Shared LVM Mirrors (Синхронизация общих
зеркальных отображений LVM) > Synchronize by Volume Group (Синхронизация по группам томов), после чего выбрали требуемую группу томов.
    

    Мы проверили доступность дисков и состояние синхронизации копии логического тома. Все диски во всех группах томов являются доступными, и все логические
тома находятся в состоянии synch1. Пример 16.8 содержит данные для группы томов clvmmenhvg после реинтеграции хранилища.
    

    nantes > lsvg	-p clvmirtenhvg
PV_NAME        PV STATE       TOTAL	PPs  FREE PPs	FREE DISTRIBUTION
hdiskll        active        79	78	16..15..15..16..16
hdisklO       active        79	59	16..00..11..16..16
hdisk2        active        74	73	15..14..14..15..15
hdiskS        active        74	54	15. .00..09..15..15
nantes > lsvg	-1 clvmmenhvg
clvmnenhvg:
LV NAME         TYPE	LPs  PPs	PVs Lv STATE	MOUNT POINT
cenglog21v      jfs21og	1   2	2  open/syncd	N/A
enhtestllv      jfs2	20  40	2  open/syncd	/applfs
    

    Отказ всех дисковых подключений на одном сайте
    

    В следующем тесте выполняется разрыв подключений Fiber Channel на сайте France
и узле nantes. После некоторой задержки (в пару минут) кластер обнаружил отказ
хранилища для всех файловых систем в общей группе томов и выполнил перемещение групп ресурсов RG1 и RG2 на другой сайт Slovenia. Кластер активизирует обе
группы ресурсов на узле koper, выполняет varyonvg для всех групп томов, подключает файловые системы и запускает приложения. Все ресурсы доступны на узле koper
и группы томов из RG1 и RG2 активизированы.
    

    Отказ сайта
    

    В следующем тесте мы имитировали отказ сайта France посредством одновременного отказа узла nantes и подключений Fiber Channel к дисковой подсистеме ESS. Кластер обнаруживает отказ сайта, после чего происходит перемещение групп ресурсов
RG1 и RG2 на сайт Slovenia. Кластер активизирует обе группы ресурсов на узле koper,
выполняет команду varyonvg для всех групп томов, подключает файловые системы и запускает приложения. Все ресурсы доступны на узле koper, группы томов,
относящиеся к RG1 и RG2, активизируются в оставшейся дисковой подсистеме (хранилище DS4500). Третья группа ресурсов RG3 (на узле koper) работает без перерыва.
    

    После выполнения данного теста мы подключили дисковую подсистему ESS обратно, после чего дисковые ресурсы ESS опять стали доступными, и активизировали
узел nantes. Кластер инициирует перемещение RG1 и RG2 обратно на основной узел
(nantes) в соответствии с политикой группы ресурсов. Все ресурсы в RG1 и RG2 стали доступными на узле nantes, после чего были запущены приложения.
    Страницы:

    Введение в межсайтовое зеркальное отображение Cross-Site LVM mirroring

    Сеть хранения данных (storage area network, SAN) представляет собой высокоскоростную сеть, позволяющую реализовать прямые подключения между устройствами хранения и серверами. Максимальное расстояние подключений определяется ограничениями Fibre Channel. Это позволяет двум и более серверам, расположенным на разных сайтах, осуществлять доступ к одним и тем же физическим дискам.

    Эти удаленные диски могут быть объединены в группу томов через AIX 5L Logical Volume Manager (LVM), после чего эту группу томов можно импортировать на узлах, расположенных на разных сайтах. Можно создать логические тома и установить на каждом сайте зеркальное отображение LVM с копией. HACMP поддерживает не больше двух активных сайтов в межсайтовом зеркальном отображении Cross-Site LVM mirroring.

    Основное различие между обычными локальными кластерами и кластерными решениями с межсайтовым зеркальным отображением состоит в следующем. В локальных кластерах все узлы и подсистемы хранения расположены в одном месте. В кластере с межсайтовым зеркальным отображением узлы и подсистемы хранения располагаются в разных местах. Каждый сайт имеет как минимум один узел кластера и одну подсистему хранения со всей необходимой инфраструктурой IP-сети и SAN.

    Такое решение обеспечивает автоматизацию зеркального отображения AIX LVM в дисковых подсистемах SAN между разными сайтами. Оно также обеспечивает автоматическую синхронизацию зеркальных отображений LVM и активизацию дисковых устройств, когда после отказа диска или сайта узел или диск становится недоступным. Каждый узел в кластере Cross-Site LVM имеет доступ ко всем подсистемам хранения. Доступность данных обеспечивается посредством зеркального отображения LVM между томами, находящимися в различных подсистемах хранения на разных сайтах.

    Рис. 16.1 представляет среду межсайтового отображения LVM с двумя сайтами, которую мы использовали при тестировании межсайтового зеркального отображения LVM.

    В случае отказа сайта HACMP выполняет перехват ресурсов на дополнительном сайте в соответствии с установленной политикой кластера. Он активизирует все определенные группы томов с оставшейся зеркальной копии. В случае отказа одной подсистемы хранения доступ к данным не нарушается и приложения могут получить доступ к данным, расположенным на активной зеркальной копии в оставшейся дисковой подсистеме.

    HACMP выполняет автоматическую синхронизацию зеркальных отображений LVM, и после интеграции отказавшего сайта в кластер он автоматически исправляет удаленные и отсутствующие тома (с состоянием PV removed и missing) и осуществляет синхронизацию данных. Автоматическая синхронизация в любом случае невозможна, однако вы можете использовать C-SPOC для синхронизации данных с рабочих зеркальных отображений на неактуальные (stale) зеркальные отображения после отказа диска или сайта.

    Требования

    Для обеспечения целостности данных и соответствующей реакции HACMP при отказе сайта или дисковой подсистемы необходимо выполнение следующих требований:

  • атрибут принудительной активизации force varyon для группы ресурсов должен быть установлен в значение true;
  • должна быть установлена политика размещения логических томов "super strict" (это обеспечит размещение копий логических томов на разных томах, а также размещение основной и дополнительной копии каждого логического раздела (LP) на дисках, расположенных на разных сайтах);
  • зеркальные копии логических томов должны быть расположены на отдельных томах, расположенных в разных дисковых подсистемах (или на разных сайтах).
    •

    При увеличении размера файловой системы с зеркальным отображением необходимо обеспечить выделение нового логического раздела на различных томах и в разных дисковых подсистемах в соответствии с требованиями, приведенными выше. Для выполнения этой задачи необходимо сначала увеличить размер логического тома, выбрав соответствующий том, а затем увеличить размер файловой системы, желательно с использованием C-SPOC (в этом случае HACMP выполнит принудительное применение установленных параметров).

    Перед конфигурированием среды зеркального отображения Cross-Site LVM mirroring проверьте выполнение следующих требований:

  • сконфигурируйте сайты и группы ресурсов и запустите процесс обнаружения кластера HACMP;
  • убедитесь в том, что оба сайта имеют копии логических томов и что для атрибута forced varyon (принудительная активизация) группы томов установлено значение Yes, если группа ресурсов уже содержит группу томов.
    •

    Аспекты инфраструктуры

    В этом разделе описываются некоторые аспекты, связанные с установкой SAN, подключениями Fibre Channel и средой локальной сети. Аспекты и ограничения основаны на технологиях и протоколах, используемых для реализации кластера с межсайтовым зеркальным отображением.

    SAN или сеть может быть расширена за пределами первоначального сайта с использованием передовых технологий. См. SG-245250-04 .

    Ниже перечислены технологии, которые можно использовать для такого расширения. Этот список не является исчерпывающим.

  • Маршрутизатор FCIP.
  • Устройства WDM (Wave Division Multiplexing). Эта технология включает:
  • CWDM (Coarse Wavelength Division Multiplexing) – менее дорогостоящий компонент технологии WDM;
  • DWDM (Dense Wavelength Division Multiplexing).
    •

    Конфигурирование межсайтового зеркального отображения Cross-Site LVM mirroring

    В этом разделе мы представим пример установки и конфигурирования среды зеркального отображения Cross-Site LVM mirroring. В целом можно выполнить конфигурирование зеркального отображения Cross-Site LVM mirroring при создании нового кластера. Также можно изменить существующий локальный кластер путем добавления зависимостей сайтов и функций Cross-Site LVM в конфигурацию кластера и их интеграции в межсайтовой среде.

    Конфигурирование кластера Cross-Site LVM

    Для тестирования зеркального отображения Cross-Site LVM мы решили выполнить конфигурирование новой кластерной среды. Через меню Extended Configuration (Расширенное конфигурирование) мы сначала определяем топологию кластера, включая определение кластера, узлы, сети, сетевые интерфейсы и сети мониторинга пульса через диски, отличные от IP, как в обычной кластерной среде. У нас есть узлы koper и nantes; koper расположен на сайте Slovenia, тогда как nantes расположен на сайте France ( рис. 16.1).

    (рис 16.1) Среда тестирования кластера с зеркальным отображением Cross-Site LVM mirroring

    Важным элементом в межсайтовых средах являются пути для связи между узлами на обоих сайтах. Связь между узлами включает IP-подключения и подключения, отличные от IP. Подключения, отличные от IP, очень важны в межсайтовых кластерных системах, так как они позволяют не допустить изоляции узла или сайта ("split brain"). Мы сконфигурировали сеть пульса, отличную от IP, с использованием функции мониторинга пульса через диски.

    Следуя общим рекомендациям для сетей пульса, отличных от IP (см. раздел "Планирование сетей кластера", мы определили две сети пульса, отличные от IP. Первая сеть использует дисковые устройства в хранилище ESS, расположенном на сайте France. Вторая сеть применяет дисковые устройства в хранилище FAStT/DS4xxx, расположенном на сайте Slovenia. Такое дублирование устанавливается для того, чтобы сохранить работоспособность отличных от IP сетей пульса в кластере в случае отказа одной дисковой подсистемы.

    Рис. 16.1 представляет нашу тестовую среду для тестирования межсайтового зеркального отображения Cross-Site LVM mirroring. В следующих разделах подробно описываются этапы конфигурирования Cross-Site LVM для определенной конфигурации кластера.

    Конфигурирование сайтов кластера

    При конфигурировании межсайтового зеркального отображения LVM или любого из компонентов HACMP/XD следует использовать определения сайта в HAMCP.

    Мы выполнили конфигурирование сайтов и добавили их в конфигурацию кластера, используя меню SMIT. Мы выбрали smit hacmp > Extended Configuration (Расширенное конфигурирование) > Extended Topology Configuration (Расширенное конфигурирование топологии) > Configure HACMP Sites (Конфигурирование сайтов HACMP) > Add a Site (Добавление сайта). Мы добавили два сайта: France и Slovenia. Узел koper является частью сайта Slovenia, тогда как узел nantes является частью сайта France. На рис. 16.2 представлено меню создания сайта в SMIT.

    (рис 16.2) Добавление сайта в конфигурацию топологии

    Для определения сайта в меню SMIT необходимо заполнить следующие поля:

  • Site Name (Имя сайта). Определите имя сайта, используемое для назначения различных зависимостей сайта при последующем конфигурировании.
  • Site Nodes (Узлы сайта). Для каждого сайта мы определяем список узлов, расположенных на сайте.
  • Dominance (Доминирование). Выбрав Yes, мы определяем, что этот сайт должен быть доминирующим при изоляции сайтов.
  • Backup Communications (Резервные связи). Следует определить тип резервных связей для обнаружения изоляции сайта (none, sgn, dbfs).
    •

    Конфигурирование зависимостей сайтов с зеркальным отображением Cross-Site LVM

    После определения топологии кластера с зависимостями сайтов выполняется назначение определенных дисковых устройств соответствующим сайтам. На сайте France установлено хранилище ESS 2105-800, тогда как на сайте Slovenia установлено хранилище DS4500. Серверы используют MPIO для хранилища ESS и драйвер RDAC для хранилища DS4xxx. Конфигурация разделения SAN на зоны создается таким образом, чтобы каждый сервер мог осуществлять доступ к дисковой подсистеме ESS через адаптер Fiber Channel, тогда как доступ к хранилищу DS4xxx осуществляется через другой адаптер. В примере 16.1 представлен список дисков на узле nantes. Мы планируем использовать диски hdisk2 – hdisk6 и hdisk10 – hdisk14 для конфигурации зеркального отображения Cross-Site LVM, тогда как диски hdisks7 свободны для использования в группе томов без зеркального отображения.

    nantes /иsr/es/sbin/cluster * lspv
hdnskO	0O22be2ablcdllac	raotvg        active
hdlskl	0022be2ahc247c91	alt1nst_rootvg
hdisk2	O022be2afl607249f	elvmmenhvg    active
hciikJ	0022be2d0bfelf60	clvmmshvg     active
hdisk4	0022be2a86607918	clvmmhvg     active
hdisk5	0022be2aOSd4844e	clvitnenhvg    active
bdisk6	0D22be2ae662ce0e	apP3vg
hdisk7	00Ј2beЈa0bfe9el9	None
hdiskS	O025740Qh4d32D54	None
hdisk9	0022be2aa6630978	None
hdiskl0	0022be2aDbfe9eec	elvmmenhvg    active
hdiskll	OD22be2aObfe9fBa	elvmmenhvg    active
hdiskl2	0022be2a0bfea026	elvmmenhvg     active
hdiskl3	0022be2a0bfeaOca	elvmmshvg     active
hdisk14	0022 Ье2а11690be3	apP3vg

    Мы используем SMIT для назначения зависимостей сайтов/дисков; запускаем smit hacmp > System Management (C-SPOC) > HACMP Physical Volume Management (Управление физическими томами HACMP) > Configure Disk/Site Locations for Cross-Site LVM Mirroring (Конфигурирование расположения дисков/сайтов при зеркальном отображении Cross-Site LVM) > Add Disk/Site Definition for Cross-Site LVM Mirroring (Добавление определения дисков/сайтов для зеркального отображения Cross-Site LVM). Для прямого доступа к меню Configure Disk/Site Locations for Cross-Site LVM Mirroring (Конфигурирование расположения дисков/сайтов при зеркальном отображении Cross-Site LVM) можно использовать быстрый путь smit cl_xslvmm.

    Примечание. Меню Configure Disk/Site Locations for Cross-Site LVM Mirroring (Конфигурирование расположения дисков/сайтов при зеркальном отображении Cross-Site LVM) функционирует корректно только в том случае, если файл обнаружения дисков (Disk Discovery File) отражает текущую конфигурацию дисков. Мы рекомендуем выполнить процесс обнаружения HACMP, прежде чем выполнять конфигурирование зависимостей дисков/сайтов. Внимание! Всем дискам должны быть назначены соответствующие PVID, прежде чем запускать Discover HACMP-related Information from Configured Nodes (Обнаружение информации, относящейся к HACMP, на сконфигурированных узлах), чтобы иметь полную информацию о дисках в файле обнаружения дисков. Это можно сделать, используя команду chdev -l hdiskX -a pv=yes на одном узле с последующим удалением и реконфигурированием дисковых устройств на других узлах (rmdev..., cfgmgr).

    После использования меню Add Disk/Site Definition for Cross-Site LVM Mirroring (Добавление определения дисков/сайтов для зеркального отображения Cross-Site LVM) сначала следует выбрать сайт для своего определения, как показано в примере 16.2. После этого нужно выбрать диски, расположенные на выбранном сайте, как показано в примере 16.3.

    Hove cursor to desired item and press Enter,
France
Slovenia
    [TORE...10]
0O22be2aObfea026	hd1skl3 koper
0O2Zbe2aObfeaDca	hdisk14 koper
>	0O22be2aS607249f	hdisk2 nantes  
	22bi22a0bfelfEQ		hdisk3 ngntes
>	0O22be2a86607913	hdisk4 nantes
>	0O22be2aOBd4844e	hdisk5 nantes
	0O22beЈa8662ceQe	hdisk6 nanus
	0022 beSaObfe9e19	hdisк7 nantes
[MORE..6]

    Впоследствии можно изменить зависимость сайтов/дисков, выполнив smit cl_ xslvmm и выбрав Change/Show Disk/Site Definition for Cross-Site LVM Mirroring (Изменение/вывод определения дисков/сайтов для зеркального отображения Cross-Site LVM). Также можно удалить зависимость сайтов/дисков, выполнив smit cl_xslvmm и выбрав Remove Disk/Site Definition for Cross-Site LVM Mirroring (Удаление определения дисков/сайтов для зеркального отображения Cross-Site LVM).

    Настройка групп томов зеркального отображения cross-site LVM

    Для тестирования межсайтового зеркального отображения Cross-Site LVM мы создали три группы томов:

  • clvmmshvg – общая группа томов без одновременного доступа (shared non-concurrent);
  • clvmmenhvg – группа томов с расширенным одновременным доступом (enhanced concurrent);
  • app3vg – группа томов с расширенным одновременным доступом (enhanced concurrent).
    •

    Мы создали свои группы томов через меню C-SPOC. Мы запустили smit cl_admin, после чего выбрали HACMP Logical Volume Management (Управление логическими томами HACMP) для общей группы томов или HACMP Concurrent Logical Volume Management (Управление логическими томами HACMP с одновременным доступом) для обеих групп томов с расширенным одновременным доступом.

    После выбора участвующих узлов мы выбрали диски, как показано в примере 16.4. Затем мы заполняем все необходимые поля на экране создания группы томов и устанавливаем для опции Enable Cross-Site LVM Mirroring Verification (Включить верификацию зеркального отображения Cross-Site LVM) значение true. В примере 16.5 представлен экран создания группы томов.

    [MORE.. .1]
>	0022be2a86607918	France
>	0022be2a0bfelf60	France
>	0022be2a0bfea026	Slovenia
>	0022be2a0bfea0ca	Slovenia 
   	0022be2a86630978 
	0022be2a0bfe9f8a	Slovenia 0
	022be2a0bfe9eec	Slovenia 
	0022be2a0bfe9el9

    В примере 16.5 представлено создание общей группы томов.

    

    Конфигурирование группы ресурсов, содержащей группу
томов с поддержкой зеркального отображения Cross-Site LVM
    

    После определения в кластере всех компонентов топологии и LVM мы выполнили
создание групп ресурсов. Для двух групп ресурсов узел nantes является основным
узлом. Для третьей группы ресурсов основным узлом является koper. Каждая группа
ресурсов владеет одной группой томов, для которой осуществляется межсайтовое
зеркальное отображение.
    

    Создание группы ресурсов в межсайтовой кластерной среде подобно обычной
кластерной конфигурации. Для групп ресурсов с зависимостями сайтов в кластерной
среде, в которой выполняется определение сайтов, устанавливается дополнительный
параметр Inter-Site Management Policy (Политика межсайтового управления). Этот параметр может принимать следующие значения:
    

  • Ignore (Игнорировать). Это значение установлено по умолчанию и игнорирует
параметры зависимостей сайта для группы ресурсов.
    • 

  • Prefer Primary Site (Предпочтительное использование основного сайта).
Для группы ресурсов можно установить перехват несколькими сайтами приоритетным образом. При отказе сайта ресурс перехватывает активный сайт с наивысшим приоритетом. При реинтеграции отказавшего сайта ресурс получает сайт
с наивысшим приоритетом.
    • 

  • Online On Either Site (Подключение на любом сайте). Группа ресурсов может быть получена любым сайтом в цепочке ресурсов. При отказе сайта перехват
группы ресурсов выполняется на дежурном сайте с наивысшим приоритетом. При
реинтеграции отказавшего сайта группа ресурсов остается у нового владельца.
    • 

  • Online On Both Sites (Подключение на обоих сайтах). Получение группы
выполняется на обоих сайтах. Этот вариант определяет группу ресурсов с возможностью одновременного доступа.
    • 
    

    После определения групп ресурсов выполняется конфигурирование атрибутов
группы ресурсов, таких, как группа томов, сервисный IP-адрес и сервер приложения.
    

    Важным параметром при добавлении группы томов с поддержкой межсайтового зеркального отображения в группу ресурсов является поле Use forced varyon of volume
groups, if necessary (При необходимости использовать принудительную активизацию групп томов). Необходимо установить для этого поля значение true в любой конфигурации межсайтового зеркального отображения Cross-Site LVM. Это обеспечивает возможность активизации определенной группы томов на другом узле только
с одной (оставшейся) копией логического тома в случае отказа хранилища или сайта.
    

    После определения групп ресурсов и назначения групп томов в группы ресурсов
выполняется добавление логических томов и файловой системы в группы томов.
Конфигурирование выполняется обычным способом с использованием C-SPOC. Дополнительные сведения о создании компонентов LVM см. в разделе  "Управление
общим хранением".
    

    Для каждой группы ресурсов мы определяем сервер приложения. Сервер приложения выполняет тестовое приложение, которое осуществляет интенсивную запись
в файловые системы заданной группы ресурсов. При такой нагрузке мы можем достичь показателя использования заданного диска между 70 и 100 %.
    

    После настройки кластерной среды мы выполнили активизацию автоматического уведомления об ошибках. Мы выполнили smit hacmp > Problem Determination
Tools (Инструменты определения проблем) > HACMP Error Notification
(Уведомления об ошибках HACMP) > Configure Automatic Error Notification
(Конфигурирование автоматического уведомления об ошибках) > Add
Error Notify Methods for Cluster Resources (Добавить методы уведомления
об ошибках для ресурсов кластера). Дополнительные сведения о функции уведомления об ошибках см. в разделе  "Уведомление об ошибках".
    
Примечание: DARE не поддерживается в активном кластере с определенными
сайтами. Можно использовать C-SPOC для некоторых изменений в конфигурации
кластера. Все остальные изменения в конфигурации необходимо выполнять при
неактивном кластере.


    Тестирование межсайтового зеркального
отображения Cross-Site LVM
    

    После конфигурирования топологии и ресурсов кластера мы выполняем синхронизацию и верификацию кластера. Мы запустили кластер и проверили, все ли
ресурсы и пути для связи активны. Утилита cldump выводит информацию об узлах
кластера и сетевых интерфейсах, а также о состоянии групп ресурсов (включая политики каждой группы ресурсов). Пример 16.6 содержит выходные данные команды cldump  из нашей тестовой кластерной среды.
    

    kaper /usr/es/sbin/cluster/utilities gt; 
cldump Obtaining information via SNMP  from Nude:  nantes...
Cluster Name: crossitelm Cluster State:  JP Cluster Substate: STABLE
Node Name: knper	State: UP
Network Name: netdiskhbDl	State: UP
Address:	Label: dfskbb_slovenfatonantes State: UP
Network Hums: net_ether_01	State: UP
Address: 10.10.1.9	Label; koper_basel	State: UP
Address;  10.10.2.9	Label: koper_b3se2	State: UP
Address:  192.18.100,117 Label: appJsvc	State: UP
Node Name: nantes	State: UP
Network Warn*: netdfskhbOl	State; UP
Address;	Label: di skhb_fraricetos1 ovinia State: UP
Network Name: net_ether_01	State: UP
Address:	10.10.1.2	Label:	nantes_basel	State:  UP
Address:	10.10.2.2	Label:	nantesbaseZ	State: UP
Address:	192.163.100,86	Label:	applsvc	State: UP
Address:	192.163.100.87	Label:	appZsvc	State: UP
Cluster Name: crossitelvm
Resource Group Name: RG1
Startup Policy: Online On Home Node Only
Fallover Policy:  Fallover To Next Priority Node In The List
Fallback Policy:  Fallback To Higher Priority Node In The List
Site Policy:  ignore
Priority Override Information:
Primary Instance POL:
Node	Group State
nantes	ONLINE
koper	OFFLINE
Resource Group Name: RG2
Startup Policy: Online On Home Node Only
Fallover Policy: Fallover To Next Priority Node In The List
Fallback Policy: Fallback To Higher Priority Node In The List
Site Policy: ignore
Priority Override Information:
Primary Instance POL:
Node	Group State
nantes	ONLINE
kopar	OFFLINE
Resource Group Name: RG3
Startup Policy: Online On Home Node Only
Fallover Policy: Fallover To Next Priority Node In The List
Fallback Policy: Fallback To Higher Priority Node In The List
Site Policy: ignore
Priority Override Information:
Primary Instance POL:
Node	Group State
koper	OtlLlNE
nantes	OFFLINE
    

    Протестированные сценарии
    

    Постепенная остановка с передачей ресурсов
    

    Сначала мы выполняем тестирование постепенной остановки с передачей ресурсов (graceful
shutdown with takeover) на узле nantes. Службы кластера на узле nantes останавливают
и перемещают группы ресурсов RG1 и RG2, активизируя их на узле koper сайта Slovenia,
как и ожидалось. После тестирования мы запустили узел nantes0ы и кластер инициировал
перемещение групп ресурсов RG1 и RG2 обратно на основной узел (nantes), как и было
определено в политике группы ресурсов. Все ресурсы в группах ресурсов RG1 и RG2 стали
доступны на узле nantes, после чего приложения стали активными.
    

    Перемещение группы ресурсов на другой сайт
    

    В следующем тесте мы выбрали узел nantes, владеющий двумя группами ресурсов.
Используя функцию C-SPOC Move a Resource Group to Another Node / Site (Перемещение группы ресурсов на другой узел/сайт), мы переместили только
группу ресурсов RG1 на узел koper. Все ресурсы группы ресурсов RG1 были перемещены на узел koper, тогда как группа ресурсов RG2 осталась активной на узле nantes
без прерывания обслуживания, как и ожидалось.
    

    Отказ одной подсистемы хранения
    

    В следующем тесте мы имитировали отказ (основного) хранилища ESS. Тестирование
отказа хранилища производилось, когда все три тестовых приложения были активны
и при интенсивной нагрузке на диски. Показатель использования дисков составлял
около 100 % для всех тестовых файловых систем. Мы имитировали два различных
типа отказов хранилища.
    

    При первой имитации мы убрали назначения всех LUN, которыми владели наши
группы томов с поддержкой межсайтового зеркального отображения. Это имитировало внутренний логический отказ хранилища. При имитации второго отказа мы
отключили кабель Fibre Channel на узле nantes для имитации отказа подключения.
    

    В обоих случаях приложения продолжали работать без прерывания и группы
томов и файловые системы оставались доступными. После отказа мы проверили доступность диска и состояние синхронизации копии логического тома. Диски из хранилища ESS выводились с пометкой missing и с состоянием логического тома stale.
Пример 16.7 содержит выходные данные для группы томов clvmmenhvg при недоступной дисковой подсистемы ESS.
    

    nantes > lsvg	-p clvmmenhvg
clvmmenhvg:
PV_NAME                      PV STATE                    TOTAL	PPs      FREE PPs	FREE DISTRIBUTION
hdiskll                     active                      79	78	16..15..15..16..16
hdisklO                    active                     79	59	16..00..11..16..16
hdisk2                     missing                    74	73	15..14..14..15.. 15
hdiskS                      missing                     74	54	15..00. .09..15..15
nantes > lsvg	-1 clvmmenhvg
clvmmenhvg:
LV NAME                          TYPE	LPs      PPs	PVs    LV STATE	MOUNT POINT
cenglogZlv                  jfsZlog	12	2       open/stale	N/A
enhtestllv                 jfs2	20       ВД	2       open/stale	/applfs
    

    Приложения продолжали работать с оставшейся копией логического тома. После этого теста мы восстановили доступ к хранилищу ESS. Мы использовали опцию
CSPOC Synchronize Shared LVM Mirrors (Синхронизация общих зеркальных
отображений LVM), которая автоматически сделала доступными все устройства
hdisk и выполнила синхронизацию всех логических томов. Мы выполнили smit
cl_admin > HACMP Logical Volume Management (Управление логическими
томами HACMP) > Synchronize Shared LVM Mirrors (Синхронизация общих
зеркальных отображений LVM) > Synchronize by Volume Group (Синхронизация по группам томов), после чего выбрали требуемую группу томов.
    

    Мы проверили доступность дисков и состояние синхронизации копии логического тома. Все диски во всех группах томов являются доступными, и все логические
тома находятся в состоянии synch1. Пример 16.8 содержит данные для группы томов clvmmenhvg после реинтеграции хранилища.
    

    nantes > lsvg	-p clvmirtenhvg
PV_NAME        PV STATE       TOTAL	PPs  FREE PPs	FREE DISTRIBUTION
hdiskll        active        79	78	16..15..15..16..16
hdisklO       active        79	59	16..00..11..16..16
hdisk2        active        74	73	15..14..14..15..15
hdiskS        active        74	54	15. .00..09..15..15
nantes > lsvg	-1 clvmmenhvg
clvmnenhvg:
LV NAME         TYPE	LPs  PPs	PVs Lv STATE	MOUNT POINT
cenglog21v      jfs21og	1   2	2  open/syncd	N/A
enhtestllv      jfs2	20  40	2  open/syncd	/applfs
    

    Отказ всех дисковых подключений на одном сайте
    

    В следующем тесте выполняется разрыв подключений Fiber Channel на сайте France
и узле nantes. После некоторой задержки (в пару минут) кластер обнаружил отказ
хранилища для всех файловых систем в общей группе томов и выполнил перемещение групп ресурсов RG1 и RG2 на другой сайт Slovenia. Кластер активизирует обе
группы ресурсов на узле koper, выполняет varyonvg для всех групп томов, подключает файловые системы и запускает приложения. Все ресурсы доступны на узле koper
и группы томов из RG1 и RG2 активизированы.
    

    Отказ сайта
    

    В следующем тесте мы имитировали отказ сайта France посредством одновременного отказа узла nantes и подключений Fiber Channel к дисковой подсистеме ESS. Кластер обнаруживает отказ сайта, после чего происходит перемещение групп ресурсов
RG1 и RG2 на сайт Slovenia. Кластер активизирует обе группы ресурсов на узле koper,
выполняет команду varyonvg для всех групп томов, подключает файловые системы и запускает приложения. Все ресурсы доступны на узле koper, группы томов,
относящиеся к RG1 и RG2, активизируются в оставшейся дисковой подсистеме (хранилище DS4500). Третья группа ресурсов RG3 (на узле koper) работает без перерыва.
    

    После выполнения данного теста мы подключили дисковую подсистему ESS обратно, после чего дисковые ресурсы ESS опять стали доступными, и активизировали
узел nantes. Кластер инициирует перемещение RG1 и RG2 обратно на основной узел
(nantes) в соответствии с политикой группы ресурсов. Все ресурсы в RG1 и RG2 стали доступными на узле nantes, после чего были запущены приложения.
    Предыдущее занятие Следующее занятие
    Вернуться к учебному плану
    ^