Реализация мультипроцессорных кластеров высокой доступности (HACMP)

Аспекты подсистемы хранения

Разбить на страницы
Показывать лекцию целиком

Типы групп томов

Важно иметь представление о различных типах групп томов, а также об использовании каждого типа в HACMP. Мы рассмотрим следующие типы групп томов:

  • с расширенным одновременным доступом (Enhanced concurrent);
  • без одновременного доступа (Non-concurrent);
  • с одновременным доступом (Concurrent);
  • с одновременным доступом RAID (RAID concurrent).
    •

    Существуют другие дополнительные атрибуты групп томов, которые могут совместно использоваться с перечисленными выше атрибутами (например, "big" и "scalable "). Вообще говоря, можно совмещать эти атрибуты с типами, перечисленными выше. Например, можно использовать большую группу томов с расширенным одновременным доступом (big enhanced concurrent volume group). Однако эти дополнительные атрибуты не влияют на способ активизации групп томов в HACMP. HACMP активизирует большую группу томов с расширенным одновременным доступом, используя такой же метод, как если бы это была простая группа томов с расширенным одновременным доступом.

    Группы томов с расширенным одновременным доступом

    Группы томов с расширенным одновременным доступом (Enhanced concurrent) впервые появились в AIX 5.1. В отличие от групп томов с одновременным доступом, которые предназначены для использования только в SSA, эти группы томов поддерживали использование в любой дисковой подсистеме, поддерживаемой в общей конфигурации, AIX, pSeries, HACMP. В AIX 5.2 и выше группы томов с расширенным одновременным доступом представляют единственный доступный тип групп томов с одновременным доступом.

    Группы томов с расширенным одновременным доступом используют демон Group Services Concurrent Logical Volume Manager daemon (gsclvmd), который осуществляет обмен данными с другими узлами кластера через IP.

    Использование gsclvmd позволяет выполнять большинство изменений в LVM динамически, даже из командной строки. Для того чтобы эти динамические изменения работали корректно, необходимо, чтобы при выполнении обслуживания были запущены gsclvmd, topsvcs, groupsvcs и emsvcs. Это легко сделать при запущенном и работающем кластере HACMP с группами томов, подключенными в режиме одновременного доступа.

    Примечание. Все администрирование LVM кластера рекомендуется осуществлять через C-SPOC. В отличие от командной строки в данном случае не требуется, чтобы на узлах кластера были запущены службы кластера (за исключением clcomdES).

    Группы томов с расширенным одновременным доступом можно использовать как в средах с одновременным доступом, так и в средах без одновременного доступа. От этого зависят дополнительные функции HACMP (т. е. быстрый перехват дисков и мониторинг пульса через диски).

    Внимание! При конфигурировании групп томов с расширенным одновременным доступом в кластере убедитесь, что существует несколько сетей (IP и отличных от IP) для связи между узлами в кластере, чтобы избежать разделения кластера (cluster partitioning). При использовании быстрого перехвата дисков не устанав-ливается обычный бит резервирования SCSI, чтобы избежать подключения нескольких узлов к группе томов.

    Существующие группы томов без одновременного доступа можно преобразовать в группы томов с расширенным одновременным доступом без потери какого-либо дополнительного пространства для хранения. Для изменения группы томов она должна быть подключена; изменение выполняется командой chvg -c vgname. Для того чтобы это изменение вступило в силу на других узлах, группу томов необходимо отключить и затем либо экспортировать и реимпортировать, либо использовать опцию learn команды importvg: importvg -L vgname pvname.

    Для создания новой группы томов с расширенным одновременным доступом на локальном узле из командной строки нужно просто выполнить команду mkvg -C vgname pvname.

    Для того чтобы проверить, имеет ли том расширенный одновременный доступ, можно выполнить команду lsvg vgname и посмотреть поле "Concurrent:"; оно должно содержать значение "Enhanced Capable", как показано на рис. 13.1.

    (рис 13.1) Пример группы томов с расширенным одновременным доступом

    Группы томов без одновременного доступа

    При создании новой группы томов по умолчанию создается группа томов без одновременного доступа (Non-concurrent). Она также называется стандартной группой томов. Сущность групп томов без одновременного доступа состоит в том, что несколько систем не могут одновременно получить доступ к группе томов. Полный доступ для чтения-записи возможен только для системы, активизировавшей группу томов командой varyonvg vgname.

    Группы томов без одновременного доступа не являются выделенным типом групп томов для LVM. Имеется в виду выделение режима работы, в котором группа томов будет использоваться. При выполнении команды lsvg для группы томов без одновременного доступа, выходные данные команды не содержат поле "Concurrent", показанное на рис. 13.1.

    Группы томов с одновременным доступом

    Примечание. Версия AIX 5.1 с 32-разрядным ядром является последней версией, поддерживающей группы томов с одновременным доступом (Concurrent). AIX 5.2 и выше используют группы томов с расширенным одновременным доступом, описываемые в разделе "С расширенным одновременным доступом".

    Группы томов этого типа, также называемые группами томов с возможностью одновременного доступа (Concurrent Capable), используются в HACMP с дисками SSA в конфигурации "одновременного доступа". Эта комбинация являлась первым типом группы томов с настоящим режимом одновременного доступа.

    Уникальная последовательная связь дисков SSA позволяет осуществлять доступ через так называемый скрытый канал (covert channel). Этот скрытый канал используется диспетчером логических томов с одновременным доступом (Concurrent Logical Volume Manager, CLVM). CLVM способен осуществлять автоматическую синхронизацию информации ODM, связанной с LVM, используя демон CLVM (clvmd). Это позволяет осуществлять обслуживание LVM групп томов в подключенном режиме.

    Clvmd автоматически запускается при активизированных группах томов в режиме одновременного доступа с использованием команды varyonvg -c.

    Группы томов с одновременным доступом RAID

    Примечание. Группы томов с одновременным доступом RAID в настоящее время используются редко и считаются устаревшими.

    Группа томов с одновременным доступом RAID (RAID concurrent) представляет группу томов без одновременного доступа, добавляемую в группу ресурсов HACMP с одновременным доступом [в HA 5.2 и выше такие группы ресурсов называются группами ресурсов с подключением на всех узлах (online on all nodes)]. В LVM нет выделения, соответствующего типу "RAID concurrent". Тип "RAID concurrent" в действительности представляет внутреннее выделение HACMP.

    При подключении группы ресурсов с одновременным доступом выполняется проверка типа группы томов. Если она является группой томов без одновременного доступа, HACMP должен определить, из устройств какого типа она состоит. Очень важно знать тип устройств, так как эта конфигурация поддерживала только некоторые устройства хранения.

    Поддерживаемые устройства хранятся в файле /usr/es/sbin/cluster/diag/clconraid. dat. Если HACMP находит тип устройства, продолжается подключение группы томовв режиме полного доступа для чтения-записи для каждого участвующего узла с использованием команды convaryonvg. В старой документации и файлах журналов (например, в /tmp/hacmp.out) этот режим имеет название "mode 3".

    После подключения группы томов с одновременным доступом RAID в режиме одновременного доступа невозможно внести изменения, связанные с LVM (включая C-SPOC). Для внесения каких-либо изменений в LVM необходимо отключить группe томов на всех узлах, затем подключить ее только на одном узле, внести требуемые изменения и снова реимпортировать группу томов на все остальные участвующие узлы. Это, конечно же, неудобно, так как внесение практически каждого изменения в LVM вызывает простой.

    Резервирование дисков

    При активизации группы томов в AIX для каждого участвующего диска устанавливается бит резервирования. Это гарантирует, что другие системы не смогут получить доступ к этим дискам, что позволяет обеспечить целостность данных.

    Такое резервирование часто называется резервированием SCSI, так как оно основано на стандартах SCSI. Большинство новых дисков FC используют протокол FSCSI, и при этом все еще применяют резервирование SCSI.

    Стандарты SCSI определяют два различных типа резервирования:

  • SCSI-2 – "традиционное" резервирование;
  • SCSI-3 – постоянное резервирование (persistent reservation, PR).
    •

    Резервирование SCSI-2 позволяет осуществлять доступ только с использованием одного пути, поэтому этот тип резервирования нельзя применять для многопутевого доступа к хранилищу. Резервирование SCSI-2 не является постоянным, так как оно не восстанавливается после перезагрузки узла.

    SCSI-3 PR (persistent reservation, постоянное резервирование) поддерживает доступ к устройству для нескольких узлов, в то же время блокируя доступ для других узлов. Резервирование SCSI-3 PR является постоянным и восстанавливается после сброса шины SCSI и перезагрузки узлов, а также поддерживает использование нескольких путей от узла к диску.

    SCSI-3 PR применяет понятие регистрации и резервирования. Некоторые участвующие системы регистрируют "ключ" для устройства SCSI-3. Каждая система регистрирует собственный ключ. Зарегистрированные системы затем могут выполнить резервирование. С использованием этого метода блокировка доступа для записи требует только лишь удаления регистрации с устройства. Когда одной системе требуется отключить доступ другой системе, она выдает команду "pre-empt and abort", которая отключает доступ другой системе. После отключения доступа узел не имеет зарегистрированного ключа и не может отключить доступ другим системам. Этот метод позволяет избежать возникновения ситуаций "split brain".

    Еще одно преимущество метода SCSI-3 PR состоит в том, что, так как узел регистрирует один и тот же ключ для всех путей, отключение одного ключа блокирует все пути ввода-вывода для этого узла. Технология SCSI-3 PR, в частности, реализована в системах EMC Symmetrix, Sun™ T3 и Hitachi Storage. Системы ESS SDD используютпостоянное резервирование, тогда как команды LVM употребляют "традиционное" резервирование.

    Резервирование обычно действует до отключения бита резервирования при деактивизации (varying off) группы томов. Даже при отключении системы AIX, если включено питание дисков, резервирование обычно сохраняется. По этой причине HACMP должен отключать резервирование дисков во время перемещения при сбое, чтобы подключить группу томов на дежурном узле.

    Резервирование дисков не используется для групп томов в режиме одновременного доступа или в режиме расширенного одновременного доступа, применяемых при подключении групп томов в режиме одновременного доступа. Это также относится к использованию групп томов с расширенным одновременным доступом в конфигурации с быстрым перехватом дисков.

    Дополнительные сведения о быстром перехвате дисков см. в разделе "Быстрый перехват дисков".

    Принудительная активизация групп томов

    Эта функция очень важна при использовании групп томов с зеркальным отображением. Она реализована в виде атрибута команды varyonvg, представленного флагом -f. Использование этого флага позволяет подключить группу томов даже при отсутствии кворума дисков. В процессе активизации выполняется проверка всех логических томов; для успешной активизации должна существовать как минимум одна полная копия каждого логического тома.

    Отключение настроек кворума при конфигурировании группы томов с зеркальным отображением является стандартной практикой. При отключенном кворуме группа томов может оставаться подключенной даже после отказа диска. Пока доступен хотя бы один диск, группа томов будет оставаться подключенной. Однако для первоначальной активизации группы томов должны быть доступны все диски. Для активизации группы томов, в которой доступны не все участвующие диски, необходимо использовать атрибут принудительной активизации.

    Эта функция чаще всего используется при зеркальном отображении между подсистемами хранения и/или при зеркальном отображении между разными расположениями через межсайтовое зеркальное отображение LVM (cross-site LVM mirroring). Это позволяет обеспечить дублирование сайта, чтобы в случае простоя сайта (сайт состоит из сервера и одной копии хранилища) сервер на удаленном сайте мог активизировать группу томов с локальной копии LVM. Дополнительные сведения о межсайтовом зеркальном отображении LVM см. в лекции 16.

    В HACMP 5.1 и более поздних версиях пользователь может установить этот атрибут в определении группы ресурсов. До версии 5.1 пользователи могли устанавливать переменную окружения HACMP_MIRROR_VARYON=true в /etc/environment или применять настраиваемые скрипты обработки событий.

    Быстрый перехват дисков

    Этот раздел описывает следующие аспекты быстрого перехвата дисков:

  • требования;
  • принцип работы быстрого перехвата дисков;
  • включение быстрого перехвата дисков;
  • преимущества;
  • недостатки.
    •

    Требования

    Ниже перечислены требования, выполнение которых необходимо для реализации быстрого перехвата дисков:

  • HACMP V5.1 или выше;
  • Cluster.es.clvm.rte (компонент HACMP CRM);
  • AIX 5.2 или выше;
  • Bos.clvm.enh 5.2.0.11 или выше;
  • группы томов с расширенным одновременным доступом в группах ресурсов без одновременного доступа.
    •

    Принцип работы быстрого перехвата дисков

    Традиционно перехват дисков предполагает отключение резервирования SCSI на каждом дисковом устройстве последовательным образом. Количество времени, занимаемое отключением резервирования, зависит от типа диска. В большой среде с сотнями дисков оно может значительно увеличить продолжительность перемещения при сбое.

    Быстрый перехват дисков сокращает общее время перемещения при сбое, обеспечивая более быстрое получение дисков без отключения резервирования SCSI. При этом используются группы ресурсов с расширенным одновременным доступом и дополнительные усовершенствования LVM, реализованные в AIX 5.2.

    В AIX 5.2 была реализована возможность активизации группы томов с расширенным одновременным доступом в двух различных режимах:

  • активный режим;
  • пассивный режим.
    •

    Использование активного режима подобно активизации группы томов без одновременного доступа с использованием простой команды varyonvg. Активный режим обеспечивает полный доступ для чтения-записи для всех логических томов, файловых систем и поддерживает все операции LVM.

    Пассивный режим представляет своего рода ограждение группы томов на уровне LVM. Пассивный режим обеспечивает только возможность чтения VGDA и первых 4 Кб каждого логического тома. Он не позволяет осуществлять доступ для чтения-записи в файловые системы или логические тома. Он также не поддерживает операции LVM.При подключении группы ресурсов, содержащей группу томов, сначала выполняется ее активизация в пассивном режиме, а уже затем выполняется активизация в активном режиме. Активный режим применяется только к текущей группе ресурсов, владеющей узлом. При подключении другого узла группы ресурсов выполняется активизация группы томов в пассивном режиме.

    При отказе узла-владельца (домашнего узла) резервный узел просто изменяет состояние группы томов с пассивного режима на активный режим через LVM. Это изменение занимает около 10 с и выполняется на уровне группы томов. Оно может занимать больше времени при использовании нескольких групп томов по нескольку дисков в каждой. Тем не менее продолжительность выполнения данной процедуры минимальна по сравнению с предыдущим методом отключения резервирования SCSI.

    Флаги активного и пассивного режима для команды varyonvg не документированы, так как они не предназначены для использования вне среды HACMP. Однако их легко можно найти в журнале hacmp.out.

    (рис 13.2) Пассивный режим группы томов

    Команда активизации в активном режиме:

    varyonvg -n -c -A app2vg

    Команда активизации в пассивном режиме:

    varyonvg -n -c -P app2vg
    Важно. Не выполняйте эти команды, если не запущены службы кластера

    Чтобы определить, в каком режиме подключена группа томов (активном или пассивном), посмотрите значение поля " VG PERMISSION " в выходных данных команды lsvg, представленных на рис. 13.2.

    Существуют другие характерные элементы состояния LVM для групп томов, используемых в конфигурации быстрого перехвата дисков. Например, через команду lspv группа томов отображает подключение в режиме одновременного доступа для каждого активного узла. Однако команда lsvg -o выведет только группу томов, подключенных к узлу, на котором она активизирована в активном режиме. Пример вывода пассивного режима представлен на рис. 13.2.

    Включение быстрого перехвата дисков

    В конфигурации кластера HACMP нет специальной опции или флага, устанавливающих быстрый перехват дисков. Быстрый перехват дисков устанавливается в результате определенного сочетания параметров кластера.

    Общие группы томов должны представлять собой группы томов с расширенным одновременным доступом. Эти группы томов затем добавляются как ресурсы в группу ресурсов в режиме неодновременного доступа. Сочетание этих двух параметров и определяют использование метода быстрого перехвата дисков для получения группы томов в HACMP.

    При подключении группы ресурсов с неодновременным доступом HACMP проверяет один из дисков группы томов, является ли он группой томов с расширенным одновременным доступом. HACMP определяет это с помощью команды lqueryvg -p devicename -X. Если команда возвращает 0, значит, группа томов является обычной группой томов без одновременного доступа. Если возвращается значение 32, тогда группа томов является группой томов с расширенным одновременным доступом. На рис. 13.3 диск hdisk0 входит в группу томов rootvg без одновременного доступа. Vpath0 представляет собой диск группы томов с расширенным одновременным доступом.

    В AIX 5.1 было три возможных возвращаемых значения. Значение 16 возвращалось при использовании групп томов SSA с одновременным доступом. В AIX 5.2 и выше этот тип группы томов считается устаревшим.

    (рис 13.3) Пример определения типа группы томов в HACMP

    Преимущества

    Существует по меньшей мере два преимущества использования быстрого перехвата дисков:

  • уменьшение продолжительности получения дисков;
  • синхронизация ODM LVM.
    •

    Мы уже описывали первое преимущество в разделе "Принцип работы быстрого перехвата дисков". Второе преимущество, синхронизация ODM LVM, напрямую связано с использованием групп томов с расширенным одновременным доступом и с выполнением демона gsclvmd со службами кластера.

    Когда все узлы группы томов с расширенным одновременным доступом подключены в активном кластере, изменения в LVM, вносимые на домашнем узле (через командную строку или через SMIT), автоматически синхронизируются по всем остальным узлам. Это значительно уменьшает вероятность несогласованности информации группы томов на разных узлах.

    Однако само по себе это преимущество не является рекомендованным методом работы в среде HACMP. Рекомендуется использовать C-SPOC для синхронизации информации ODM LVM между узлами кластера. Синхронизация в C-SPOC имеет следующие преимущества в сравнении с автономной синхронизацией ODM LVM:

  • Независима от состояния узлов кластера (активный/неактивный).
  • Может использоваться для изменений в JFS.
  • Обновляет файлы отметок времени VGDA на узлах кластера.
    •

    Известные проблемы

    Один из недостатков использования быстрого перехвата дисков состоит в невозможности остановить службы кластера с использованием опции forced. При остановке кластера через smit clstop HACMP проверяет, содержит ли локальный узел какуюлибо группу ресурсов с быстрым перехватом дисков. Если да, то опция forced не будет выводиться в меню.

    Причина в том, что при этом группы томов оставляются подключенными и зависят от gsclvmd. Gsclvmd зависит от служб групп. При остановке служб кластера происходит остановка служб, необходимых для обеспечения согласованности группы томов. Это означает потенциальную уязвимость групп томов.

    В последних версиях HACMP опция принудительного отключения используется не настолько часто. Однако в некоторые периоды обслуживания может быть желательно ее применять, чтобы сократить общее время простоя служб приложений. Это ограничение является хорошо известным, и разработчики ищут способы его устранения в будущем. Однако нет никакой гарантии, что оно когда-либо будет устранено.

    Мониторинг пульса через диски

    Этот раздел описывает следующие аспекты мониторинга пульса через диски:

  • Обзор.
  • Требования.
  • Аспекты производительности.
  • Конфигурирование (на примере кластера из двух узлов).
  • Тестирование.
  • Мониторинг.
    •

    Обзор

    Мониторинг пульса через диски представляет еще один вариант мониторинга пульса, отличный от IP, который использует существующие общие диски любого типа. Эта функция впервые была реализована в HACMP V5.1 и быстро стала предпочтительным методом мониторинга пульса, отличного от IP, так как он не требует использования последовательных кабелей и/или 8-портовых асинхронных адаптеров. При использовании среды SAN этот метод позволяет легко справиться с большими расстояниями между узлами.

    Для обеспечения требуемого доступа к диску с каждого узла данная функция требует применения групп томов с расширенным одновременным доступом. Она использует специальную зарезервированную область на дисках для чтения и записи данных пульса. Так как эта функция применяет зарезервированную область, возможно использование существующих групп томов данных без потери дискового пространства. Однако следует помнить об аспектах производительности, описываемых в соответствующем разделе этой работы.

    Возможно использование выделенного диска/LUN для мониторинга пульса через диски. Однако так как мониторинг пульса через диски применяет зарезервированное пространство, остальная область хранения данных не используется. Чем больше объем диска/LUN, выделенного для этой цели, тем больше пространства расходуется впустую. Однако при необходимости его можно использовать позже в качестве дополнительного дискового пространства.

    Как и другие сети, отличные от IP, сеть пульса через диски имеет тип "точка-точка". Если кластер содержит больше двух узлов, потребуется как минимум N сетей пульса, отличных от IP, где N представляет количество узлов в кластере. Например, кластер из трех узлов требует по меньшей мере использования трех сетей пульса, отличных от IP.

    Требования

    Ниже перечислены требования к программному и аппаратному обеспечению.

  • HACMP V5.1 или выше.
  • Cluster.es.clvm.rte (компонент HACMP CRM).
  • AIX 5.2 или выше (рекомендуется ML2).
  • RSCT 2.3.1.1 или выше (рекомендуется 2.3.3.1).
  • Bos.clvm.enh (необходимо для поддержки групп томов с расширенным одновременным доступом).
  • Общие диски (конфигурируются как группы томов с расширенным одновременным доступом).
    •

    Аспекты производительности

    Большинство современных дисков, не входящих в RAID-массивы, могут выполнять около 100 операций поиска в секунду. Секторы, используемые для мониторинга пульса через диски, являются частью VGDA. Область VGDA расположена на внешнем крае диска и может находиться далеко от данных приложений. Это означает, что при каждом импульсе мониторинга пульса выполняется операция поиска. Мониторинг пульса через диски обычно (при заданных по умолчанию параметрах) требует четыре (4) операции поиска в секунду. Другими словами, каждый из двух узлов будет выполнять запись на диск и чтение с диска один раз в секунду, что в сумме составляет 4 IOPS. При выборе диска, применяемого для мониторинга пульса, рекомендуется использовать диск с менее чем 60 операциями поиска в секунду. Для мониторинга активности операций поиска на диске можно применять инструмент filemon.

    Если вы решите использовать диск, нагрузка ввода-вывода в котором превышает приведенное выше рекомендуемое значение, тогда рекомендуется изменить скорость обнаружения отказов (failure detection rate) в сети мониторинга пульса через диски на slow.

    Указанные рекомендации относятся к хранению без использования RAID (т. е. JBOD). Технология дисковой подсистемы влияет на общие рекомендации. Например:

  • Если диск является частью подсистемы хранения промышленного класса с большим объемом кеша записи (например, ESS), то количество операций поиска может быть значительно выше.
  • Если диск, используемый для мониторинга пульса, входит в массив или подмассив RAID с небольшим кешем или без кеша, диск будет поддерживать меньшее количество операций поиска, в связи с дополнительной активностью, вызываемой операциями RAID. Свяжитесь с производителем, чтобы выяснить, сколько операций поиска то или иное устройство способно поддерживать.
    •

    Конфигурирование мониторинга пульса через диски

    В рассматриваемом здесь примере употребляются кластер из двух узлов (Justen и Christie) со стандартными устройствами ESS vpath (vpath0 и vpath3 соответственно), предназначенными для использования в качестве устройства мониторинга пульса. Оба vpath-устройства уже сконфигурированы как диски, входящие в группу томов с расширенным одновременным доступом.

    Существует два различных метода конфигурирования устройства мониторинга пульса через диски:

  • с использованием метода обнаружения;
  • с использованием метода предопределенных устройств.
    •

    В данном примере мы будем применять метод предопределенных устройств. При использовании этого метода необходимо сначала создать сеть diskhb, после чего назначить сети устройства пары диск-узел.

    Прежде чем продолжить применение метода предопределенных устройств, необходимо точно знать имена устройств на каждом узле. Имена не обязательно должны совпадать, как показано в нашем примере. Сопоставление устройств может выполняться с использованием pvid на каждом узле с применением команды lspv в каждой системе.

    Примечание. При использовании метода обнаружения HACMP осуществляет автоматическое сопоставление устройств и выводит список для выбора.

    Создайте сеть diskhb следующим образом. Выберите smit hacmp -> Extended Configuration (Расширенное конфигурирование) -> Extended Topology Configuration (Расширенное конфигурирование топологии) -> Configure HACMP Networks (Конфигурирование сетей HACMP) -> Add a Network to the HACMP cluster (Добавить сеть в кластер HACMP) -> выберите diskhb. Введите требуемое имя сети (по умолчанию net_diskhb_01), как показано на рис. 13.4.

    (рис 13.4) Добавление сети diskhb

    Теперь нужно добавить два коммуникационных устройства (по одному для каждого узла) в сеть пульса через диски, созданную на предыдущем этапе. Выберите smit hacmp > Extended Configuration (Расширенное конфигурирование) > Extended Topology Configuration (Расширенное конфигурирование топологии) > Configure HACMP Communication Interfaces/Devices (Конфигурирование коммуникационных интерфейсов/устройств HACMP) > Add Communication Interfaces/Devices (Добавление коммуникационных интерфейсов/устройств) > Add Pre-Defined Communication Interfaces and Devices (Добавить предопределенные коммуникационные интерфейсы и устройства) > Communication Devices (Коммуникационные устройства) > выберите diskhb, созданный на предыдущем этапе (net_diskhb_01), и нажмите Enter.

    В поле Device Name (Имя устройства) следует указать уникальное имя, которое можно выбрать для описания устройства. Устройство будет отображаться в тополо-гии под этим именем, подобно тому как в прошлом отображались устройства последовательного мониторинга пульса и терминалы.

    В поле Device Path (Путь к устройству) введите /dev/vpath0. Затем выберите соответствующий узел для данного устройства.

    После создания первого устройства в любой сети, отличной от IP, может возникнуть предупреждение, представленное в примере 13.1 .

    WARNING: Serial network [net_name] has 1 communication 
device(s) configured. Two devices are required for a serial network.

    После повторения этой процедуры для другого узла (Christie) и другого устройства (vpath3) предупреждение не будет выводиться, так как требование наличия двух устройств выполнено.

    Тестирование связи в сети пульса через диски

    После создания определений устройств и сетей рекомендуется протестировать связь. Если группа томов активизируется в нормальном режиме на любом из узлов, тест вряд ли выполнится успешно.

    Для тестирования подключения diskhb используется утилита /usr/sbin/rsct/ bin/dhb_read. Команда dhb_read имеет следующий синтаксис ( табл. 13.1).

    Синтаксис команды dhb_read
    Команда Действие
    dhb_read -p devicename Вывод содержимого сектора diskhb
    dhb_read -p devicename -r Получение данных через сеть diskhb
    dhb_read -p devicename -t Передача данных через сеть diskhb

    Для тестирования связи в сети diskhb настроим один узел (Justen) на получение, а другой (Christie) на передачу.

    На узле Justen выполняем команду;

    dhb_read -p rvpath0 -r

    На узле Christie выполняем команду;

    dhb_read -p rvpath3 -t
    Примечание. Заданное устройство представляет собой устройство прямого доступа, на что указывает "r" перед именем устройства. Для дисков hdisk утилита dhb_read выполняет автоматическое преобразование этого имени в соответствующее имя устройства прямого доступа. Для всех остальных устройств требуется указывать имя устройства явным образом (рис 13.6) Тестирование связи мониторинга пульса через диски

    Если связь между узлами находится в рабочем состоянии, оба узла выводят "Link operating normally", как показано на рис. 13.6.

    В большинстве случаев устройство diskhb входит в группу общей группы томов данных. Если группа томов еще не входит в группу ресурсов, то следует добавить ее в группу ресурсов и выполнить синхронизацию кластера.

    Мониторинг

    После запуска служб кластера можно осуществлять мониторинг (обычно всех) импульсов через диски, используя команду lssrc -ls topsvcs. В основном нужно следить за полем Missed HBs (Пропущенные импульсы). Если сумма постоянно растет, это указывает на то, что выбранный диск не является оптимальным для применения в сети diskhb. Следует либо переместить diskhb на другой диск, либо изменить скорость обнаружения отказов (failure detection rate) в сети diskhb на значение slow.

    Фрагмент информации о сети diskhb представлен на рис. 13.7.

    (рис 13.7) Мониторинг diskhb

    По умолчанию устанавливается 60-секундная отсрочка начала обработки. При выполнении данной команды сразу же после запуска кластера информация мониторинга пульса не будет выводиться до тех пор, пока не закончится отсрочка.

    Страницы:

    Типы групп томов

    Важно иметь представление о различных типах групп томов, а также об использовании каждого типа в HACMP. Мы рассмотрим следующие типы групп томов:

  • с расширенным одновременным доступом (Enhanced concurrent);
  • без одновременного доступа (Non-concurrent);
  • с одновременным доступом (Concurrent);
  • с одновременным доступом RAID (RAID concurrent).
    •

    Существуют другие дополнительные атрибуты групп томов, которые могут совместно использоваться с перечисленными выше атрибутами (например, "big" и "scalable "). Вообще говоря, можно совмещать эти атрибуты с типами, перечисленными выше. Например, можно использовать большую группу томов с расширенным одновременным доступом (big enhanced concurrent volume group). Однако эти дополнительные атрибуты не влияют на способ активизации групп томов в HACMP. HACMP активизирует большую группу томов с расширенным одновременным доступом, используя такой же метод, как если бы это была простая группа томов с расширенным одновременным доступом.

    Группы томов с расширенным одновременным доступом

    Группы томов с расширенным одновременным доступом (Enhanced concurrent) впервые появились в AIX 5.1. В отличие от групп томов с одновременным доступом, которые предназначены для использования только в SSA, эти группы томов поддерживали использование в любой дисковой подсистеме, поддерживаемой в общей конфигурации, AIX, pSeries, HACMP. В AIX 5.2 и выше группы томов с расширенным одновременным доступом представляют единственный доступный тип групп томов с одновременным доступом.

    Группы томов с расширенным одновременным доступом используют демон Group Services Concurrent Logical Volume Manager daemon (gsclvmd), который осуществляет обмен данными с другими узлами кластера через IP.

    Использование gsclvmd позволяет выполнять большинство изменений в LVM динамически, даже из командной строки. Для того чтобы эти динамические изменения работали корректно, необходимо, чтобы при выполнении обслуживания были запущены gsclvmd, topsvcs, groupsvcs и emsvcs. Это легко сделать при запущенном и работающем кластере HACMP с группами томов, подключенными в режиме одновременного доступа.

    Примечание. Все администрирование LVM кластера рекомендуется осуществлять через C-SPOC. В отличие от командной строки в данном случае не требуется, чтобы на узлах кластера были запущены службы кластера (за исключением clcomdES).

    Группы томов с расширенным одновременным доступом можно использовать как в средах с одновременным доступом, так и в средах без одновременного доступа. От этого зависят дополнительные функции HACMP (т. е. быстрый перехват дисков и мониторинг пульса через диски).

    Внимание! При конфигурировании групп томов с расширенным одновременным доступом в кластере убедитесь, что существует несколько сетей (IP и отличных от IP) для связи между узлами в кластере, чтобы избежать разделения кластера (cluster partitioning). При использовании быстрого перехвата дисков не устанав-ливается обычный бит резервирования SCSI, чтобы избежать подключения нескольких узлов к группе томов.

    Существующие группы томов без одновременного доступа можно преобразовать в группы томов с расширенным одновременным доступом без потери какого-либо дополнительного пространства для хранения. Для изменения группы томов она должна быть подключена; изменение выполняется командой chvg -c vgname. Для того чтобы это изменение вступило в силу на других узлах, группу томов необходимо отключить и затем либо экспортировать и реимпортировать, либо использовать опцию learn команды importvg: importvg -L vgname pvname.

    Для создания новой группы томов с расширенным одновременным доступом на локальном узле из командной строки нужно просто выполнить команду mkvg -C vgname pvname.

    Для того чтобы проверить, имеет ли том расширенный одновременный доступ, можно выполнить команду lsvg vgname и посмотреть поле "Concurrent:"; оно должно содержать значение "Enhanced Capable", как показано на рис. 13.1.

    (рис 13.1) Пример группы томов с расширенным одновременным доступом

    Группы томов без одновременного доступа

    При создании новой группы томов по умолчанию создается группа томов без одновременного доступа (Non-concurrent). Она также называется стандартной группой томов. Сущность групп томов без одновременного доступа состоит в том, что несколько систем не могут одновременно получить доступ к группе томов. Полный доступ для чтения-записи возможен только для системы, активизировавшей группу томов командой varyonvg vgname.

    Группы томов без одновременного доступа не являются выделенным типом групп томов для LVM. Имеется в виду выделение режима работы, в котором группа томов будет использоваться. При выполнении команды lsvg для группы томов без одновременного доступа, выходные данные команды не содержат поле "Concurrent", показанное на рис. 13.1.

    Группы томов с одновременным доступом

    Примечание. Версия AIX 5.1 с 32-разрядным ядром является последней версией, поддерживающей группы томов с одновременным доступом (Concurrent). AIX 5.2 и выше используют группы томов с расширенным одновременным доступом, описываемые в разделе "С расширенным одновременным доступом".

    Группы томов этого типа, также называемые группами томов с возможностью одновременного доступа (Concurrent Capable), используются в HACMP с дисками SSA в конфигурации "одновременного доступа". Эта комбинация являлась первым типом группы томов с настоящим режимом одновременного доступа.

    Уникальная последовательная связь дисков SSA позволяет осуществлять доступ через так называемый скрытый канал (covert channel). Этот скрытый канал используется диспетчером логических томов с одновременным доступом (Concurrent Logical Volume Manager, CLVM). CLVM способен осуществлять автоматическую синхронизацию информации ODM, связанной с LVM, используя демон CLVM (clvmd). Это позволяет осуществлять обслуживание LVM групп томов в подключенном режиме.

    Clvmd автоматически запускается при активизированных группах томов в режиме одновременного доступа с использованием команды varyonvg -c.

    Группы томов с одновременным доступом RAID

    Примечание. Группы томов с одновременным доступом RAID в настоящее время используются редко и считаются устаревшими.

    Группа томов с одновременным доступом RAID (RAID concurrent) представляет группу томов без одновременного доступа, добавляемую в группу ресурсов HACMP с одновременным доступом [в HA 5.2 и выше такие группы ресурсов называются группами ресурсов с подключением на всех узлах (online on all nodes)]. В LVM нет выделения, соответствующего типу "RAID concurrent". Тип "RAID concurrent" в действительности представляет внутреннее выделение HACMP.

    При подключении группы ресурсов с одновременным доступом выполняется проверка типа группы томов. Если она является группой томов без одновременного доступа, HACMP должен определить, из устройств какого типа она состоит. Очень важно знать тип устройств, так как эта конфигурация поддерживала только некоторые устройства хранения.

    Поддерживаемые устройства хранятся в файле /usr/es/sbin/cluster/diag/clconraid. dat. Если HACMP находит тип устройства, продолжается подключение группы томовв режиме полного доступа для чтения-записи для каждого участвующего узла с использованием команды convaryonvg. В старой документации и файлах журналов (например, в /tmp/hacmp.out) этот режим имеет название "mode 3".

    После подключения группы томов с одновременным доступом RAID в режиме одновременного доступа невозможно внести изменения, связанные с LVM (включая C-SPOC). Для внесения каких-либо изменений в LVM необходимо отключить группe томов на всех узлах, затем подключить ее только на одном узле, внести требуемые изменения и снова реимпортировать группу томов на все остальные участвующие узлы. Это, конечно же, неудобно, так как внесение практически каждого изменения в LVM вызывает простой.

    Резервирование дисков

    При активизации группы томов в AIX для каждого участвующего диска устанавливается бит резервирования. Это гарантирует, что другие системы не смогут получить доступ к этим дискам, что позволяет обеспечить целостность данных.

    Такое резервирование часто называется резервированием SCSI, так как оно основано на стандартах SCSI. Большинство новых дисков FC используют протокол FSCSI, и при этом все еще применяют резервирование SCSI.

    Стандарты SCSI определяют два различных типа резервирования:

  • SCSI-2 – "традиционное" резервирование;
  • SCSI-3 – постоянное резервирование (persistent reservation, PR).
    •

    Резервирование SCSI-2 позволяет осуществлять доступ только с использованием одного пути, поэтому этот тип резервирования нельзя применять для многопутевого доступа к хранилищу. Резервирование SCSI-2 не является постоянным, так как оно не восстанавливается после перезагрузки узла.

    SCSI-3 PR (persistent reservation, постоянное резервирование) поддерживает доступ к устройству для нескольких узлов, в то же время блокируя доступ для других узлов. Резервирование SCSI-3 PR является постоянным и восстанавливается после сброса шины SCSI и перезагрузки узлов, а также поддерживает использование нескольких путей от узла к диску.

    SCSI-3 PR применяет понятие регистрации и резервирования. Некоторые участвующие системы регистрируют "ключ" для устройства SCSI-3. Каждая система регистрирует собственный ключ. Зарегистрированные системы затем могут выполнить резервирование. С использованием этого метода блокировка доступа для записи требует только лишь удаления регистрации с устройства. Когда одной системе требуется отключить доступ другой системе, она выдает команду "pre-empt and abort", которая отключает доступ другой системе. После отключения доступа узел не имеет зарегистрированного ключа и не может отключить доступ другим системам. Этот метод позволяет избежать возникновения ситуаций "split brain".

    Еще одно преимущество метода SCSI-3 PR состоит в том, что, так как узел регистрирует один и тот же ключ для всех путей, отключение одного ключа блокирует все пути ввода-вывода для этого узла. Технология SCSI-3 PR, в частности, реализована в системах EMC Symmetrix, Sun™ T3 и Hitachi Storage. Системы ESS SDD используютпостоянное резервирование, тогда как команды LVM употребляют "традиционное" резервирование.

    Резервирование обычно действует до отключения бита резервирования при деактивизации (varying off) группы томов. Даже при отключении системы AIX, если включено питание дисков, резервирование обычно сохраняется. По этой причине HACMP должен отключать резервирование дисков во время перемещения при сбое, чтобы подключить группу томов на дежурном узле.

    Резервирование дисков не используется для групп томов в режиме одновременного доступа или в режиме расширенного одновременного доступа, применяемых при подключении групп томов в режиме одновременного доступа. Это также относится к использованию групп томов с расширенным одновременным доступом в конфигурации с быстрым перехватом дисков.

    Дополнительные сведения о быстром перехвате дисков см. в разделе "Быстрый перехват дисков".

    Принудительная активизация групп томов

    Эта функция очень важна при использовании групп томов с зеркальным отображением. Она реализована в виде атрибута команды varyonvg, представленного флагом -f. Использование этого флага позволяет подключить группу томов даже при отсутствии кворума дисков. В процессе активизации выполняется проверка всех логических томов; для успешной активизации должна существовать как минимум одна полная копия каждого логического тома.

    Отключение настроек кворума при конфигурировании группы томов с зеркальным отображением является стандартной практикой. При отключенном кворуме группа томов может оставаться подключенной даже после отказа диска. Пока доступен хотя бы один диск, группа томов будет оставаться подключенной. Однако для первоначальной активизации группы томов должны быть доступны все диски. Для активизации группы томов, в которой доступны не все участвующие диски, необходимо использовать атрибут принудительной активизации.

    Эта функция чаще всего используется при зеркальном отображении между подсистемами хранения и/или при зеркальном отображении между разными расположениями через межсайтовое зеркальное отображение LVM (cross-site LVM mirroring). Это позволяет обеспечить дублирование сайта, чтобы в случае простоя сайта (сайт состоит из сервера и одной копии хранилища) сервер на удаленном сайте мог активизировать группу томов с локальной копии LVM. Дополнительные сведения о межсайтовом зеркальном отображении LVM см. в лекции 16.

    В HACMP 5.1 и более поздних версиях пользователь может установить этот атрибут в определении группы ресурсов. До версии 5.1 пользователи могли устанавливать переменную окружения HACMP_MIRROR_VARYON=true в /etc/environment или применять настраиваемые скрипты обработки событий.

    Быстрый перехват дисков

    Этот раздел описывает следующие аспекты быстрого перехвата дисков:

  • требования;
  • принцип работы быстрого перехвата дисков;
  • включение быстрого перехвата дисков;
  • преимущества;
  • недостатки.
    •

    Требования

    Ниже перечислены требования, выполнение которых необходимо для реализации быстрого перехвата дисков:

  • HACMP V5.1 или выше;
  • Cluster.es.clvm.rte (компонент HACMP CRM);
  • AIX 5.2 или выше;
  • Bos.clvm.enh 5.2.0.11 или выше;
  • группы томов с расширенным одновременным доступом в группах ресурсов без одновременного доступа.
    •

    Принцип работы быстрого перехвата дисков

    Традиционно перехват дисков предполагает отключение резервирования SCSI на каждом дисковом устройстве последовательным образом. Количество времени, занимаемое отключением резервирования, зависит от типа диска. В большой среде с сотнями дисков оно может значительно увеличить продолжительность перемещения при сбое.

    Быстрый перехват дисков сокращает общее время перемещения при сбое, обеспечивая более быстрое получение дисков без отключения резервирования SCSI. При этом используются группы ресурсов с расширенным одновременным доступом и дополнительные усовершенствования LVM, реализованные в AIX 5.2.

    В AIX 5.2 была реализована возможность активизации группы томов с расширенным одновременным доступом в двух различных режимах:

  • активный режим;
  • пассивный режим.
    •

    Использование активного режима подобно активизации группы томов без одновременного доступа с использованием простой команды varyonvg. Активный режим обеспечивает полный доступ для чтения-записи для всех логических томов, файловых систем и поддерживает все операции LVM.

    Пассивный режим представляет своего рода ограждение группы томов на уровне LVM. Пассивный режим обеспечивает только возможность чтения VGDA и первых 4 Кб каждого логического тома. Он не позволяет осуществлять доступ для чтения-записи в файловые системы или логические тома. Он также не поддерживает операции LVM.При подключении группы ресурсов, содержащей группу томов, сначала выполняется ее активизация в пассивном режиме, а уже затем выполняется активизация в активном режиме. Активный режим применяется только к текущей группе ресурсов, владеющей узлом. При подключении другого узла группы ресурсов выполняется активизация группы томов в пассивном режиме.

    При отказе узла-владельца (домашнего узла) резервный узел просто изменяет состояние группы томов с пассивного режима на активный режим через LVM. Это изменение занимает около 10 с и выполняется на уровне группы томов. Оно может занимать больше времени при использовании нескольких групп томов по нескольку дисков в каждой. Тем не менее продолжительность выполнения данной процедуры минимальна по сравнению с предыдущим методом отключения резервирования SCSI.

    Флаги активного и пассивного режима для команды varyonvg не документированы, так как они не предназначены для использования вне среды HACMP. Однако их легко можно найти в журнале hacmp.out.

    (рис 13.2) Пассивный режим группы томов

    Команда активизации в активном режиме:

    varyonvg -n -c -A app2vg

    Команда активизации в пассивном режиме:

    varyonvg -n -c -P app2vg
    Важно. Не выполняйте эти команды, если не запущены службы кластера

    Чтобы определить, в каком режиме подключена группа томов (активном или пассивном), посмотрите значение поля " VG PERMISSION " в выходных данных команды lsvg, представленных на рис. 13.2.

    Существуют другие характерные элементы состояния LVM для групп томов, используемых в конфигурации быстрого перехвата дисков. Например, через команду lspv группа томов отображает подключение в режиме одновременного доступа для каждого активного узла. Однако команда lsvg -o выведет только группу томов, подключенных к узлу, на котором она активизирована в активном режиме. Пример вывода пассивного режима представлен на рис. 13.2.

    Включение быстрого перехвата дисков

    В конфигурации кластера HACMP нет специальной опции или флага, устанавливающих быстрый перехват дисков. Быстрый перехват дисков устанавливается в результате определенного сочетания параметров кластера.

    Общие группы томов должны представлять собой группы томов с расширенным одновременным доступом. Эти группы томов затем добавляются как ресурсы в группу ресурсов в режиме неодновременного доступа. Сочетание этих двух параметров и определяют использование метода быстрого перехвата дисков для получения группы томов в HACMP.

    При подключении группы ресурсов с неодновременным доступом HACMP проверяет один из дисков группы томов, является ли он группой томов с расширенным одновременным доступом. HACMP определяет это с помощью команды lqueryvg -p devicename -X. Если команда возвращает 0, значит, группа томов является обычной группой томов без одновременного доступа. Если возвращается значение 32, тогда группа томов является группой томов с расширенным одновременным доступом. На рис. 13.3 диск hdisk0 входит в группу томов rootvg без одновременного доступа. Vpath0 представляет собой диск группы томов с расширенным одновременным доступом.

    В AIX 5.1 было три возможных возвращаемых значения. Значение 16 возвращалось при использовании групп томов SSA с одновременным доступом. В AIX 5.2 и выше этот тип группы томов считается устаревшим.

    (рис 13.3) Пример определения типа группы томов в HACMP

    Преимущества

    Существует по меньшей мере два преимущества использования быстрого перехвата дисков:

  • уменьшение продолжительности получения дисков;
  • синхронизация ODM LVM.
    •

    Мы уже описывали первое преимущество в разделе "Принцип работы быстрого перехвата дисков". Второе преимущество, синхронизация ODM LVM, напрямую связано с использованием групп томов с расширенным одновременным доступом и с выполнением демона gsclvmd со службами кластера.

    Когда все узлы группы томов с расширенным одновременным доступом подключены в активном кластере, изменения в LVM, вносимые на домашнем узле (через командную строку или через SMIT), автоматически синхронизируются по всем остальным узлам. Это значительно уменьшает вероятность несогласованности информации группы томов на разных узлах.

    Однако само по себе это преимущество не является рекомендованным методом работы в среде HACMP. Рекомендуется использовать C-SPOC для синхронизации информации ODM LVM между узлами кластера. Синхронизация в C-SPOC имеет следующие преимущества в сравнении с автономной синхронизацией ODM LVM:

  • Независима от состояния узлов кластера (активный/неактивный).
  • Может использоваться для изменений в JFS.
  • Обновляет файлы отметок времени VGDA на узлах кластера.
    •

    Известные проблемы

    Один из недостатков использования быстрого перехвата дисков состоит в невозможности остановить службы кластера с использованием опции forced. При остановке кластера через smit clstop HACMP проверяет, содержит ли локальный узел какуюлибо группу ресурсов с быстрым перехватом дисков. Если да, то опция forced не будет выводиться в меню.

    Причина в том, что при этом группы томов оставляются подключенными и зависят от gsclvmd. Gsclvmd зависит от служб групп. При остановке служб кластера происходит остановка служб, необходимых для обеспечения согласованности группы томов. Это означает потенциальную уязвимость групп томов.

    В последних версиях HACMP опция принудительного отключения используется не настолько часто. Однако в некоторые периоды обслуживания может быть желательно ее применять, чтобы сократить общее время простоя служб приложений. Это ограничение является хорошо известным, и разработчики ищут способы его устранения в будущем. Однако нет никакой гарантии, что оно когда-либо будет устранено.

    Мониторинг пульса через диски

    Этот раздел описывает следующие аспекты мониторинга пульса через диски:

  • Обзор.
  • Требования.
  • Аспекты производительности.
  • Конфигурирование (на примере кластера из двух узлов).
  • Тестирование.
  • Мониторинг.
    •

    Обзор

    Мониторинг пульса через диски представляет еще один вариант мониторинга пульса, отличный от IP, который использует существующие общие диски любого типа. Эта функция впервые была реализована в HACMP V5.1 и быстро стала предпочтительным методом мониторинга пульса, отличного от IP, так как он не требует использования последовательных кабелей и/или 8-портовых асинхронных адаптеров. При использовании среды SAN этот метод позволяет легко справиться с большими расстояниями между узлами.

    Для обеспечения требуемого доступа к диску с каждого узла данная функция требует применения групп томов с расширенным одновременным доступом. Она использует специальную зарезервированную область на дисках для чтения и записи данных пульса. Так как эта функция применяет зарезервированную область, возможно использование существующих групп томов данных без потери дискового пространства. Однако следует помнить об аспектах производительности, описываемых в соответствующем разделе этой работы.

    Возможно использование выделенного диска/LUN для мониторинга пульса через диски. Однако так как мониторинг пульса через диски применяет зарезервированное пространство, остальная область хранения данных не используется. Чем больше объем диска/LUN, выделенного для этой цели, тем больше пространства расходуется впустую. Однако при необходимости его можно использовать позже в качестве дополнительного дискового пространства.

    Как и другие сети, отличные от IP, сеть пульса через диски имеет тип "точка-точка". Если кластер содержит больше двух узлов, потребуется как минимум N сетей пульса, отличных от IP, где N представляет количество узлов в кластере. Например, кластер из трех узлов требует по меньшей мере использования трех сетей пульса, отличных от IP.

    Требования

    Ниже перечислены требования к программному и аппаратному обеспечению.

  • HACMP V5.1 или выше.
  • Cluster.es.clvm.rte (компонент HACMP CRM).
  • AIX 5.2 или выше (рекомендуется ML2).
  • RSCT 2.3.1.1 или выше (рекомендуется 2.3.3.1).
  • Bos.clvm.enh (необходимо для поддержки групп томов с расширенным одновременным доступом).
  • Общие диски (конфигурируются как группы томов с расширенным одновременным доступом).
    •

    Аспекты производительности

    Большинство современных дисков, не входящих в RAID-массивы, могут выполнять около 100 операций поиска в секунду. Секторы, используемые для мониторинга пульса через диски, являются частью VGDA. Область VGDA расположена на внешнем крае диска и может находиться далеко от данных приложений. Это означает, что при каждом импульсе мониторинга пульса выполняется операция поиска. Мониторинг пульса через диски обычно (при заданных по умолчанию параметрах) требует четыре (4) операции поиска в секунду. Другими словами, каждый из двух узлов будет выполнять запись на диск и чтение с диска один раз в секунду, что в сумме составляет 4 IOPS. При выборе диска, применяемого для мониторинга пульса, рекомендуется использовать диск с менее чем 60 операциями поиска в секунду. Для мониторинга активности операций поиска на диске можно применять инструмент filemon.

    Если вы решите использовать диск, нагрузка ввода-вывода в котором превышает приведенное выше рекомендуемое значение, тогда рекомендуется изменить скорость обнаружения отказов (failure detection rate) в сети мониторинга пульса через диски на slow.

    Указанные рекомендации относятся к хранению без использования RAID (т. е. JBOD). Технология дисковой подсистемы влияет на общие рекомендации. Например:

  • Если диск является частью подсистемы хранения промышленного класса с большим объемом кеша записи (например, ESS), то количество операций поиска может быть значительно выше.
  • Если диск, используемый для мониторинга пульса, входит в массив или подмассив RAID с небольшим кешем или без кеша, диск будет поддерживать меньшее количество операций поиска, в связи с дополнительной активностью, вызываемой операциями RAID. Свяжитесь с производителем, чтобы выяснить, сколько операций поиска то или иное устройство способно поддерживать.
    •

    Конфигурирование мониторинга пульса через диски

    В рассматриваемом здесь примере употребляются кластер из двух узлов (Justen и Christie) со стандартными устройствами ESS vpath (vpath0 и vpath3 соответственно), предназначенными для использования в качестве устройства мониторинга пульса. Оба vpath-устройства уже сконфигурированы как диски, входящие в группу томов с расширенным одновременным доступом.

    Существует два различных метода конфигурирования устройства мониторинга пульса через диски:

  • с использованием метода обнаружения;
  • с использованием метода предопределенных устройств.
    •

    В данном примере мы будем применять метод предопределенных устройств. При использовании этого метода необходимо сначала создать сеть diskhb, после чего назначить сети устройства пары диск-узел.

    Прежде чем продолжить применение метода предопределенных устройств, необходимо точно знать имена устройств на каждом узле. Имена не обязательно должны совпадать, как показано в нашем примере. Сопоставление устройств может выполняться с использованием pvid на каждом узле с применением команды lspv в каждой системе.

    Примечание. При использовании метода обнаружения HACMP осуществляет автоматическое сопоставление устройств и выводит список для выбора.

    Создайте сеть diskhb следующим образом. Выберите smit hacmp -> Extended Configuration (Расширенное конфигурирование) -> Extended Topology Configuration (Расширенное конфигурирование топологии) -> Configure HACMP Networks (Конфигурирование сетей HACMP) -> Add a Network to the HACMP cluster (Добавить сеть в кластер HACMP) -> выберите diskhb. Введите требуемое имя сети (по умолчанию net_diskhb_01), как показано на рис. 13.4.

    (рис 13.4) Добавление сети diskhb

    Теперь нужно добавить два коммуникационных устройства (по одному для каждого узла) в сеть пульса через диски, созданную на предыдущем этапе. Выберите smit hacmp > Extended Configuration (Расширенное конфигурирование) > Extended Topology Configuration (Расширенное конфигурирование топологии) > Configure HACMP Communication Interfaces/Devices (Конфигурирование коммуникационных интерфейсов/устройств HACMP) > Add Communication Interfaces/Devices (Добавление коммуникационных интерфейсов/устройств) > Add Pre-Defined Communication Interfaces and Devices (Добавить предопределенные коммуникационные интерфейсы и устройства) > Communication Devices (Коммуникационные устройства) > выберите diskhb, созданный на предыдущем этапе (net_diskhb_01), и нажмите Enter.

    В поле Device Name (Имя устройства) следует указать уникальное имя, которое можно выбрать для описания устройства. Устройство будет отображаться в тополо-гии под этим именем, подобно тому как в прошлом отображались устройства последовательного мониторинга пульса и терминалы.

    В поле Device Path (Путь к устройству) введите /dev/vpath0. Затем выберите соответствующий узел для данного устройства.

    После создания первого устройства в любой сети, отличной от IP, может возникнуть предупреждение, представленное в примере 13.1 .

    WARNING: Serial network [net_name] has 1 communication 
device(s) configured. Two devices are required for a serial network.

    После повторения этой процедуры для другого узла (Christie) и другого устройства (vpath3) предупреждение не будет выводиться, так как требование наличия двух устройств выполнено.

    Тестирование связи в сети пульса через диски

    После создания определений устройств и сетей рекомендуется протестировать связь. Если группа томов активизируется в нормальном режиме на любом из узлов, тест вряд ли выполнится успешно.

    Для тестирования подключения diskhb используется утилита /usr/sbin/rsct/ bin/dhb_read. Команда dhb_read имеет следующий синтаксис ( табл. 13.1).

    Синтаксис команды dhb_read
    Команда Действие
    dhb_read -p devicename Вывод содержимого сектора diskhb
    dhb_read -p devicename -r Получение данных через сеть diskhb
    dhb_read -p devicename -t Передача данных через сеть diskhb

    Для тестирования связи в сети diskhb настроим один узел (Justen) на получение, а другой (Christie) на передачу.

    На узле Justen выполняем команду;

    dhb_read -p rvpath0 -r

    На узле Christie выполняем команду;

    dhb_read -p rvpath3 -t
    Примечание. Заданное устройство представляет собой устройство прямого доступа, на что указывает "r" перед именем устройства. Для дисков hdisk утилита dhb_read выполняет автоматическое преобразование этого имени в соответствующее имя устройства прямого доступа. Для всех остальных устройств требуется указывать имя устройства явным образом (рис 13.6) Тестирование связи мониторинга пульса через диски

    Если связь между узлами находится в рабочем состоянии, оба узла выводят "Link operating normally", как показано на рис. 13.6.

    В большинстве случаев устройство diskhb входит в группу общей группы томов данных. Если группа томов еще не входит в группу ресурсов, то следует добавить ее в группу ресурсов и выполнить синхронизацию кластера.

    Мониторинг

    После запуска служб кластера можно осуществлять мониторинг (обычно всех) импульсов через диски, используя команду lssrc -ls topsvcs. В основном нужно следить за полем Missed HBs (Пропущенные импульсы). Если сумма постоянно растет, это указывает на то, что выбранный диск не является оптимальным для применения в сети diskhb. Следует либо переместить diskhb на другой диск, либо изменить скорость обнаружения отказов (failure detection rate) в сети diskhb на значение slow.

    Фрагмент информации о сети diskhb представлен на рис. 13.7.

    (рис 13.7) Мониторинг diskhb

    По умолчанию устанавливается 60-секундная отсрочка начала обработки. При выполнении данной команды сразу же после запуска кластера информация мониторинга пульса не будет выводиться до тех пор, пока не закончится отсрочка.

    Предыдущее занятие Следующее занятие
    Вернуться к учебному плану
    ^