Организация внешней памяти

Организация дисковой памяти

Сервер ESS (Enterprise Storage Server) является одной из наиболее мощных систем дисковой памяти [3.12-3.15]. Он предназначен для использования в любых серверах IBM zSeries, а также может быть подключен к другим типам серверов с платформами Intel, UNIX и др. Сервер построен на основе гибкой и масштабируемой архитектуры Seascape и имеет несколько модификаций от ранних Е-моделей до F-моделей и моделей 800 и 750.

Подключение дисков в ESS выполняется в соответствии с архитектурой последовательного подключения накопителей SSA (Serial Storage Architecture), предложенной IBM в августе 1995 года и предназначавшейся в первую очередь для дисковых систем [3.16]. SSA является открытой архитектурой, основанной на использовании последовательного высокоскоростного полнодуплексного SSA-канала для подключения дисковых накопителей. Разработка этого стандарта связана с необходимостью преодоления ограничений интерфейса SCSI по длине, быстродействию и другим параметрам. Принцип организации SSA показан на рис. 3.16а. Для объединения дисковых накопителей используется кольцевая структура на основе двух последовательных линий для чтения и записи, допускающих обмен на скорости до 40 Mb/s. Каждое устройство (диски, адаптеры дисков DA), включенное в кольцо, имеет узел с двумя SSA-интерфейсами для связи с узлами соседних устройств. Между любыми двумя устройствами в кольце имеется два альтернативных пути. Суммарная пропускная способность узла достигает 160 Mb/s. Предусмотрено подключение до 127 устройств на одно кольцо с допустимым расстоянием между устройствами до 25 м (медный кабель) или до 10 км при использовании оптоволокна.

Архитектура SSA реализует концепцию соединений узел-узел, что позволяет организовать в кольце множественные обмены (spatial reuse) и тем самым увеличить его пропускную способность. Адаптер дисков может включать два узла, что позволяет подключить два кольца к одному адаптеру. На рис 3.16б показан способ реализации SSA, используемый в ESS и допускающий одновременное выполнение до восьми обменов. Сдвоенный адаптер, включающий DA1, DA2, теоретически допускает суммарную пропускную способность до 320 Mb/s.

В кольце используются принципы автоматического конфигурирования (self-configuring) и самовосстановления (self-repairing), что допускает:

В общем случае архитектура SSA включает следующие компоненты:

Обмен информацией в SSA осуществляется фреймами, обобщенный формат которых представлен на табл. 3.10. При передаче информации используется преобразование байтов в десятиразрядные символы. Флаги, состоящие из одного служебного символа, играют роль концевиков фрейма. Поле типа фрейма (1 символ) определяет назначение фрейма (управляющий, привилегированный, информационный). Адрес, включающий от 1 до шести символов, используется для указания объектов SSA или канала, принимающих фрейм. Поле данных имеет переменную длину от 0 до 128 символов и содержит данные приложений или посылки в зависимости от типа фрейма. Контрольный 32-разрядный код CRC вычисляется для всех передаваемых полей, кроме флагов. Передача фреймов между узлами реализуется с использованием подтверждающих квитанций и временной буферизации в узлах.

Структурная организация сервера ESS приведена на рис. 3.17. Сервер состоит из двух симметричных процессорных кластерных комплексов, реализующих функции управления запоминающим массивом. Для связи кластеров с серверами используется 16 адаптеров HA (host adapter), каждый из которых включает один порт Fibre Channel/FICON или два порта ESCON, SCSI. Каждый из адаптеров HA соединен с двумя кластерными комплексами через общие шины внутренних межсоединений CPI (Common Parts Interconnect buses). Любой кластер может поддерживать операцию ввода-вывода через любой из адаптеров HA.

Кластер включает процессорный комплекс CPC, память cache и энергонезависимую память NVS. Процессорный комплекс реализован на базе 4-way SMP процессора. В моделях ESS серии E используется 32-разрядные процессоры с частотой 332 MГц, а в моделях серии F - 64-разрядные процессоры с частотой 255 MГц. Производительность процессоров модели 800 в два раза (в 2,5 раза для турбо-режима) выше, чем у моделей F.

Память cache используется в операциях чтения и записи с дисковым массивом для увеличения производительности ESS. Каждый из кластеров имеет собственную неразделяемую память cache. Для защиты данных в операциях записи в ESS создаются две копии: одна в памяти cache, вторая - в энергонезависимой памяти NVS. Каждый из кластеров использует NVS, размещенную в другом кластере, что позволяет сохранить последнюю копию данных при отказе одного из кластеров.

Связь кластеров с дисковым массивом осуществляется через адаптеры дисков DA. Каждый кластер имеет четыре адаптера DA, содержащих по два узла SSA для подключения дисков. Это позволяет создать до восьми сдвоенных SSA-колец (см. рис. 3.17). Для построения запоминающего массива используются диски (модули DDM, включающие управление и дисковый накопитель HDD) со следующими параметрами:

Минимальной конструктивной единицей наращивания объема запоминающего массива является дисковый блок, состоящий из 8 однотипных по параметрам дисков. Допускается использование в одном массиве дисковых блоков разного типа. Схема подключения дисковых блоков к адаптерам DA кластеров приведена на рис. 3.18. Для подключения используется восемь колец, соединенных с узлами адаптеров в разных кластерах. Базовая конфигурация предусматривает использование до двух дисковых блоков в каждом кольце, размещаемых на основной раме (блоки 1 $$\div$$ 16, 128 дисков). Расширенная конфигурация допускает подключение четырех дополнительных дисковых блоков в каждом из колец (блоки 17 $$\div$$ 48) с использованием рамы расширения (до 384 дисков).

Дисковые блоки инсталлируются парами (см. рис. 3.18), в которых они могут быть конфигурированы по стандартам RAID-5 (6+P+S или 7+P), RAID-10 (3+3+2S или 4+4), где P - диск для контрольных сумм по четности, S - резервный диск.

Хранение информации на дисках реализуется на базе двух архитектур. Архитектура CKD (Сount Key Data) или ECKD (enhanced CKD) применяется в серверах zSeries и основана на использовании записей переменной длины с указанием в них длины и ключа. В качестве команд в данной архитектуре применяются CCW.

Архитектура с фиксированными блоками FBA или FB (Fixed Block Architecture) используется для подключения ESS к устройствам со стандартами SCSI или Fibre Channel (FCP). FB-архитектура основана на представлении данных или логических дисков блоками и секторами фиксированных размеров. Местонахождение каждого блока может быть вычислено. Концепция дорожек и цилиндров при этом также используется.

Характеристики некоторых моделей ESS приведены в таблице 3.11.

Для повышения надежности хранения данных в архитектуре ESS предусмотрена возможность создания зеркальных копий данных с использованием резервных локальных или удаленных средств хранения данных [3.17]. Для этого применяются следующие способы:

Технология PPRC основана на зеркальном копировании данных, сохраняемых в основном ESS, в резервный ESS, подключенный к основному через последовательные каналы (до восьми каналов ESCON). Допускается подключение нескольких резервных ESS к одному основному и наоборот. Максимальное удаление основного и резервного ESS составляет 103 км (с повторителями). Копирование PPRC выполняется в следующей последовательности:

Данный вариант копирования называется синхронным PPRC; он обеспечивает для приложения завершение операции записи в ESS только после записи в резервный ESS. Асинхронный способ PPRC Extended Distance (PPRC-XD) позволяет завершить операцию записи на этапе 2 передачей двух признаков, "канал свободен" и "устройство свободно", с последующим выполнением копирования в резервный ESS.

В отличие от PPRC, способ расширенного удаленного копирования ERC предполагает использование дополнительной системы для пересылки копируемых данных - System Data Mover (SDM). Это специальная управляющая программа, которая исполняется на одном из серверов, например, на сервере с резервным ESS. Такой сервер осуществляет пересылку копируемых данных "через себя", и ему должны быть доступны и основной, и резервный ESS. Операция записи в основной ESS завершается на этапе 2 аналогично варианту PPRC-XD, после чего сервер SDM выполняет необходимые операции копирования в резервный ESS. Способ позволяет помимо ESCON использовать для копирования линии FICON с длиной до 100 км без повторителей.

Способ Flash Copy копирования предназначен для "мгновенного" (point-in-time) создания в ESS копии имеющихся данных, что обеспечивает возможность работы приложений с копиями данных с минимальной задержкой. Процесс Flash Copy запускается функцией ESS Copy Services function для исходного и целевого томов данных в одном ESS и включает следующие фазы.

В фазе запуска процедуры Flash Copy в ESS внутренним программным обеспечением создается "пустой" резервный том и уровень метаданных, обеспечивающий фиксацию начального состояния основного и резервного томов и отслеживание последующих изменений в томах в процессе копирования. После завершения фазы запуска, которая выполняется за достаточно короткое время, резервный том, как и основной, становятся доступными для обращений. Обращение к томам осуществляется через уровень метаданных, определяющий том, с которым фактически будет выполняться требуемая операция.

Фаза копирования предназначена для физического копирования данных в резервный том. Во время этой фазы оба тома доступны для чтения/записи, а копирование по умолчанию выполняется в фоновом режиме с меньшим приоритетом по сравнению с операциями ввода-вывода. При попытке модификации в исходном томе не скопированных данных немедленно выполняется их копирование в резервный том. После завершения копирования процедура Flash Copy считается выполненной. Возможно отключение фонового копирования, при этом допускается размещение в резервном томе только исходных копий модифицируемых данных.

Организация ленточной памяти

Память на основе ленточных накопителей значительно выигрывает в цене в расчете на бит хранимой информации по сравнению с дисковой памятью, вследствие чего продолжает использоваться в серверах IBM, в том числе в zSeries [3.18-3.21]. В качестве носителей информации в ленточных накопителях используются картриджи различных типов. В ленточных носителях, предназначенных для построения памяти серверов zSeries, используются однокатушечные картриджи серий 959х с шириной ленты $$\frac12$$ ". Длина ленты в картридже может достигать 600 м, что обеспечивает емкость хранения до 300 GB и более. Каждый картридж имеет свой идентификатор, размещаемый в виде штрихового кода на передней панели и доступный для автоматического считывания при использовании в ленточных библиотеках. Помимо этого, в картридж встраивается микросхема постоянной памяти для хранения информации о картридже, используемой магнитной ленте и других параметрах. Чтение этой информации осуществляется через пассивный бесконтактный радио интерфейс.

Доступ к носителю картриджа осуществляется через лентопротяжные устройства или приводы (tape drive). Такие устройства могут использоваться как в качестве автономной памяти, так и в составе сложных ленточных устройств и библиотек.

Основными моделями приводов для zSeries являются IBM TotalStorage Enterprise Tape Drive 3590 и 3592. Каждый из приводов имеет один лентопротяжный механизм для выполнения операций чтения/записи с одним картриджем. Смена картриджей может выполняться вручную и с использованием автоматических загрузчиков (Automated Cartridge Facility - ACF), допускающих автономное подключение (3590) либо в составе ленточных библиотек. Перечень картриджей, допустимых для использования в каждом из приводов, и их основные параметры приведены в таблице 3.12. Картриджи отвечают высоким требованиям надежности, допускают большое число циклов установки в привод и обеспечивают длительное время хранения без потери информации (соответственно, 20000 установок и 30 лет хранения для картриджей 3592).

Для размещения информации на магнитной ленте используется метод двунаправленной серпантинной записи (рис. 3.19) [3.18]. По всей ширине магнитной ленты создаются группы информационных дорожек (четыре группы для 3590, 3592), разделенных группами серводорожек. Серводорожки играют роль маркеров для обозначения битовых позиций на информационных дорожках и наносятся на ленту предварительно. Число информационных дорожек в группе зависит от типов привода и картриджей. Привод 3592 обеспечивает до 128 дорожек в группе и до 512 информационных дорожек на ленту. Для чтения/записи над каждой дорожкой позиционируется пара считывающей и записывающей головок. Для одновременного обращения к нескольким дорожкам используется набор из 16 пар головок, покрывающий подгруппу из 16 информационных дорожек, по восемь пар головок для каждого из направлений движения ленты. При позиционировании головок на конец ленты начинается движение ленты в обратном направлении без перемещения головок. Таким образом, за один цикл перемещения ленты в двух направлениях обрабатываются 16 информационных дорожек, после чего головки позиционируются на другую подгруппу дорожек. Такой способ позволяет ускорить доступ к информации, в том числе за счет поиска путем перемещения головок без прокрутки ленты.

Перечень моделей приводов и их основные характеристики приведены в таблице 3.13. В зависимости от модели драйверы обеспечивают форматирование картриджей с объемом от 10 $$\div$$ 300 GB и скоростью чтения/записи 9 $$\div$$ 40 Mb/s. Среднее время загрузки картриджа равно 21 с, среднее время поиска - 39 с и максимальное время перемотки 78 с (для картриджа 300 GB). Для увеличения объемов записываемой информации в приводах может использоваться алгоритм сжатия SDLC (Streaming Lossless Data Compression Algorithm) на основе стандарта Ziv-Lempel class 1 (LZ-1).

С целью уменьшения времени доступа может использоваться не вся длина ленты картриджа, а лишь ее начальная часть с соответствующим уменьшением объема картриджа. Так, например, уменьшение объема с 300 GB до 60 GB позволяет уменьшить время доступа до 30% от номинального. Допускается "двойное" конфигурирование картриджа с 60 GB для быстрого доступа и 200 GB - для медленного.

Статистика обращений к картриджу, а также информация обо всех сбоях и отказах фиксируется во флэш-памяти в микросхеме картриджа либо в выделенной резервной области ленты. Такая информация упрощает алгоритмы диагностики картриджей при обнаружении неисправностей. Для дополнительной защиты записанной ранее информации от стирания предусмотрена опция запрета записи или стирания. Опция допускает однократную запись, включая дозапись на свободное место, с последующей блокировкой записи.

В состав привода включается устройство управления на основе двух микропроцессоров, функционирующих в режиме fail-safe с взаимной блокировкой. Один из микропроцессоров обеспечивает управление интерфейсом с другими устройствами, в то время как второй реализует алгоритмы чтения и записи на ленту. Предусмотрена память для буферизации участвующих в обмене данных емкостью до 128 MB.

Для внешнего подключения приводов используются стандартные интерфейсы SCSI, Fibre Channel, при этом допускается их подсоединение к любым открытым системам с такими стандартами. Для совместного использования с SAN и серверами zSeries применяются дополнительные контроллеры, обеспечивающие взаимодействие через интерфейсы FICON, ESCON. Примерами таких контроллеров могут служить модели 3590 Model A60 и 3592 Model J70.

Подключение контроллеров к приводам может быть выполнено с использованием интерфейсов SCSI (3590) и Fibre Channel (3590, 3592). К одному контроллеру может подключаться до 12 приводов. При подключении через Fibre Channel необходим дополнительный коммутатор (рис. 3.20). Для связи контроллера с серверами могут применяться каналы ESCON (0 $$\div$$ 4 для A60, 0 $$\div$$ 8 для J70) и каналы FICON (0 $$\div$$ 2 для A60, 0 $$\div$$ 4 для J70), включая их различные допустимые комбинации.

Ленточные библиотеки строятся на основе приводов и контроллеров с добавлением электромеханических систем автоматической подачи картриджей. Для размещения вспомогательного оборудования, а также картриджей используется несколько типов шкафов-стоек (frames), допускающих объединение с целью создания систем хранения с разными значениями объема, производительности, надежности и других параметров.

Типы стоек определяются их основным назначением (рис. 3.21):

В стойке управления библиотекой (модели L10, L12, L14, L22) размещаются менеджер библиотеки с графическим интерфейсом на базе PC, приводы, устройство подачи картриджей (accessor) с одним или двумя блоками захвата (gripper), станция загрузки/выгрузки картриджей (на 10 или 30 картриджей) и ячейки для размещения картриджей. Устройство подачи перемещает картриджи между ячейками, приводами, станциями загрузки/выгрузки и включает двигатели перемещения по двум координатам, видеосистему для распознавания картриджей, одиночный или сдвоенный блоки захвата и другое оборудование. Для увеличения надежности возможно использование дополнительного устройства подачи, находящегося в горячем резерве в стойке HA1. Увеличение пропускной способности библиотеки может быть достигнуто за счет использования двух одновременно функционирующих устройств подачи. Сдвоенный блок захвата позволяет ускорить операции по обмену картриджами, например, при доставке картриджа в занятый слот привода второй блок принимает картридж из привода. Станция загрузки/выгрузки картриджей предназначена для добавления или удаления картриджей библиотеки в процессе ее функционирования. Для этого в стойке выделяется 10 или 30 ячеек, доступных извне через специальное окно.

Стойка для размещения приводов и контроллеров (Drive Unit Frame) содержит от 0 до 12 приводов. Контроллер для связи с сервером, размещаемый в стойках D14, D24, объединяет приводы этих стоек и соседних с ними стоек D12, D22. Допускается использование таких стоек только для размещения ячеек картриджей без приводов и контроллеров с возможностью их последующего добавления.

Стойка хранения картриджей (Storage Unit Frame) содержит до 400 ячеек для размещения картриджей, направляющие для перемещения устройства подачи и не рассчитана на установку приводов.

Для увеличения надежности библиотеки возможно использование стоек повышения готовности (High Availability Model). Такие стойки размещаются в крайних позициях линейки стоек библиотеки (рис. 3.21). Одна из стоек, ближайшая к стойке управления библиотекой, предназначена для складирования устройства подачи в случае его отказа. Вторая стойка содержит резервное устройство подачи и резервный менеджер библиотеки, которые заменяют основные в случае их отказа. В таких стойках размещение картриджей, приводов и другого оборудования не предусмотрено.

На рис. 3.21 представлена линейка стоек ленточной библиотеки 3994 и перечислены модели стоек. Количество стоек в библиотеке может быть от одной до 18, что в случае применения приводов и картриджей моделей 3592 обеспечивает хранение до 5 петабайт информации. Некоторые параметры стоек представлены в таблице 3.14 [3.19].

В набор стоек для построения ленточных библиотек IBM TotalStorage включены дополнительные модели C10, С20 для подключения ленточных библиотек StorageTek Silo. Такие стойки предназначены для размещения приводов (до 20 приводов 3592 J1A в C20) и пристыковываются непосредственно к модулю памяти библиотеки, содержащему до 6000 ячеек для картриджей с робототехническим оборудованием для их доставки.

Концепция виртуального ленточного сервера Virtual Tape Server (VTS) основана на использовании виртуальных томов, хранящихся в специальном буфере, называемом "кэш томов" (Tape Volume Cache - TVC) [3.21]. Виртуальные тома являются копиями логических томов, хранящихся на носителях библиотеки. Для хранения виртуальных томов используется дополнительная дисковая память с технологией RAID-5, размещаемая в специальных стойках, подключаемых к ленточным библиотекам. Таким образом обеспечивается более быстрый доступ к информации, размещенной в виртуальных томах в TVC. Для хост-сервера виртуальный сервер VTS представляется как отдельная библиотека, содержащая до 256 виртуальных приводов и до 250000 виртуальных томов (картриджей). Физические картриджи с логическими томами и оборудование для доступа к ним размещаются в ленточной библиотеке, к которой подключен VTS, и для хост-сервера непосредственно не доступны. К одной ленточной библиотеке 3994 может подключаться до двух серверов VTS. Связь хост-сервера с VTS реализуется с использованием ESCON, FICON каналов и контроллеров CU (до 16) в составе VTS.

¹ - Со сдвоенным блоком захвата картриджей и устройством подачи на 10 картриджей.

² - Для привода 3590H1A, картриджей HPCT и сжатия информации 3:1.

³ - Для привода 3592 J1A и сжатия информации 3:1.

Структура аппаратных средств сервера VTS приведена на рис. 3.22. В состав сервера VTS входит несколько стоек ленточной библиотеки, минимальный набор которых должен включать одну стойку управления библиотекой (Lxx) и 1-2 стойки с приводами (Dxx). Остальные стойки ленточной библиотеки могут использоваться для хранения картриджей. Стойка управления VTS (модели B10, B20 и др.) реализует базовые функции виртуального сервера: связь с хост-сервером (до 16 каналов ESCON, до восьми каналов FICON или до 8 SCSI-шин), хранение виртуальных томов в дисковой памяти, связь с приводами и взаимодействие с менеджером библиотеки. Для реализации этих функций в стойке управления VTS используется блок управления, основу которого составляет eServer pSeries (660 model 6H1 в стойках B10, B20). Этот сервер связан через интерфейсы PCI с хост-портами, адаптерами SSA дисковой памяти TVC и SCSI-портами для подключения ленточных приводов. Емкость памяти TVC зависит от модели и достигает 432 GB (модель B10) или 1,7 TB (модель B20). Количество подключаемых приводов равно 4 $$\div$$ 6 (модель B10) или 6 $$\div$$ 12 (модель B20). Взаимодействие блока управления с менеджером библиотеки, находящимся в стойке управления библиотекой, осуществляется через выделенную локальную сеть.

Для повышения надежности хранения данных в VTS может использоваться технология Peer-to-Peer (PtP) Virtual Tape Server. Она основана на создании копий данных, записываемых в VTS, и автоматического переключения копий в случае отказов без применения средств хост-сервера. Для этого используются два VTS, размещаемых локально или удаленно на случай стихийных бедствий. Оба VTS объединяются в общую систему, которая представляется для хост-сервера в виде одной ленточной библиотеки VTS с 64, 128 или 256 виртуальными приводами и содержит до 250000 виртуальных томов. Конфигурация такого VTS включает TVC до 3,5 TB, до 24 приводов и до 16 ESCON или FICON каналов для связи c хост-сервером.

Объединение VTS серверов выполняется с использованием дополнительных контроллеров virtual tape controller-TC (модели AX0, VTC), размещаемых во вспомогательной стойке (модели CX0, CX1). Каждый из контроллеров обеспечивает два канала для связи с хост-сервером и два канала для связи с серверами VTS (4 ESCON канала в модели AX0 и 4 FICON/ESCON канала в модели VTC). Основными функциями контроллеров AX0/VTC являются: копирование логических томов в разных VTS и отслеживание идентичности их содержания, обмен данными между VTS, оптимальное распределение заявок от хост-сервера между VTS-серверами и другие функции. Для хост-сервера контроллер AX0/VTC представляется как один контроллер ввода-вывода CU, подключенный к 16 виртуальным приводам.

До четырех контроллеров AX0/VTC размещается в одной стойке СХ0 / СХ1, обеспечивая до 64 виртуальных драйверов. На рис. 3.23 приведены варианты построения Peer-to-Peer VTS с использованием одной (а) и двух (б) стоек.

Оптическая память

Оптическая память является онлайновой памятью и по своим характеристикам занимает промежуточное положение между дисковой и ленточной памятью. Оптические библиотеки IBM 3995 серии С обеспечивают хранение достаточно большого объема данных при умеренной стоимости [3.22, 3.23]. Они могут быть подключены к различным типам серверов, в том числе к серверам zSeries, для долговременного хранения информации, которая ранее хранилась на бумажных носителях, микропленках и других носителях. В качестве носителей в оптической библиотеке используются оптические диски с различными стандартами чтения/записи (таблица 3.15):

Каждая из моделей оптической библиотеки включает следующие компоненты:

К одному серверу может подключаться несколько библиотек, в то время как подключение нескольких серверов к одной библиотеке не предусмотрено. Основные параметры моделей библиотек IBM 3995 серии С для zSeries приведены в таблице 3.16. Основными моделями являются С32, С34, С36, С38, отличающиеся количеством приводов и хранимых картриджей. Модели С12, С16, С18 предназначены для расширения, соответственно, моделей С32, С36, С38 и содержат собственные приводы, ячейки для картриджей и устройства для перемещения картриджей. Управление базовой библиотекой и соответствующей ей библиотекой расширения осуществляется от одного контроллера С3A. Контроллер имеет несколько приводов, доступных для оператора, и два порта (ESCON или параллельных) для подключения библиотеки к серверу. Максимальный суммарный объем расширенной библиотеки достигает 2,682 TB.