Организация внешней памяти
Организация ленточной памяти
Память на основе ленточных накопителей значительно выигрывает в цене в расчете на бит хранимой информации по сравнению с дисковой памятью, вследствие чего продолжает использоваться в серверах IBM, в том числе в zSeries [3.18-3.21]. В качестве носителей информации в ленточных накопителях используются картриджи различных типов. В ленточных носителях, предназначенных для построения памяти серверов zSeries, используются однокатушечные картриджи серий 959х с шириной ленты 
". Длина ленты в картридже может достигать 600 м, что обеспечивает емкость хранения до 300 GB и более. Каждый картридж имеет свой идентификатор, размещаемый в виде штрихового кода на передней панели и доступный для автоматического считывания при использовании в ленточных библиотеках. Помимо этого, в картридж встраивается микросхема постоянной памяти для хранения информации о картридже, используемой магнитной ленте и других параметрах. Чтение этой информации осуществляется через пассивный бесконтактный радио интерфейс.
Доступ к носителю картриджа осуществляется через лентопротяжные устройства или приводы (tape drive). Такие устройства могут использоваться как в качестве автономной памяти, так и в составе сложных ленточных устройств и библиотек.
Основными моделями приводов для zSeries являются IBM TotalStorage Enterprise Tape Drive 3590 и 3592. Каждый из приводов имеет один лентопротяжный механизм для выполнения операций чтения/записи с одним картриджем. Смена картриджей может выполняться вручную и с использованием автоматических загрузчиков (Automated Cartridge Facility - ACF), допускающих автономное подключение (3590) либо в составе ленточных библиотек. Перечень картриджей, допустимых для использования в каждом из приводов, и их основные параметры приведены в таблице 3.12. Картриджи отвечают высоким требованиям надежности, допускают большое число циклов установки в привод и обеспечивают длительное время хранения без потери информации (соответственно, 20000 установок и 30 лет хранения для картриджей 3592).
Для размещения информации на магнитной ленте используется метод двунаправленной серпантинной записи (рис. 3.19) [3.18]. По всей ширине магнитной ленты создаются группы информационных дорожек (четыре группы для 3590, 3592), разделенных группами серводорожек. Серводорожки играют роль маркеров для обозначения битовых позиций на информационных дорожках и наносятся на ленту предварительно. Число информационных дорожек в группе зависит от типов привода и картриджей. Привод 3592 обеспечивает до 128 дорожек в группе и до 512 информационных дорожек на ленту. Для чтения/записи над каждой дорожкой позиционируется пара считывающей и записывающей головок. Для одновременного обращения к нескольким дорожкам используется набор из 16 пар головок, покрывающий подгруппу из 16 информационных дорожек, по восемь пар головок для каждого из направлений движения ленты. При позиционировании головок на конец ленты начинается движение ленты в обратном направлении без перемещения головок. Таким образом, за один цикл перемещения ленты в двух направлениях обрабатываются 16 информационных дорожек, после чего головки позиционируются на другую подгруппу дорожек. Такой способ позволяет ускорить доступ к информации, в том числе за счет поиска путем перемещения головок без прокрутки ленты.
Перечень моделей приводов и их основные характеристики приведены в таблице 3.13. В зависимости от модели драйверы обеспечивают форматирование картриджей с объемом от 10 
300 GB и скоростью чтения/записи 9 40 Mb/s. Среднее время загрузки картриджа равно 21 с, среднее время поиска - 39 с и максимальное время перемотки 78 с (для картриджа 300 GB). Для увеличения объемов записываемой информации в приводах может использоваться алгоритм сжатия SDLC (Streaming Lossless Data Compression Algorithm) на основе стандарта Ziv-Lempel class 1 (LZ-1).
С целью уменьшения времени доступа может использоваться не вся длина ленты картриджа, а лишь ее начальная часть с соответствующим уменьшением объема картриджа. Так, например, уменьшение объема с 300 GB до 60 GB позволяет уменьшить время доступа до 30% от номинального. Допускается "двойное" конфигурирование картриджа с 60 GB для быстрого доступа и 200 GB - для медленного.
Статистика обращений к картриджу, а также информация обо всех сбоях и отказах фиксируется во флэш-памяти в микросхеме картриджа либо в выделенной резервной области ленты. Такая информация упрощает алгоритмы диагностики картриджей при обнаружении неисправностей. Для дополнительной защиты записанной ранее информации от стирания предусмотрена опция запрета записи или стирания. Опция допускает однократную запись, включая дозапись на свободное место, с последующей блокировкой записи.
В состав привода включается устройство управления на основе двух микропроцессоров, функционирующих в режиме fail-safe с взаимной блокировкой. Один из микропроцессоров обеспечивает управление интерфейсом с другими устройствами, в то время как второй реализует алгоритмы чтения и записи на ленту. Предусмотрена память для буферизации участвующих в обмене данных емкостью до 128 MB.
Для внешнего подключения приводов используются стандартные интерфейсы SCSI, Fibre Channel, при этом допускается их подсоединение к любым открытым системам с такими стандартами. Для совместного использования с SAN и серверами zSeries применяются дополнительные контроллеры, обеспечивающие взаимодействие через интерфейсы FICON, ESCON. Примерами таких контроллеров могут служить модели 3590 Model A60 и 3592 Model J70.
Подключение контроллеров к приводам может быть выполнено с использованием интерфейсов SCSI (3590) и Fibre Channel (3590, 3592). К одному контроллеру может подключаться до 12 приводов. При подключении через Fibre Channel необходим дополнительный коммутатор (рис. 3.20). Для связи контроллера с серверами могут применяться каналы ESCON (0 4 для A60, 0 8 для J70) и каналы FICON (0 2 для A60, 0 4 для J70), включая их различные допустимые комбинации.
Ленточные библиотеки строятся на основе приводов и контроллеров с добавлением электромеханических систем автоматической подачи картриджей. Для размещения вспомогательного оборудования, а также картриджей используется несколько типов шкафов-стоек (frames), допускающих объединение с целью создания систем хранения с разными значениями объема, производительности, надежности и других параметров.
Типы стоек определяются их основным назначением (рис. 3.21):
- управление библиотекой (Library Control Frame);
- размещение приводов и контроллеров (Drive Unit Frame);
- хранение картриджей (Storage Unit Frame);
- повышение готовности (High Availability Model).
В стойке управления библиотекой (модели L10, L12, L14, L22) размещаются менеджер библиотеки с графическим интерфейсом на базе PC, приводы, устройство подачи картриджей (accessor) с одним или двумя блоками захвата (gripper), станция загрузки/выгрузки картриджей (на 10 или 30 картриджей) и ячейки для размещения картриджей. Устройство подачи перемещает картриджи между ячейками, приводами, станциями загрузки/выгрузки и включает двигатели перемещения по двум координатам, видеосистему для распознавания картриджей, одиночный или сдвоенный блоки захвата и другое оборудование. Для увеличения надежности возможно использование дополнительного устройства подачи, находящегося в горячем резерве в стойке HA1. Увеличение пропускной способности библиотеки может быть достигнуто за счет использования двух одновременно функционирующих устройств подачи. Сдвоенный блок захвата позволяет ускорить операции по обмену картриджами, например, при доставке картриджа в занятый слот привода второй блок принимает картридж из привода. Станция загрузки/выгрузки картриджей предназначена для добавления или удаления картриджей библиотеки в процессе ее функционирования. Для этого в стойке выделяется 10 или 30 ячеек, доступных извне через специальное окно.
Стойка для размещения приводов и контроллеров (Drive Unit Frame) содержит от 0 до 12 приводов. Контроллер для связи с сервером, размещаемый в стойках D14, D24, объединяет приводы этих стоек и соседних с ними стоек D12, D22. Допускается использование таких стоек только для размещения ячеек картриджей без приводов и контроллеров с возможностью их последующего добавления.
Стойка хранения картриджей (Storage Unit Frame) содержит до 400 ячеек для размещения картриджей, направляющие для перемещения устройства подачи и не рассчитана на установку приводов.
Для увеличения надежности библиотеки возможно использование стоек повышения готовности (High Availability Model). Такие стойки размещаются в крайних позициях линейки стоек библиотеки (рис. 3.21). Одна из стоек, ближайшая к стойке управления библиотекой, предназначена для складирования устройства подачи в случае его отказа. Вторая стойка содержит резервное устройство подачи и резервный менеджер библиотеки, которые заменяют основные в случае их отказа. В таких стойках размещение картриджей, приводов и другого оборудования не предусмотрено.
На рис. 3.21 представлена линейка стоек ленточной библиотеки 3994 и перечислены модели стоек. Количество стоек в библиотеке может быть от одной до 18, что в случае применения приводов и картриджей моделей 3592 обеспечивает хранение до 5 петабайт информации. Некоторые параметры стоек представлены в таблице 3.14 [3.19].
В набор стоек для построения ленточных библиотек IBM TotalStorage включены дополнительные модели C10, С20 для подключения ленточных библиотек StorageTek Silo. Такие стойки предназначены для размещения приводов (до 20 приводов 3592 J1A в C20) и пристыковываются непосредственно к модулю памяти библиотеки, содержащему до 6000 ячеек для картриджей с робототехническим оборудованием для их доставки.
Концепция виртуального ленточного сервера Virtual Tape Server (VTS) основана на использовании виртуальных томов, хранящихся в специальном буфере, называемом "кэш томов" (Tape Volume Cache - TVC) [3.21]. Виртуальные тома являются копиями логических томов, хранящихся на носителях библиотеки. Для хранения виртуальных томов используется дополнительная дисковая память с технологией RAID-5, размещаемая в специальных стойках, подключаемых к ленточным библиотекам. Таким образом обеспечивается более быстрый доступ к информации, размещенной в виртуальных томах в TVC. Для хост-сервера виртуальный сервер VTS представляется как отдельная библиотека, содержащая до 256 виртуальных приводов и до 250000 виртуальных томов (картриджей). Физические картриджи с логическими томами и оборудование для доступа к ним размещаются в ленточной библиотеке, к которой подключен VTS, и для хост-сервера непосредственно не доступны. К одной ленточной библиотеке 3994 может подключаться до двух серверов VTS. Связь хост-сервера с VTS реализуется с использованием ESCON, FICON каналов и контроллеров CU (до 16) в составе VTS.
1 - Со сдвоенным блоком захвата картриджей и устройством подачи на 10 картриджей.
2 - Для привода 3590H1A, картриджей HPCT и сжатия информации 3:1.
3 - Для привода 3592 J1A и сжатия информации 3:1.
Структура аппаратных средств сервера VTS приведена на рис. 3.22. В состав сервера VTS входит несколько стоек ленточной библиотеки, минимальный набор которых должен включать одну стойку управления библиотекой (Lxx) и 1-2 стойки с приводами (Dxx). Остальные стойки ленточной библиотеки могут использоваться для хранения картриджей. Стойка управления VTS (модели B10, B20 и др.) реализует базовые функции виртуального сервера: связь с хост-сервером (до 16 каналов ESCON, до восьми каналов FICON или до 8 SCSI-шин), хранение виртуальных томов в дисковой памяти, связь с приводами и взаимодействие с менеджером библиотеки. Для реализации этих функций в стойке управления VTS используется блок управления, основу которого составляет eServer pSeries (660 model 6H1 в стойках B10, B20). Этот сервер связан через интерфейсы PCI с хост-портами, адаптерами SSA дисковой памяти TVC и SCSI-портами для подключения ленточных приводов. Емкость памяти TVC зависит от модели и достигает 432 GB (модель B10) или 1,7 TB (модель B20). Количество подключаемых приводов равно 4 6 (модель B10) или 6 12 (модель B20). Взаимодействие блока управления с менеджером библиотеки, находящимся в стойке управления библиотекой, осуществляется через выделенную локальную сеть.
Для повышения надежности хранения данных в VTS может использоваться технология Peer-to-Peer (PtP) Virtual Tape Server. Она основана на создании копий данных, записываемых в VTS, и автоматического переключения копий в случае отказов без применения средств хост-сервера. Для этого используются два VTS, размещаемых локально или удаленно на случай стихийных бедствий. Оба VTS объединяются в общую систему, которая представляется для хост-сервера в виде одной ленточной библиотеки VTS с 64, 128 или 256 виртуальными приводами и содержит до 250000 виртуальных томов. Конфигурация такого VTS включает TVC до 3,5 TB, до 24 приводов и до 16 ESCON или FICON каналов для связи c хост-сервером.
Объединение VTS серверов выполняется с использованием дополнительных контроллеров virtual tape controller-TC (модели AX0, VTC), размещаемых во вспомогательной стойке (модели CX0, CX1). Каждый из контроллеров обеспечивает два канала для связи с хост-сервером и два канала для связи с серверами VTS (4 ESCON канала в модели AX0 и 4 FICON/ESCON канала в модели VTC). Основными функциями контроллеров AX0/VTC являются: копирование логических томов в разных VTS и отслеживание идентичности их содержания, обмен данными между VTS, оптимальное распределение заявок от хост-сервера между VTS-серверами и другие функции. Для хост-сервера контроллер AX0/VTC представляется как один контроллер ввода-вывода CU, подключенный к 16 виртуальным приводам.
До четырех контроллеров AX0/VTC размещается в одной стойке СХ0 / СХ1, обеспечивая до 64 виртуальных драйверов. На рис. 3.23 приведены варианты построения Peer-to-Peer VTS с использованием одной (а) и двух (б) стоек.
