Московский государственный университет путей сообщения
Опубликован: 11.04.2006 | Доступ: свободный | Студентов: 1311 / 300 | Оценка: 4.39 / 4.00 | Длительность: 17:21:00
ISBN: 978-5-9556-0036-1
Специальности: Разработчик аппаратуры
Лекция 7:

Организация внешней памяти

< Лекция 6 || Лекция 7: 1234 || Лекция 8 >

К периферийным устройствам серверов относятся различные устройства внешней памяти и устройства ввода-вывода. Основными видами внешней памяти, используемой в серверах zSeries, являются дисковая память, память на магнитных лентах и оптическая память. В большинстве случаев для подключения разных видов памяти используются стандартные средства, что позволяет задействовать одни и те же решения в различных типах серверов, включая серверы IBM и других производителей.

Подключение внешней памяти

Для подключения памяти к центральным устройствам сервера могут использоваться следующие способы:

  • прямое подключение DAS (Directly Attached Storage) [3.10],
  • сетевые подключения SAN (Storage Area Network Attached Storage) и NAS (Network Attached Storage) [3.11].

Прямое подключение предполагает использование отдельной памяти для каждого сервера. Возможны варианты с размещением памяти в одном корпусе с центральными устройствами или в виде отдельного устройства, подключаемого через предусмотренные в сервере интерфейсы. Внутреннее подключение памяти (рис. 3.14а) реализуется путем соединения памяти через адаптер напрямую с канальным интерфейсом (STI). Вариант такого подключения через интерфейс SCSI-адаптер приведен на рис. 3.14а. Этот вариант не предусматривает использование каналов и канальных программ, а cache дисков и управляющая информация, связанная с обменами, размещается в системной HSA-памяти сервера.

При внешнем подключении (рис. 3.14б), которое является основным для zSeries, используются ESCON- и FICON-каналы и совместимые с ними контроллеры CU-памяти. Обмены при этом выполняются либо под управлением канальных программ, либо в режиме QDIO (FCP-канал). Буфер и управление внешней памятью реализуется средствами контроллера CU-памяти.

Прямое подключение памяти DAS

Рис. 3.14. Прямое подключение памяти DAS

Сетевое подключение серверов к внешней памяти (рис. 3.15) основано на использовании специализированной сети (SAN) и/или сетей общего назначения (NAS). Такое подключение позволяет создать для серверов и устройств памяти соединения "любой-с-любым" с использованием коммутаторов, маршрутизаторов и другого коммутационного оборудования. Основными достоинствами подхода являются:

  • консолидация устройств хранения, повышающая эффективность их использования;
  • совместное использование данных за счет их копирования;
  • практически неограниченное и без останова наращивание объема памяти;
  • повышенная надежность хранения за счет резервного дублирования и других механизмов;
  • применение дополнительных сервисных средств, оптимизирующих использование памяти.

Концепция SAN основана на создании выделенной специализированной подсети, ориентированной на интенсивный обмен данными с распределенной системой хранения данных. Передача данных в SAN основана на блочном принципе с использованием стандартных протоколов. NAS ориентирована на доступ к памяти на уровне файлов. С этой целью используется файловый сервер (NAS filer), через который осуществляется взаимодействие клиентов с памятью. Такой сервер подключен к TCP/IP сети, через которую он принимает запросы на обращение в память в соответствии с протоколами (CIFS, NFS) и преобразует их в команды для блочного обращения к памяти, в том числе через SAN.

Сетевые подключение памяти SAN, NAS

Рис. 3.15. Сетевые подключение памяти SAN, NAS

Основным сетевым стандартом де-факто для SAN является Fibre Channel. Одной из основных причин такого выбора является более высокая скорость обмена (до 200 Mb/s) по сравнению со стандартами Ethernet 10/100/1000 и SCSI. Протокол FCP (Fibre Channel Protocol), широко используемый в SAN, является командным протоколом Serial SCSI, надстраиваемым над проколами передачи Fibre Channel.

Протоколы TCP/IP также могут использоваться в SAN в качестве транспортной среды для передачи информации на уровне блоков. Такой подход, получивший название IP Storage, позволяет задействовать существующую инфраструктуру локальных и глобальных IP-сетей и накопленный опыт их эксплуатации. SAN на основе IP-сети базируется на передаче информации других протоколов путем ее инкапсуляции в TCP/IP, то есть "поверх" TCP/IP. С этой целью разработаны варианты протоколов, стеки которых представлены на таблице 3.8 [3.11].

Протокол iSCSI (Internet SCSI) обеспечивает инкапсуляцию SCSI команд, данных и состояний непосредственно в TCP-пакеты и передачу блоков через IP-сеть.

Таблица 3.8. Стеки протоколов iSCSI, iFCP, FCIP
Приложения
Операционная система
Стандартная система команд SCSI
Новый Serial SCSI FCP FC4 FCP FC4
Нижние уровни FC
TCP TCP TCP
IP IP IP
iSCSI iFCP FCIP

Протокол FCIP (Fibre Channel over IP) является туннельным протоколом и предназначен для объединения географически распределенных SAN, построенных на основе оборудования и протоколов Fibre Channel, посредством соединения FC-устройств FCIP-туннелем через LAN/WAN на основе TCP/IP протоколов. С этой целью FC-фреймы с сохранением стандартной FC-адресации инкапсулируются в TCP/IP пакеты. Для взаимодействующих FC-устройств созданный FCIP туннель прозрачен, то есть все промежуточные преобразования для них незаметны, что эквивалентно расширенной FC-линии.

Протокол iFCP (Internet Fibre Channel Protocol), как и FCIP, основан на инкапсуляции FC-фреймов в TCP/IP пакеты, однако при этом совмещаются схемы адресации Fibre Channel и IP. Соединения iFCP выполняются через шлюзы (gateway), в которых воспринимаются оба вида адресации и реализуются функции коммутаторов для двух стандартов Fibre Channel и IP.

Топология сети SAN на основе Fibre Channel включает соединения типа точка-точка, кольцевые структуры с арбитражем и сложные коммутирующие сети (см. предыдущий раздел). Для реализации коммутирующей сети SAN на основе Fibre Channel могут использоваться следующие группы устройств:

  • IBM TotalStorage SAN Switches;
  • CNT FC/9000 Fibre Channel Directors;
  • McDATA Switch Products;
  • CISCO MDS 9000 Multi-layer Switches and Directors.

Каждая из перечисленных линеек включает средства для применения в системах как начального/среднего, так и продвинутого уровней. Основу устройств составляют высокоскоростные коммутирующие структуры, связанные с сетевыми линиями через порты. Каждый порт предназначен для подключения одного типа линии или обладает свойством самонастройки параметров в зависимости от типа подключенной линии, например, автоматически настраивается на скорость обмена. Основными типами портов являются Fibre Channel порты со скоростью передачи 1 Gb/s, 2 Gb/s. Помимо этого возможно использование FCP, iSCSI, FCIP, iFCP и других типов портов. Допустимое число и тип портов для некоторых моделей приведены в таблице 3.9.

Таблица 3.9. Параметры коммутирующего оборудования SAN
Тип Модель Число портов Тип портов
IBM TotalStorage SAN Switch M12 Director 64, 2x64 FC
M14 Director 32 - 128
McDATA Intrepid Director 6064 24 - 64 FС, FCP
6140 64 -140 FС, FCP
Cisco MDS Multilayer Directors 9506 16-128 FC, GE, iSCSI, FCIP, Cisco port
9509 32 - 224 FC, GE, iSCSI, FCIP, Cisco port
CNT UltraNet Multi-service Director FC/9000-64 24 - 64
CNT FC/9000 Fibre Channel Director FC/9000-128 48 - 128
FC/9000-256 48 - 256

Для подключения памяти NAS может использоваться файловый сервер NAS Gateway 500, поддерживающий протоколы NFS, CIFS, HTTP, FTP. Сервер включает один или два узла на базе процессоров 2-way или 4-way Power4+, память емкостью до 32 GB, внутреннюю дисковую память, слоты PCI и другое оборудование. Для связи сервера с TCP/IP сетью используются GE порты, а для подключения к SAN - FC-порты.

< Лекция 6 || Лекция 7: 1234 || Лекция 8 >