Каналы ввода-вывода

Последовательный канал ESCON

Канал ESCON, впервые примененный в серверах архитектуры ESA/390, использует для передачи сигналов оптоволокно [3.2, 3.3]. На физическом уровне ESCON-линия состоит из двух оптических кабелей, каждый из которых предназначен для передачи информации последовательными кодами в одном направлении. При этом реализуется полудуплексный режим с использованием протоколов типа запрос-ответ, и скорость передачи не превышает 200 Mb/s.

Для подключения периферийных устройств к ESCON-каналу используются соединения типа точка-точка, применяемые в сетевых технологиях на канальном уровне. Топология вариантов подключения к ESCON приведена на рис. 3.2. ESCON-канал типа CNC предусматривает как одиночные (рис. 3.2а), так и коммутируемые (switched point-to-point) подключения точка-точка (рис. 3.2б). В первом случае контроллер CU периферийного устройства подключается непосредственно к ESCON-каналу. Во втором случае для подключения нескольких CU к каналу используется коммутатор ESCON director (ESCD), позволяющий создавать соединения многих каналов со многими CU. Допускается каскадирование двух коммутаторов (рис. 3.2б) при условии, что соединение портов в одном из них является постоянным.

Укрупненная структурная схема ESCD приведена на рис. 3.3 [3.4]. Основу ESCD составляет переключательная матрица NxN, где N - число коммутируемых портов. Каждый из коммутируемых портов связан с одной ESCON-линией и содержит аппаратуру прямого и обратного преобразования оптических сигналов в электрические (Rx, Tx), мультиплексоров (MUX), демультиплексоров (DEMUX) для преобразования параллельных кодов в последовательные и наоборот. Принимаемые в порт фреймы информации содержат адреса источников и приемников информации, которые используются для управления переключательной матрицей. С этой целью в состав ESCD введен контроллер матрицы, который принимает от портов адреса и управляющую информацию и настраивает матрицу для связи соответствующих портов. В ESCD для коммутации используется технология in-band signaling, в соответствии с которой принимаемый в порт фрейм буферизуется на время приема адресов в контроллер матрицы и ее настройки на необходимое соединение. На такой случай каждый порт имеет буфер FIFO, емкости которого достаточно для размещения одного фрейма. Когда адресуемый фреймом выходной порт занят, в ESCD принят протокол, в соответствии с которым запрос на соединение не сохраняется и во входном порте формируется и передается в канал фрейм с информацией о занятости порта.

Для настройки ESCD используется внутренний управляющий порт, который может быть подключен к одному из портов для приема фреймов с необходимой для настройки информацией. Канал взаимодействует с управляющим портом, как с типовым контроллером периферийных устройств CU. Периферийным устройством для такого CU является процессор, также входящий в состав ESCD. Основная функция управляющего порта - обмен фреймами с каналом для настройки как самого порта, так и связанного с ним процессора.

Коммутатор ESCD позволяет соединить любые два порта, причем одновременно могут быть созданы до N/2 параллельно функционирующих соединений. Соединения могут быть двух типов:

Настойка портов на постоянные или динамические соединения выполняется при настройке ESCD путем создания в процессорной памяти соответствующих таблиц. Количество портов для модели IBM 9032 Model 5 ESCON Director приведено в таблице 3.3.

Помимо одиночных и коммутируемых CNC каналов в стандарте ESCON предусмотрены каналы CVC и CBY, позволяющие конвертировать ESCON-интерфейс в интерфейс соответственно блок-мультиплексного или байт-мультиплексного параллельного канала. Для этого используется ESCON-конвертер (рис. 3.4). Один ESCON-конвертер (например, IBM 9034, 34600 FXBT) позволяет подключить к ESCON-каналу до восьми контроллеров CU со стандартом параллельного канала.

Соединение канал-канал (CTC) для ESCON-каналов реализуется без дополнительных специальных устройств, однако требует настройки милликодами одного из ESCON-каналов на выполнение функций, связанных с межканальным обменом информацией. Эти функции подобны функциям контроллера CU периферийных устройств. CTC-соединения возможны через ESCD, при этом допускается число CTC-соединений, значительно большее, чем для параллельных каналов через MCCU.

Максимальная длина интерфейса ESCON определяется типом используемого оптического кабеля. Стандарт LED link основан на многомодовом оптоволокне и допускает максимальную длину интерфейса 3 км для оптоволокна диаметром 62,5 микрон и 2 км для оптоволокна диаметром 50 микрон. Стандарт XDF link использует одномодовое волокно и максимальная длина интерфейса в этом случае для кабеля 9 микрон составляет 20 км.

Для реализации ESCON используется многоуровневая архитектура, подобная модели сетевой архитектуры OSI, однако количество и функции уровней в них различны. Протоколы уровней ESCON не основаны на общепринятых стандартах и являются уникальными; они используются в серверах IBM. Общая модель архитектуры ESCON приведена на табл. 3.4. Канал исполняет команды CCW, в соответствии с которыми осуществляет обмен данными с основной памятью. На уровне устройств канал формирует и распаковывает фреймы (Device-Level Frames), предназначенные для передачи данных, команд, состояний, необходимых в операциях ввода-вывода с периферийным устройством. Для управления линиями ESCON используются уровень линий и фреймы (Link-Level Frames), в которых передается информация для настройки и управления функционированием линий. На физическом уровне реализуются преобразование электрических сигналов в оптические и обратно и их передача по оптическим кабелям.

В ESCON используются два основных типа форматов для обмена информацией:

Последовательности реализуются путем непрерывной передачи символа из 10 бит, который не встречается при передаче прикладных данных. Особые комбинации бит для таких символов возможны вследствие использования избыточного кодирования каждого передаваемого байта в 10-разрядные символы. Последовательности передаются узлом для индикации его особых состояний, например, порт ESCD передает такое сообщение при переходе в выключенное состояние.

Фреймы являются форматами для передачи данных и управления. Обобщенный формат фреймов приведен на рис. 3.5, где каждый символ представлен 10-разрядным словом, полученным путем кодирования соответствующего байта фрейма.

Начало (SOF) и конец (EOF) фрейма задаются соответственно двумя или тремя символами, не используемыми в других полях. Возможны два типа концевика SOF: "соединить", что означает создание соединения c адресуемым узлом, и "пассивный", предполагающий, что соединение уже создано ранее. Концевик EOF также принимает одно из двух значений: "рассоединить" для отключения линии и "пассивный" - для сохранения соединения.

Поля адреса источника (S_Addr) и адреса приемника (D_Addr) содержат однобайтный адрес узлов, участвующих в обмене. В тех случаях, когда в узлах помимо физических адресов используются логические адреса (4 бита), они также указываются в полях адресов. В случае применения коммутатора ESCON в полях адресов указываются номера входного и выходного портов коммутатора, через которые осуществляется обмен.

Поле управления линией ESCON (Link Cntr) содержит бит, определяющий тип фрейма. Если бит указывает на фрейм Link-Level, в остальных битах поля указывается действие, выполняемое с линией. При этом поле данных может содержать от 0 до 104 байт дополнительной управляющей информации. Для фрейма Device-Level остальные биты поля Link Cntr не используются, а в поле данных указывается от 4 до 1028 байт информации.

Формат поля данных для фрейма Device-Level показан на рис. 3.5. Поля идентификаторов IFI (Information Field Identifier), адреса устройства (Device address) и флагов DHF (Device-Header Flag) образуют заголовок поля данных. Идентификаторы поля данных IFI используются для указания типа фрейма и другой управляющей информации. Существует четыре типа фреймов: данные, команда, состояние, управление. Поле адреса устройства служит для указания адреса подключенного к CU периферийного устройства, которому предназначен фрейм. В тех случаях, когда обращение выполняется к CU, поле адреса не используется.

Флаги поля DHF используются для указания действий, выполняемых в соответствии с протоколами обмена. Поле данных DIB используется для передачи данных, команд, состояний, параметров управления и его формат зависит от типа фрейма. На рис. 3.6 приведен пример последовательности фреймов, передаваемых в ESCON-канале при выполнении CCW чтения.

Максимальная скорость передачи информации в ESCON-линии равна 200 Mb/s, что допускает с учетом кодирования 8 $$\to$$ 10 скорость передачи информации 20 Mb/s . Фактическая скорость обмена снижается за счет задержек между передачей фреймов и длины линии: 18,6 Mb/s (до 8 км); 17,6 Mb/s (до 9 км), 9 Mb/s (до 23 км). Скорость передачи в ESCON, равная скорости передачи в параллельном канале, достигается при длине ESCON до 60 км.

Последовательный канал FICON

Канал FICON впервые был использован в генерациях G5, G6 серверов S/390 и основан на ANSI стандарте Fibre Channel, введенном международным комитетом INCITS (International Committee of Technology Standards).

Стандарт Fibre Channel относится к сетевым технологиям и используется для подключения внешней памяти и периферийных устройств к центральным устройствам серверов [3.5, 3.6]. Система ввода-вывода на его основе представляет собой сеть, узлами которой являются серверы и контроллеры периферийных устройств (рис. 3.7). Каждый такой узел для связи с другими узлами системы содержит один или более портов, называемых N-портами. Для соединения узлов могут использоваться различные топологии: прямое и коммутируемое (в том числе с каскадированием коммутаторов) соединения точка-точка, кольцевые структуры с арбитражем (arbitrated loop), а также сложные коммутирующие сети (switch fabric), состоящие из соединенных между собой различных коммутирующих устройств S (коммутаторы, концентраторы, маршрутизаторы). При использовании кольцевых структур для соединения узлов применяются NL-порты. Для связи коммутаторов switch fabric между собой служат E-порты, а для подключения switch fabric к N-портам и NL-портам узлов предназначены, соответственно, F-порты и FL-порты коммутаторов.

Как и в ESCON, в FICON для передачи сигналов используется оптоволокно, однако обеспечивается скорость обмена 1 Gb/s (FICON) или 2 Gb/s (FICON-Express) и максимальная длина интерфейса до 100 км. Каждая линия FICON состоит из двух оптических кабелей, но в отличие от ESCON, где используется режим half-duplex, здесь реализуется полностью дуплексный режим обмена (full-duplex).

FICON-канал может функционировать в следующих режимах:

Канал FCV предназначен для подключения к контроллерам CU со стандартом ESCON (рис. 3.8). В этом случае FICON-канал подключается к ESCON коммутатору через мост FICON-ESCON, установленный в качестве порта в коммутаторе ESCON.

Канал FC является оригинальным вариантом FICON-канала и предусматривает топологии подключения, приведенные на рис. 3.9. Прямое (рис. 3.9а) и коммутируемое (рис. 3.9б) подключение точка-точка реализуется аналогично соответствующим вариантам подключения ESCON-каналов. Прямое подключение реализуется непосредственным соединением FICON-линией двух узлов через N-порты. Коммутируемое подключение реализуется с использованием FICON-коммутатора (FICON-switch), к которому узлы подключаются через F-порты.

FICON-switch реализован по технологии коммутации пакетов, в отличие от ESCON director, основанного на схемной коммутации. Каскадирование коммутаторов (рис. 3.9в) с целью создания многовариантных путей и объединения различных систем реализуется через E-порты и линию обменов между коммутаторами ISL.

Для FC-каналов возможно соединение канал-канал (FCTC). Как и в ESCON-каналах, необходимые в этом случае контроллеры CU для выполнения обменов реализуются в каналах в виде дополнительных функций на уровне милликодов.

Канал FCP основан на протоколах, разработанных комитетом INCITS, и предназначен для подключения CU периферийных устройств, функционирующих по протоколам FCP либо SCSI (Small Computer System Interface). Данные протоколы поддерживаются многими производителями, в том числе поставщиками устройств внешней памяти, что расширяет возможности классического подключения через IBM ESCON и FICON каналы. FCP-протокол является основой при построении сети для подключения памяти (Storage Area Network - SAN).

Варианты подключения FCP-канала приведены на рис. 3.10. Подключение выполняется посредством FICON-линии от одного из коммутаторов switch fabric к N-порту CU. Подключение к SCSI-устройству выполняется через дополнительный SCSI-мост. Различные типы такого моста могут использоваться для подключения SCSI разных стандартов (LVD, HVD и др.). Топология прямого подключения точка-точка и кольцевая топология arbitrated loop, предусмотренные стандартом Fibre Channel, в FCP-каналах FICON не используются.

FCP-канал может функционировать как в классическом варианте с исполнением канальных программ, так и в режиме прямого доступа с буферизацией (Queued Direct Input/Output - QDIO), реализуемого без исполнения канальных программ. Механизм QDIO основан на прямом доступе в память и организации взаимодействия операционной системы и канала через очереди сообщений.

Прямой доступ в память осуществляется путем прямого обращения канального микропроцессора в основную память сервера без выполнения канальной программы, что увеличивает пропускную способность вследствие более короткого пути доступа к памяти, уменьшения числа обращений в память для чтения CCW, прерываний и других эффектов.

Для обмена сообщениями в памяти используются две очереди: очередь запросов (request queue) и очередь ответов (response queue). Каждая пара очередей соответствует коммуникационному пути между операционной системой и FCP-каналом. Это позволяет операционной системе передавать запросы к FCP-каналу путем их загрузки в очередь запросов, а FCP-каналу - передавать ответные сообщения через очередь ответов. Организация обменов через очереди в памяти позволяет увеличить пропускную способность канала за счет уменьшения задержек в циклах запрос-ответ.

Функционирование FICON-каналов определяется многоуровневой архитектурой и протоколами стандарта Fibre Channel. Общая модель архитектуры FICON включает пять уровней (табл. 3.5), которые могут быть соотнесены с уровнями OSI.

Уровень FC-0 FICON определяется протоколом FC-PI и задает физический интерфейс и его использование для передачи информации. В качестве физической среды передачи применяется оптоволокно с соответствующими приемниками, передатчиками, повторителями и преобразователями. Для надежной передачи в передаваемых последовательностях за счет кодирования обеспечивается чередование нулей и единиц. На этом уровне также задается скорость передачи.

Уровень передачи FC-1 основан на протоколе FC-FS и реализует преобразование 8 бит $$\to$$ 10 бит, при котором каждому 8-разрядному коду EBCDIC ставится в соответствие уникальный 10-разрядный символ для передачи на физический уровень. На уровень FC-0 передаются два возможных варианта символа, из которых выбирается один, отличающийся от предыдущего переданного символа в граничных разрядах. Неиспользуемые при кодировке значения символов применяются в качестве служебных. Обратное декодирование принимаемых символов также реализуется на уровне FC-1.

На уровне FC-2, построенном на основе протокола FC-FS, выполняется форматирование передаваемой информации и реализуется взаимная сигнализация в процессе передачи данных между узлами. Протокол определяет форматы сообщений, их иерархию и последовательность передачи для обмена информацией между приложениями и периферийными устройствами, выполняющими операции ввода-вывода. Основными единицами информации в сообщениях являются слова, фреймы (или кадры), пакеты (sequences) и обмены (exchanges).

Слово является минимальной единицей информации, используемой во всех типах сообщений. Пересылка данных осуществляется фреймами, состоящими из служебных символов и информационных полей, структурированных словами. Фрейм является базовым типом сообщений разных уровней архитектуры FICON, объединяемых в одном формате путем инкапсуляции. Последовательность из одного или нескольких фреймов, передающих блок информации, называется пакетом. Фреймы пакета при передаче через коммутирующую сеть могут поступать в приемник в произвольной последовательности, но в приемнике восстанавливается их первоначальная последовательность. Группа фреймов, обеспечивающая выполнение операции, заданной приложением, называется обменом. Одновременно в канале может осуществляться несколько обменов, фреймы которых передаются поочередно. Каждый порт узла рассчитан на запуск и поддержку до 64 тысяч операций обмена и одновременно способен отвечать и поддерживать еще 64 тысяч обменов. В узлах FICON выполняется сортировка фреймов "на лету" по адресной информации, включенной в формат фрейма.

Обобщенный формат фрейма FICON представлен на рис 3.11. Фрейм имеет типовую структуру, включающую 4-байтные концевики SOF и EOF, 24-байтный заголовок и 4-байтный контрольный код CRC. Поле данных может иметь длину от 0 до 2112 байтов и предназначено для размещения заголовков и полей данных сообщений с более высоких уровней архитектуры. С двух сторон фрейм ограничен шестью пустыми (idle) символами, необходимыми для правильного приема фреймов в случае расхождения частот передающего и принимающего узлов.

Формат заголовка фрейма FC-2 включает (рис. 3.11):

Поле данных может иметь длину от 0 до 2112 байт и предназначено для размещения фрейма верхнего прикладного уровня, соответствующего протоколу FC-SB2, SCSI и др.

Уровень FС-3 зарезервирован для будущих расширений архитектуры FICON для организации совместной работы нескольких портов на одном узле и обеспечения для них общих видов сервиса.

Уровень FC-4 реализует взаимодействие с протоколами верхнего уровня ULP (Upper Level Protocol), например SCSI, IPI, IEEE 802, IP и ATM, и выполнение требуемых операций ввода-вывода с периферийными устройствами. Базовым протоколом уровня является протокол FC-SB2, формирующий фреймы для инкапсуляции в поле данных фрейма уровня FC-2. Информация, связанная с выполнением операций ввода-вывода и формируемая на уровне FC-4, передается в виде информационных блоков IU (Information Unit). Блоки IU включают команды, данные, состояния и управление для установления связи и обмена информацией с периферийными устройствами. На рис. 3.11 показан формат фрейма FC-SB2. Блоки IU размещаются в поле данных фрейма DIB, имеющем переменную длину, с использованием следующих дополнительных полей:

Прикладная программа инициирует операцию ввода-вывода путем формирования блока управления устройством UCB (Unit Control Block) и инициализации запроса к супервизору ввода-вывода IOS (Input Output Supervisor). При этом указывается канальная программа, реализующая операцию ввода-вывода, и блок запроса операции ORB, размещаемый в очереди в UCB. IOS обрабатывает запрос из UCB и исполняет команду SSCH, которая сигнализирует подсистеме ввода-вывода CSS о начале операции. Далее выбирается FICON-канал, который исполняет заданную канальную программу. В выбранном канале формируются фреймы, передающие информационные блоки IU. Отличительной особенностью выполнения CCW в FICON-канале по сравнению с ESCON-каналом является передача команд каждого CCW в CU без получения сообщения от CU с подтверждением завершения выполнения команды в устройстве. Такое подтверждение передается только после исполнения последнего CCW канальной программы, что уменьшает общее число передаваемых фреймов и сокращает время исполнения операции ввода-вывода.

Максимально возможная длина линий FICON зависит от типа оптоволокна и трансиверов. В таблице 3.6 приведена допустимая длина линий без повторителей. Использование повторителей увеличивает длину до 100 км.

Максимальная фактическая скорость передачи информации в FICON-линии составляет 1 Gb/s и с учетом избыточного кодирования 8 $$\to$$ 10, служебных символов, дополнительных управляющих и контрольных кодов не превышает 100 Mb/s , что обеспечивает для полнодуплексного обмена скорость до 200 Mb/s.

Каналы Coupling Link

Каналы Coupling Link предназначены для организации соединений между серверами при построении многомашинных комплексов, в том числе кластера Parallel Sysplex (см. раздел 4). Основными типами линий Coupling Link являются (рис. 3.12):

Для функционирования каналов предусмотрены два режима. Режим Peer впервые был использован для моделей z900 и предназначен для объединения серверов этой и последующих моделей. Режим предусматривает передачу и прием информации по одной линии и обеспечивает до семи буферов. Режим Compatibility обеспечивает обмен между серверами z9ХХ, z8ХХ и северами S390 G5/G6.

Внутренние каналы IC обеспечивают высокоскоростной обмен между LPAR, функционирующими в одном сервере. Это "беспроводное" соединение реализуется на уровне милликодов. Обмен через IC-канал выполняется путем пересылок память-память, что обеспечивает более высокую скорость, чем у каналов на основе физических линий. В серверах z9ХХ, z8ХХ канал IC функционирует в режиме Peer и определен как канал ICP. В серверах S390 G5/G6 для внутренних соединений используется два типа каналов: для передающего LPAR - канал ICS, а для принимающего - ICR.

Каналы ICB подключаются к интерфейсу STI (рис. 3.12) и обеспечивают наиболее скоростное физическое соединение серверов. Такие соединения реализуются с использованием следующих типов линий:

Длина линий ICB ограничена параметрами интерфейса STI и не превышает 10 м, а с учетом изгибов - 7 м.

Канал типа CBP функционирует в режиме Peer, встроен в аппаратуру интерфейса STI и реализуется с использованием линий ICB-4 либо ICB-3. Каналы CBS (передающий) и CBR (принимающий) задействуют линию ICB-2 и режим Compatibility.

Межсистемные каналы ISC используют канальную аппаратуру, подобную ESCON и FICON, и оптические линии ISC, рассчитанные на обмен со скоростью 1 Gb/s или 2 Gb/s и на максимальную длину без повторителей до 10 км (до 20 км с дополнительными усилителями). Канал CFP функционирует в режиме Peer, использует линию ISC-3, обеспечивающую скорости 2 Gb/s или 1 Gb/s в зависимости от расстояния, и может быть применен в серверах z9хх, z8хх. Каналы CFS (передающий) и CFR (принимающий) функционируют в режиме Compatibility и используют линии ISC-3(1 Gb/s ) в серверах z9ХХ, z8ХХ либо линии HiPerLink ISC-2 (1 Gb/s ) в серверах S390 G5/G6.

Параметры линий Coupling Link приведены в таблице 3.7 [3.1]. Примеры использования каналов Coupling Link рассмотрены в главе 4.

Адаптеры открытых систем

Адаптеры OSA (Open System Adapter) предназначены для прямого подключения серверов zSeries к сетям, построенным на основе стандартных технологий Ethernet, Token Ring, ATM, FDDI. Разработаны адаптеры двух типов [3.7, 3.8]:

Адаптеры OSA реализуются в виде канального устройства с использованием одного из двух вариантов организации:

Более подробно возможности адаптеров OSA-2, OSA-Express описаны в главе 4. На рис. 3.13 показано быстродействие всех типов физических линий, используемых в серверах zSeries, по сравнению с широко применяемыми сетевыми стандартами.

Гиперсокеты

Гиперсокеты HiperSockets [3.9], как и внутренние IC-каналы Coupling Link, реализуют "беспроводное" соединение на уровне милликодов и предназначены для организации обменов между виртуальными LPAR-серверами, находящимися в одном сервере zSeries. Обмен осуществляется путем пересылок память-память. Основное назначение гиперсокетов - организация высокоскоростных внутрисерверных "логических" сетей TCP/IP. Канал гиперсокет имеет идентификатор CHPID типа IQD и конфигурируется подобно каналу OSA-Express с использованием внутреннего режима QDIO (iQDIO). Более подробно применение гиперсокетов рассмотрено в главе 4.