Конструктивные и технологические особенности

Конструкция серверов

Общий принцип конструктивного исполнения серверов zSeries пояснен на рис. 2.30. Схемотехническую базу серверов образует набор чипов, реализующих различные узлы и устройства. Основными чипами являются процессорный чип PU, чипы КЭШ-памяти L2 SD, системного контроллера SC, адаптера памяти MBA, контроллера памяти MSC и др. Процессорный чип z990 имеет размер 14,1x18,9 мм и содержит 122 млн. транзисторов, для чипа SD эти параметры равны соответственно 17,5x17,5 мм и 521 млн. транзисторов.

Чипы, необходимые для построения процессорного ядра сервера, объединяются в составе многочипового модуля MCM (Multichip Module) [2.23, 2.24]. MCM представляет собой многослойную подложку, на верхнем слое которой размещается необходимый набор чипов, а межсоединения выполняются в нескольких нижележащих слоях. Слои межсоединений реализуются с использованием стеклокерамических подложек, обеспечивающих время распространения сигналов 7,8 ps/mm. При этом в каждом слое межсоединений используется трехуровневая (triplate) структура, состоящая из двух слоев ортогональных проводников (X, Y слои) и слоя питания или земли. В нижней части MCM устанавливается разъем PGA (Pin Grid Array) с необходимым количеством контактов (5184 контакта для MCM z990), выполненный по технологии IBM high density aria connection (Harcon). Нагревание MCM контролируется несколькими термисторами с использованием охлаждающей системы.

Технические характеристики модулей MCM приведены в таблице 2.33, а на рис. 2.31 показаны количество и размещение чипов в MCM для некоторых моделей серверов. В серверах z990 четыре из восьми процессорных чипов содержат по два процессора PU (dual core), имеющих общий интерфейс с системным контроллером SC и КЭШ L2. Остальные четыре процессорных чипа содержат по одному процессору, что обеспечивает до 12 процессоров в одном MCM. В случае отказа одного из сдвоенных процессоров второй процессор также останавливается, и оба процессора запускают диагностические процедуры.

Следующим конструктивным уровнем серверов является плата центрального электронного комплекса CEC (Cenral Electronic Complex) или CPC, объединяющая модули MCM, памяти и интерфейса с подсистемой ввода-вывода. На рис. 2.32 слева приведен CEC серверов z900, представляющий собой многослойную печатную плату размером 553x447 мм с 10 сигнальными слоями и 24 слоями питания и земли. Модули размещаются на плате CEC с двух сторон, что обеспечивает более плотную упаковку. Как и в MCM, в CEC используется технология triplate для уменьшения взаимных электромагнитных помех между слоями.

Установка платы CEC выполняется двумя способами. В серверах z900 и более ранних моделях один комплекс CEC размещается в процессорном каркасе (cage), содержащем также системы питания, вентиляции и управления системой. Второй вариант, использованный в серверах z990, z890, допускает установку нескольких CEC, каждый из которых выполняется в виде отдельного конструктивного блока (book), содержащего собственно CEC и вспомогательные системы питания, вентиляции и управления (см. рис. 2.32, справа). Для защиты от электромагнитных помех блок полностью закрыт металлическим кожухом и имеет габаритные размеры 56x14 см и вес 32 кг. Для объединения блоков используется центральная плата, имеющая с одной стороны четыре слота для подключения до четырех блоков CEC, а с другой - восьми слотов для установки вторичных источников питания.

Для размещения процессорного каркаса и каркасов ввода-вывода используются шкафы (frame). На рис. 2.33 приведено условное изображение шкафов и их наполнения, используемых в серверах z990, z890. В состав сервера входят два шкафа: A frame для размещения процессорного каркаса и одного каркаса ввода-вывода и Z frame, для установки двух дополнительных (по выбору) каркасов ввода-вывода. Габаритные размеры шкафов равны 154x158x194 см, а вес - 790 кг (A) и 767 кг (Z). Шкаф Z входит в конфигурацию всегда, даже при отсутствии второго и третьего каркасов ввода-вывода, так как в этом шкафу располагаются первичные источники питания, формирующие постоянное напряжение 350 в. Для повышения надежности питания предусмотрено подключение сервера к двум внешним фидерам трехфазного напряжения. Постоянное напряжение 350 в разводится по шкафам для подачи на вторичные источники питания (на рисунке не показаны), находящиеся в каждом из каркасов. В верхней части шкафов размещены батареи IBF (Integrated Battery Function), обеспечивающие питание сервера в случае отключения внешнего питания.

Каркасы ввода-вывода подключены к процессорному каркасу посредством STI-интерфейсов и содержат 32 слота для подключения адаптеров STI (четыре слота) и ввода-вывода (28 слотов), а также вторичные источники, необходимые для их питания. К каркасу ввода-вывода может быть подключено до семи STI-интерфейсов, каждый из которых обеспечивает связь с доменом из четырех слотов. Адаптеры ввода-вывода, устанавливаемые в слотах, обеспечивают различные типы каналов для подключения периферийных устройств (ESCON, FICON Express, Fast Ethernet, Gigabit Ethernet, High Speed token ring, 1000BaseT Ethernet) и межсистемного обмена (ICB-4, ICB-3, ICB(ICB-2), ISC-3, IC). В слоты ввода-вывода также могут быть установлены криптографические процессоры (PCICA PCIXCC).

Для охлаждения блоков сервера используется две системы MCU (Modular Cooling Unit ), в состав которых входят жидкостная холодильная установка MRU (Modular Refrigeration Unit), предназначенная для охлаждения MCM модулей, и система воздушного охлаждения для остальных модулей и каркасов. Каждая из двух систем MRU охлаждает MCM одного или двух блоков book. При недопустимом повышении температуры MCM автоматически снижается частота синхронизации, что ведет к уменьшению выделяемой мощности. Воздушная система охлаждения включает ряд вентиляторов с регулируемой скоростью подачи воздушной струи в зависимости от температуры модулей. При отказе MRU включаются запасные вентиляторы воздушного охлаждения.

Система управления сервером

Система управления (администрирования) сервером основана на использовании внутрисерверных локальных сетей, узлами которых являются специальные элементы - процессоры поддержки FSP (Flexible Support Processors) [2.25]. В некоторых моделях они называются контроллерами каркасов CC (Cage Control). FCP построен на основе микропроцессора Power PC и подключен, с одной стороны - к внутренней сети сервера, а с другой - обеспечивает интерфейс SSI (subsystem interface) c управляемым модулем сервера. Интерфейс SSI определяется типом модуля и может состоять из нескольких последовательных интерфейсов и отдельных управляющих линий. Различные компоненты сервера содержат FCP, обеспечивая требуемую полноту контроля и управления сервером.

Структура системы управления сервером приведена на рис. 2.34. В системе используются две внутренние сети Ethernet, подключенные к основному и альтернативному элементам поддержки SE (Support Element). Оба элемента SE устанавливаются в шкафу Z, и активен всегда только один из них. Каждый SE реализован на ноутбуке ThinkPad и имеет два сетевых адаптера Ethernet или Token Ring для подключения к внутренним сетям. Возможно переключение SE с одной внутренней сети на другую. Процедуры управления сервером выполняются путем передачи из SE в FSP сообщений с командами для различных модулей сервера. FSP шаг за шагом выполняет требуемые операции с подключенным к нему модулем и формирует сообщение в SE с результатами выполнения команды.

Элементы поддержки в свою очередь соединены с одной или несколькими внешними сетями Ethernet или Token Ring для подключения к консолям управления HMC (Hardware Management Consoles). Возможно удаленное подключение HMC. Консоль представляет собой рабочую станцию на основе ПЭВМ с операционной средой OS/2 и коммуникационным сервером, в которой исполняются приложения HMCA (HMC application), удаленного управления системами и др. Управление сервером обычно осуществляется через HMC путем передачи команд в элементы SE, в то же время при необходимости управление сервером может выполняться из любого SE. Одна консоль HMC может управлять до 100 SE, и каждый элемент SE может получать команды от 32 HMC.

Основными функциями HMC являются контроль состояния модулей сервера и выполнение управляющих процедур для модернизации, восстановления и других операций с модулями. Контроль состояния модулей осуществляется непрерывно для выявления ситуаций, требующих выполнения процедур HMC. Обычно такие ситуации являются следствием отказов в дублирующих каналах модулей и требуют реакции от HMC до наступления следующего отказа (отказ каналов источников питания, отсутствие резервных PU и т.п.). Периодичность контроля может быть постоянной (например, два раза в день при зеркалировании состояния системы из основного в альтернативный SE) или определяется выполнением специальных процедур (первоначальная загрузка милликода, завершение восстановления и др.).

HMC и SE обеспечивают выполнение следующих функций:

Изменения, связанные с восстановлением и конфигурированием, могут выполняться различными способами:

Большинство процедур восстановления или конфигурирования выполняется либо автоматически, либо в фоновом режиме.

Процессоры серверов zSeries допускают конфигурирование загрузкой управляющих милликодов LIC-CC (LIC-Configuration Control). Каждый из процессоров, находящихся в MCM, может выполнять функции следующих типов процессоров.

Серверы zSeries допускают конфигурацию (upgrade) двух типов: добавление аппаратных средств (процессоров, памяти, каналов ввода-вывода) и реконфигурация (в том числе фоновая) за счет имеющихся в сервере резервных средств. Реконфигурация может быть плановой и неплановой. К плановым относятся следующие виды реконфигурации:

Неплановая реконфигурация CBU (Capacity BackUp) предназначена для временного подключения процессоров CP в случае потери производительности вследствие аварийных ситуаций и не может быть использована для преодоления пиковых нагрузок сервера. Автоматическая реконфигурация CBU возможна при наличии резервных PU и разрешается после заключения контракта и загрузки в сервер специального кода.