Конструктивные и технологические особенности
Конструкция серверов
Общий принцип конструктивного исполнения серверов zSeries пояснен на рис. 2.30. Схемотехническую базу серверов образует набор чипов, реализующих различные узлы и устройства. Основными чипами являются процессорный чип PU, чипы КЭШ-памяти L2 SD, системного контроллера SC, адаптера памяти MBA, контроллера памяти MSC и др. Процессорный чип z990 имеет размер 14,1x18,9 мм и содержит 122 млн. транзисторов, для чипа SD эти параметры равны соответственно 17,5x17,5 мм и 521 млн. транзисторов.
Чипы, необходимые для построения процессорного ядра сервера, объединяются в составе многочипового модуля MCM (Multichip Module) [2.23, 2.24]. MCM представляет собой многослойную подложку, на верхнем слое которой размещается необходимый набор чипов, а межсоединения выполняются в нескольких нижележащих слоях. Слои межсоединений реализуются с использованием стеклокерамических подложек, обеспечивающих время распространения сигналов 7,8 ps/mm. При этом в каждом слое межсоединений используется трехуровневая (triplate) структура, состоящая из двух слоев ортогональных проводников (X, Y слои) и слоя питания или земли. В нижней части MCM устанавливается разъем PGA (Pin Grid Array) с необходимым количеством контактов (5184 контакта для MCM z990), выполненный по технологии IBM high density aria connection (Harcon). Нагревание MCM контролируется несколькими термисторами с использованием охлаждающей системы.
Технические характеристики модулей MCM приведены в таблице 2.33, а на рис. 2.31 показаны количество и размещение чипов в MCM для некоторых моделей серверов. В серверах z990 четыре из восьми процессорных чипов содержат по два процессора PU (dual core), имеющих общий интерфейс с системным контроллером SC и КЭШ L2. Остальные четыре процессорных чипа содержат по одному процессору, что обеспечивает до 12 процессоров в одном MCM. В случае отказа одного из сдвоенных процессоров второй процессор также останавливается, и оба процессора запускают диагностические процедуры.
Следующим конструктивным уровнем серверов является плата центрального электронного комплекса CEC (Cenral Electronic Complex) или CPC, объединяющая модули MCM, памяти и интерфейса с подсистемой ввода-вывода. На рис. 2.32 слева приведен CEC серверов z900, представляющий собой многослойную печатную плату размером 553x447 мм с 10 сигнальными слоями и 24 слоями питания и земли. Модули размещаются на плате CEC с двух сторон, что обеспечивает более плотную упаковку. Как и в MCM, в CEC используется технология triplate для уменьшения взаимных электромагнитных помех между слоями.
Установка платы CEC выполняется двумя способами. В серверах z900 и более ранних моделях один комплекс CEC размещается в процессорном каркасе (cage), содержащем также системы питания, вентиляции и управления системой. Второй вариант, использованный в серверах z990, z890, допускает установку нескольких CEC, каждый из которых выполняется в виде отдельного конструктивного блока (book), содержащего собственно CEC и вспомогательные системы питания, вентиляции и управления (см. рис. 2.32, справа). Для защиты от электромагнитных помех блок полностью закрыт металлическим кожухом и имеет габаритные размеры 56x14 см и вес 32 кг. Для объединения блоков используется центральная плата, имеющая с одной стороны четыре слота для подключения до четырех блоков CEC, а с другой - восьми слотов для установки вторичных источников питания.
Для размещения процессорного каркаса и каркасов ввода-вывода используются шкафы (frame). На рис. 2.33 приведено условное изображение шкафов и их наполнения, используемых в серверах z990, z890. В состав сервера входят два шкафа: A frame для размещения процессорного каркаса и одного каркаса ввода-вывода и Z frame, для установки двух дополнительных (по выбору) каркасов ввода-вывода. Габаритные размеры шкафов равны 154x158x194 см, а вес - 790 кг (A) и 767 кг (Z). Шкаф Z входит в конфигурацию всегда, даже при отсутствии второго и третьего каркасов ввода-вывода, так как в этом шкафу располагаются первичные источники питания, формирующие постоянное напряжение 350 в. Для повышения надежности питания предусмотрено подключение сервера к двум внешним фидерам трехфазного напряжения. Постоянное напряжение 350 в разводится по шкафам для подачи на вторичные источники питания (на рисунке не показаны), находящиеся в каждом из каркасов. В верхней части шкафов размещены батареи IBF (Integrated Battery Function), обеспечивающие питание сервера в случае отключения внешнего питания.
Каркасы ввода-вывода подключены к процессорному каркасу посредством STI-интерфейсов и содержат 32 слота для подключения адаптеров STI (четыре слота) и ввода-вывода (28 слотов), а также вторичные источники, необходимые для их питания. К каркасу ввода-вывода может быть подключено до семи STI-интерфейсов, каждый из которых обеспечивает связь с доменом из четырех слотов. Адаптеры ввода-вывода, устанавливаемые в слотах, обеспечивают различные типы каналов для подключения периферийных устройств (ESCON, FICON Express, Fast Ethernet, Gigabit Ethernet, High Speed token ring, 1000BaseT Ethernet) и межсистемного обмена (ICB-4, ICB-3, ICB(ICB-2), ISC-3, IC). В слоты ввода-вывода также могут быть установлены криптографические процессоры (PCICA PCIXCC).
Для охлаждения блоков сервера используется две системы MCU (Modular Cooling Unit ), в состав которых входят жидкостная холодильная установка MRU (Modular Refrigeration Unit), предназначенная для охлаждения MCM модулей, и система воздушного охлаждения для остальных модулей и каркасов. Каждая из двух систем MRU охлаждает MCM одного или двух блоков book. При недопустимом повышении температуры MCM автоматически снижается частота синхронизации, что ведет к уменьшению выделяемой мощности. Воздушная система охлаждения включает ряд вентиляторов с регулируемой скоростью подачи воздушной струи в зависимости от температуры модулей. При отказе MRU включаются запасные вентиляторы воздушного охлаждения.