Поставка, монтаж и первичное тестирование кластера
Последовательность сборки можно описать следующим образом.
- Установить в каждую стойку UPS и подключить блоки розеток.
- Привинтить рельсы для всех узлов к стойке. Нами были заранее определены позиции узлов в стойке, чтобы в дальнейшем их не пришлось бы перемещать выше или ниже.
- Выделить в комнате место для узлов, в которые уже вставлен процессор и плата InfiniBand.
- Порядок операций с каждым узлом:
- Установить узлы в стойки.
- Установить коммутаторы в стойку.
- Подключить узлы к UPS.
- Соединить узлы сервисной сетью.
- Подключить узлы к коммутатору Ethernet.
- Подключить узлы к коммутатору InfiniBand.
Обратите внимание, что для каждого узла нам пришлось иметь дело с 19 винтами и целым множеством операций типа открутить/закрутить: 2 винта у крышки узла, 1 винт отвинтить от заглушки платы и завинтить его уже с платой, 2 винта открутить от заглушки процессора и завинтить их с радиатором, 8 винтов ушло на крепление рельсов в стойке, 4 - на крепление направляющих. Если фиксировать узлы в стойке, то нужно добавить ещё 2 винта. Столь детальный подсчет, возможно, и вызвал улыбку, однако из расчёта 80 узлов получим почти 2000 (!) операций завинчивания и отвинчивания. Советуем очень аккуратно сопоставить свои возможности с трудоемкостью всех операций по сборке кластера, что особенно актуально для больших конфигураций. Кластер СКИФ Cyberia - это 283 узла со всеми вытекающими отсюда последствиями для монтажа и сборки.
Операция установки процессора и радиатора очень тонкая, так как легко повредить процессор. Чуть криво поставленный радиатор при закреплении может просто расколоть керамическую основу процессора, поэтому выполнять эту операцию нужно чрезвычайно аккуратно.
Несмотря на большую площадь помещения, при сборке неожиданно выяснилось, что очень трудно разместить в одном месте все имеющиеся коробки с оборудованием, уже собранные узлы, коробочки с процессорами и платами InfiniBand, а также пустые коробки и образующийся мусор. А расположить все это так, чтобы было еще и удобно работать - почти невозможно.
Для ускорения работы сначала во все узлы были установлены процессоры и платы InfiniBand, а затем все узлы были установлены в стойки. На каждый узел уходило от 15 до 25 минут, поэтому, даже работая вдвоём, на сборку всех узлов ушло более двух рабочих дней. Очень помогло использование аккумуляторных шуруповёртов. Узлы устанавливались вдвоём, для установки узлов в верхней части стоек не лишней оказалась стремянка. Монтаж каждого UPS смогли выполнить только втроём: использованные в нашем случае UPS HP R12000 RX вместе с батареями весили 220 кг каждый. Столь внушительный вес не является уникальной особенностью именно этой модели, источники бесперебойного питания всегда являются одной из самых тяжелых частей кластерной системы. Вес каждого устройства АРС Smart-UPS 2200 VA RM в другом проекте составил почти 44 кг.
Схема проводки электричества и коммуникационных сетей была продумана заранее. Силовые электрические кабели и кабели управляющей сети укладывались вдоль противоположных боковых стенок стоек во время прикручивания рельсов в стойки.
Для подведения электричества от UPS к распределительному блоку потребовался кабель, способный длительно выдерживать ток в 50 А. Увы, выяснилось это только в процессе сборки кластера, так как устройство стойки не было изучено заранее. Да к тому же для аккуратной укладки купленного позднее кабеля нужного сечения пришлось открутить какое-то число уже установленных рельсов.
Перед покупкой кабеля рассчитывалось его сечение, для чего воспользовались данными из таблицы 4.1: для трехжильного (земля, ноль, фаза) медного кабеля получили значение 10 мм2. Заметим, что для проводки внутри стоек необходимо пользоваться последними пятью колонками таблицы.
Питание к самим UPS было подведено заранее с привлечением специалиста. Подключение батарей и блоков логики в HP R12000 делается по строгой схеме, поэтому нельзя просто вставить все блоки внутрь и подключить нагрузку. После установки батарей, была запущена программа самотестирования, которая работала несколько десятков минут. До окончания ее работы никакой нагрузки к UPS подключать нельзя. Читайте инструкции!
| Сечение жилы, мм | Ток, A, для проводов, проложенных | |||||
|---|---|---|---|---|---|---|
| открыто | в одной трубе | |||||
| двух одно-жильных | трех одно-жильных | четырех одно-жильных | одного двух-жильного | одного трех-жильного | ||
| 1 | 17 | 16 | 15 | 14 | 15 | 14 |
| 1,2 | 20 | 18 | 16 | 15 | 16 | 14,5 |
| 1,5 | 23 | 19 | 17 | 16 | 18 | 15 |
| 2 | 26 | 24 | 22 | 20 | 23 | 19 |
| 2,5 | 30 | 27 | 25 | 25 | 25 | 21 |
| 3 | 34 | 32 | 28 | 26 | 28 | 24 |
| 4 | 41 | 38 | 35 | 30 | 32 | 27 |
| 5 | 46 | 42 | 39 | 34 | 37 | 31 |
| 6 | 50 | 46 | 42 | 40 | 40 | 34 |
| 8 | 62 | 54 | 51 | 46 | 48 | 43 |
| 10 | 80 | 70 | 60 | 50 | 55 | 50 |
| 16 | 100 | 85 | 80 | 75 | 80 | 70 |
| 25 | 140 | 115 | 100 | 90 | 100 | 85 |
| 35 | 170 | 134 | 125 | 115 | 125 | 100 |
| 50 | 215 | 185 | 170 | 150 | 160 | 135 |
| 70 | 270 | 225 | 210 | 185 | 195 | 175 |
| 95 | 330 | 275 | 255 | 225 | 245 | 215 |
| 120 | 385 | 315 | 290 | 260 | 295 | 250 |
| 150 | 440 | 360 | 330 | - | - | - |
После узлов в стойки устанавливались коммутаторы InfiniBand и Ethernet. Всё оборудование сразу подключалось к работающим UPS, так как кабели питания были проложены заранее. Далее были проложены кабели InfiniBand и транспортной сети Ethernet.
В каждый узел приходит четыре кабеля: транспортный и сервисный Ethernet, InfiniBand, электропитание. Это означает, что всего было проложено более 320 кабелей, коммутировано более 640 разъёмов. Чтобы элементарно не запутаться в таком количестве разъёмов и кабелей, использовались Ethernet-кабели различного цвета, а также маркировка разъёмов. Для организации кабелей пришлось использовать более 200 пластиковых стяжек.
Такова реальная последовательность шагов, такова примерная трудоемкость. Хотите ли делать это самостоятельно, можете ли сделать это самостоятельно, целесообразно ли делать это самостоятельно или все же имеет смысл обратиться к профессионалам - решайте сами, оценив особенности своего проекта, свои технические, финансовые, кадровые и временные ресурсы. Оценивайте не абстрактно, а с точки зрения будущего использования кластера как инструмента решения конкретных задач.
Итак, оборудование собрано, и осталось его оживить. Без необходимого программного обеспечения это всего лишь красивый и внушительный монумент, однако, именно на этой основе будет создаваться полноценный, удобный и функциональный инструмент - вычислительный кластер. В последующих разделах данной работы мы обсудим вопросы установки и настройки операционной системы, систем и сред параллельного программирования, тестирование кластерной системы и определение характеристик ее работы, состав вспомогательных инструментов, вопросы использования специализированных прикладных пакетов.