Базовая инфраструктура будущего проекта
Следующим необходимым для аккуратного расчета параметром является электропитание. Подсчитайте мощность, потребляемую всеми узлами кластера и сопутствующими компонентами проекта (источниками бесперебойного питания, файловым хранилищем, коммутаторами и т.п.). Проконсультируйтесь с главным инженером, как обеспечить соответствующее электропитание размещаемого оборудования. Скорее всего, придется сделать дополнительную проводку. Если будете устанавливать мощные источники бесперебойного питания, то для них потребуется специальная проводка, так как в обычные розетки они не включаются. Проверяйте характеристики устанавливаемого оборудования: оборудование ставится мощное, стандартные и привычные решения могут уже и не работать. Например, обычная электрическая розетка рассчитана примерно на 16 ампер, т.е. примерно на 3,5 кВт, больше оборудования на нее вешать нельзя.
Обратите внимание, что, меняя компоновку вычислительных узлов, их архитектуру, состав, степень отказоустойчивости, производителей, можно изменить энергопотребление всей кластерной установки в несколько раз. Стоит обратить особое внимание на новые модели процессорных платформ, которые при большей производительности по сравнению с существующими вариантами, как правило, имеют пониженное энергопотребление. Например, стоечный сервер С1000 от компании Rackable Systems, представленный в формате 1 U на базе двух четырехядерных процессоров Intel Xeon E5345 с частотой 2,33 ГГц, потребляет всего 290 Вт при пиковой производительности 74,5 Гфлопс. В последнее время характеристика "производительность на ватт" многими принимается в расчет, и свобода выбора существует большая.
Важна не только подводимая мощность электропитания, но также его надежность и гарантированное качество, особенно для систем, работающих в круглосуточном режиме. Во многих случаях все диктуется существующими возможностями здания и его инженерных коммуникаций. Очень хороший вариант - это обеспечить поступление питания к кластеру от разных электроподстанций. Установите силовую автоматику, которая обеспечит автоматическое переключение с одной подстанции на другую при возникновении аварийной ситуации. Подключите кластер через источники бесперебойного питания (UPS). Они сгладят незначительные скачки напряжения, обеспечат стабильную работу вычислительной системы при кратковременных перебоях питания и позволят кластеру нормально завершить работу при отсутствии питания в течение длительного времени.
Ставить или нет источники бесперебойного питания, каждый решает для себя сам. Это сильно зависит от места установки, конкретных условий эксплуатации кластера, предъявляемых к нему требований. Расскажем лишь один пример из нашей практики. Организация поставила у себя вычислительную систему, но от UPS отказались, аргументируя высокой стабильностью питания. Какое-то время работали без проблем, но через некоторое время система стала останавливаться по непонятным причинам. Начали разбираться и сразу обратили внимание на то, что аварийные остановки происходят приблизительно в одно и тоже время. Выяснили причину остановок - сильные скачки напряжения. Провели расследование происходящего и поразились нелепости возникшей ситуации. В организации открыли столовую, в которой мощные электроплиты для приготовления пищи оказались в той же сети, что и вычислительная система. Утром плиты включали, а вечером выключали приблизительно в одно и тоже время, отсюда и регулярность бросков напряжения. Пока выясняли источник проблем, несколько недель использовать систему было невозможно.
Тщательно продумайте способ прокладки кабелей и их подведения к розеткам, UPS и другому оборудованию (рис. 2.2). Как правило, обычного розеточного удлинителя для питания кластера недостаточно. Пучки подводимых кабелей будут весьма внушительными, без должной укладки провода будут путаться, спотыкаться об них будет и неприятно, и опасно. Вопрос внешнего вида этого клубка оставим в стороне и обсуждать не будем. Обратите внимание на сечение используемой проводки, площадь которого зависит от мощности проектируемой кластерной системы.
Если помещение позволяет, то рекомендуем использовать фальшпол для подведения электропитания. Кроме фальшпола есть вариант использования навесных корзин для проводки, но выглядят они не так аккуратно. Если ставите фальшполы, посоветуйтесь с инженерами относительно их прочности, поскольку мощные кластерные системы могут иметь значительный вес. В ноябре 2006 года для проектирования болидов Формулы-1 компания BMW установила кластер из 10 стоек стандартного формата, вес которого с полным комплектом источников бесперебойного питания составил 21 тонну. Вес кластерной системы СКИФ Cyberia со всем набором необходимого силового электрооборудования и устройств климат- контроля составляет 16 тонн.
Учтите, что не стоит прокладывать рядом коммуникационную и силовую проводку, поскольку циркулирующие по силовым кабелям токи могут создавать значительные наводки, приводя к ошибкам при передаче данных по сети кластера.
Вне зависимости от того, используются источники бесперебойного питания или нет, кластерную стойку и ее электропитание необходимо заземлить.
Уделите особое внимание покрытию пола в помещении. Это должен быть специальный антистатический линолеум, паркет или плитка (последние варианты нежелательны, так как могут просто не выдержать веса стойки, а паркет еще и пожароопасен). Не допускайте даже временной установки кластера в помещении с обычным линолеумом или ковровым покрытием.
Желательно иметь возможность обесточить все оборудование в помещении из одной точки, лучше всего - у входа. Например, с единого электрического щитка, расположенного в этом же помещении. Это очень важно для обеспечения безопасности, прежде всего, в случае возникновения экстренных ситуаций.
Необходимость специальных мер для повышения вибрационной устойчивости возникает не часто, однако задуматься об этой потенциальной проблеме стоит. Если рядом проходит железная дорога или трамвайные пути, то проходящие составы вполне могут служить причиной неустойчивой работы отдельных компонент кластера, среди которых наиболее чувствительными к подобного рода помехам являются диски.
Кроме обязательной защиты кластера от хакеров, надо позаботиться и о его физической защите и ограничении доступа в помещение. Безусловно, помещение должно быть надежно укреплено, и стоимость соответствующей подготовки нужно включить заранее в проект. Ключи от помещения должны быть только у ответственных лиц. Возможно, стоит поставить сигнализацию или организовать систему видеонаблюдения с возможностью видеоконтроля за помещением через Интернет.
Требования к пожарной безопасности в случае с круглосуточно работающим кластером выше требований, предъявляемым к местам, где на компьютерах работают лишь в рабочие часы, следовательно, может потребоваться соответствующая доработка помещения. Как минимум, там должен быть порошковый огнетушитель и пожарная сигнализация, для серьезных систем лучше поставить автоматическую систему пожаротушения.
Будет ли кластер расширяться или как-то модифицироваться в будущем? Очень желательно решить этот вопрос сразу. Сейчас помещение подготовлено под текущую конфигурацию кластера и никаких проблем с обеспечением его работы не ожидается. А что будет при добавлении стоек, новых кластеров, расширении дисковых подсистем? Если планы развития вычислительной базы вполне реальны, то нужно сразу оценить имеющиеся возможности по его администрированию и сопровождению, площади для размещения нового оборудования, резервы по электропитанию, по мощности систем климат-контроля. По-хорошему, нужно еще раз аккуратно пройтись по всем вопросам данного раздела, сопоставив масштабность будущих изменений с теми последствиями и затратами, которые они вызовут.