Лекция 13: Кластеры и массивно-параллельные системы различных производителей. Примеры кластерных решений IBM. Примеры кластерных решений HP. Примеры кластерных решений SGI

Примеры кластерных решений HP

Слияние в 2002 г. компаний Hewlett Packard и Compaq обеспечило HP прочное положение лидера по продаже Linux-систем, соответствующих индустриальным стандартам на базе архитектур IA-32 и IA-64. Данная технология дополнена мощной поддержкой разработок ядра Linux на базе семейства Itanium, а также разработок с открытым кодом в целом.

Кластеры HP строятся путем объединения компьютеров в группы, которые называются "кластерами предприятия". Каждый узел кластера имеет по крайней мере один процессор, оперативную память и образ операционной системы. Для связи между узлами используются специальные протоколы связи и системные процессы.

Поддержка ОС Linux со стороны HP охватывает все семейство серверов HP, основанных на архитектуре Intel ( IA-32 и IA-64 ), включая все серверы промышленного стандарта HP ProLiant, сверхплотную (blade) архитектуру, рабочие станции HP, настольные компьютеры Evo, отдельные портативные компьютеры, серверы ProLiant для применения в качестве межсетевых экранов и даже портативные устройства iPAQ. HP также продолжает поддерживать технологию ОС Linux для архитектуры AlphaServer, разработанную компанией Compaq. ОС Linux работает на Alpha системах, начиная с 1994 г. Это был первый пример 64-разрядной системы с поддержкой Linux. Именно с него начались современные разработки ОС Linux на базе семейства Itanium. HP поддерживает на своих серверах дистрибутивы Red Hat и SuSE, планируя осуществлять поддержку дистрибутивов операционной системы UnitedLinux после ее выпуска. HP предлагает заказчикам возможность предварительно установить любую ОС Linux на выбранные серверы ProLiant и рабочие станции Evo.

HP поддержала лабораторию Sandia в ее планах по развертыванию кластерной системы Cplant на базе ОС Linux с самой высокой на сегодня производительностью. Сейчас HP совместно с Pacific Northwest National Laboratories работает над созданием вычислительной системы, основанной на 1400 процессорах Itanium 2 с оптоволоконными межсоединениями на основе решений Quadrics.

Программное обеспечение НР может поддерживать большинство современных средств разработки и настройки производительности для кластерных решений на базе системы Linux. При выборе этих средств действуют ограничения, связанные с типами процессоров и межузловых соединений. В число программных продуктов входят:

• Транслятор Intel C++ Compiler для Linux;
• Транслятор Intel Fortran Compiler для Linux;
• Библиотека Intel Math Kernel Library;
• Intel Vtune Performance Analyzer — средство оптимизации программного кода.

Примеры кластерных решений SGI

Седьмого января 2003 г. компания SGI представила новое семейство 64-разрядных Linux-серверов и суперкластеров, названных SGI Altix 3000 (серверы SGI Altix 3300 и суперкластеры SGI Altix 3700). Система SGI Altix 3000 использует процессоры Intel Itanium 2 и основана на архитектуре глобальной разделяемой памяти SGI NUMAflex, которая является реализацией архитектуры неоднородного доступа к памяти (NUMA). NUMAflex появилась в 1996 г. и с тех пор использовалась в известной серии серверов и суперкомпьютеров SGI Origin, основанных на процессорах MIPS и 64-разрядной операционной системе IRIX. Дизайн NUMAflex позволяет помещать процессор, память, систему ввода/вывода, соединительные провода, графическую подсистему в модульные компоненты, иначе называемые блоками или кирпичиками. Эти кирпичики могут комбинироваться и конфигурироваться с большой гибкостью, чтобы удовлетворять потребности клиента в ресурсах и рабочей нагрузке. Используя этот дизайн третьего поколения, компания SGI смогла создать систему SGI Altix 3000 на основе традиционных блоков ввода/вывода (IX- и PX-блоки), хранения данных (D-блоки) и соединительных компонентов (маршрутизирующие блоки/R-блоки). Основным отличием этой новой системы является процессорный блок (C-блок), который содержит процессоры Itanium 2.

Ключевой особенностью системы является использование каскадируемых коммутаторов в маршрутизирующих элементах. Каскадируемые коммутаторы обеспечивают системе малое время задержки, или замедление доступа к памяти, несмотря на модульную конструкцию. Это критично для машин, использующих архитектуру неоднородного доступа к памяти (NUMA). Задержки всегда были проблемой в архитектуре NUMA, так как память распределяется между узлами, а не сосредоточена в одном месте. Каскадируемые коммутаторы используют каталогизируемую схему памяти для отслеживания данных, находящихся в разных кэшах. В результате меньшие объемы данных пересылаются между частями памяти, что выливается в снижение задержек по сравнению с традиционными системами, основанными на шинах.

Системное ПО для SGI Altix 3000 состоит из стандартного дистрибутива Linux для процессоров Itanium и SGI ProPack – продукта, добавляющего особые свойства Linux. SGI ProPack включает ядро 2.4, HPC-библиотеки, настроенные для использования особенностей архитектуры SGI, утилиты для работы с NUMA и драйверы. Также SGI ProPack включает дополнительные инструменты и библиотеки для улучшения работы больших NUMA-систем, особенно при одновременном выполнении нескольких ресурсоемких приложений. Это позволяет эффективно использовать системные ресурсы и доставлять результаты в разумное время: характеристики, критичные для сред высокопроизводительных вычислений.

Утилиты работы с NUMA, библиотеки HPC и дополнительное ПО, установленные на стандартный дистрибутив Linux, создают программное окружение для высокопроизводительных вычислений, эффективное при больших вычислительных нагрузках и нагрузках, связанных с передачей данных. SGI ProPack создает промежуточный слой ПО, которое позволяет на основе Linux создавать блоки для построения больших сред высокопроизводительных вычислений.

Высокопроизводительные программы требуют баланса между процессором и подсистемой памяти для поддержания постоянного уровня потока данных. Кластеры SGI Altix 3000 были протестированы с помощью тестов STREAM Triad, которые измеряют скорость работы памяти. 64-процессорная система достигла уровня производительности памяти в 125 Гбайт/с на едином образе операционной системы: превосходство в 460% над 64-процессорной системой HP Superdome, которая показала производительность 27 Гбайт/с. По сравнению с 32-процессорным сервером IBM eServer p690, система SGI Altix показывает удвоенную производительность, а при вдвое меньшей стоимости — улучшение показателя цена/производительность на 640 %. Результаты также показывают, что Linux может хорошо масштабироваться за рамками ограничения в 8 процессоров.

Семейство SGI Altix 3000 демонстрирует пропускную способность системы ввода/вывода более чем 2 Гбайт/с при использовании единого образа Linux — лучший результат для Linux-систем. При постоянном увеличении объемов обрабатываемых данных возможности перемещения информации с диска в память играют все более важную роль в общей производительности системы. Это достижение позволяет приложениям Linux решить проблемы оперирования большими объемами данных в средах высокопроизводительных вычислений.