Методы и средства оценки производительности микропроцессоров и микропроцессорных систем

Тесты SPECHPC2002 для оценки высокопроизводительных систем

Для оценки характеристик систем в области высокопроизводительных вычислений (high performance computINg, HPC) SPEC предлагает набор тестов, которые:

• представляют объемные, реально действующие приложения в области научной и технологической обработки данных;
• используют промышленные стандартные интерфейсы параллельного прикладного программирования;
• поддерживают принципы разделения памяти и программирования пересылки сообщений;
• могут оценивать компьютеры с разделением памяти и кластеры из рабочих станций наравне с традиционными MPP-системами;
• допускают определенные виды ручной оптимизации кодов.

В состав HPC-тестов входят:

• тестовый пакет MPI2007, предназначенный для измерения производительности при интенсивных вычислениях с использованием MPI-интерфейса для пересылки сообщений внутри широкого диапазона кластеров и SMP-систем;
• пакет SPEC OMP, который включает в себя наборы ОМРМ2001 и OMPL2001 для измерения производительности мультипроцессорных систем и систем с разделением памяти.

Оценка производительности сигнальных процессоров

Ключевой параметр при выборе процессора цифровой обработки сигналов - это его быстродействие. Оно влияет на время выполнения обработки входного сигнала и, следовательно, определяет максимальную частоту этого сигнала. Но, как было показано выше, оценка быстродействия процессора в MIPS 'ах в большинстве случаев несостоятельна.

Одно из решений этой проблемы - сравнивать процессоры по скорости выполнения операций, наиболее характерных для данного класса микропроцессоров, например, по операциям умножения с накоплением (MAC). Скорость выполнения таких операций критична для алгоритмов, использующих цифровую фильтрацию, корреляцию и преобразования Фурье. Более точной является оценка скорости исполнения определенных алгоритмов, например, фильтрации. Однако это требует разработки соответствующих программ и тщательного анализа результатов тестирования. К сожалению, такая оценка также не дает полной информации о реальном быстродействии процессора.

Поэтому для цифровых сигнальных процессоров, как и для универсальных МП, пользуются оценками, выполняемыми авторитетными международными компаниями, лидером среди которых в этой области является компания BDTI - Berkeley Design Technology, INc. В состав этой компании входят представители около 100 фирм, включая лидеров в разработке процессоров цифровой обработки сигналов - компании Texas INsTRuments, Analog Devices, Freescale.

BDTI производит оценку сигнальных процессоров не только по быстродействию, но и по другим важным для областей применения ЦСП критериям: эффективности памяти, энергопотреблению и т. д.

В состав тестов, последняя версия которых - BDTImark2000, входят 5 тестовых пакетов. Главную роль в оценке производительности сигнальных процессоров в их классическом применении играет тест BDTI DSP Kernel Benchmark, который включает 12 тестовых программ для ключевых алгоритмов обработки, таких как БПФ, КИХ-фильтр. Остальные пакеты ориентированы на оценку работы ЦСП в конкретных областях: обработка видеоданных, телекоммуникационные устройства и т. д.

Средства оценки всей системы рассмотрим на примере тестов TPC, разработанных для эмуляции коммерческих сред.

По мере расширения использования компьютеров при обработке транзакций в сфере бизнеса все более важной становится возможность объективного сравнения систем между собой. С этой целью в 1988 году был создан Совет по оценке производительности обработки транзакций (TRansaction ProcessINg Performance Council - TPC ). На сегодня членами TPC являются практически все крупнейшие производители аппаратных платформ и программного обеспечения для автоматизации коммерческой деятельности. До создания TPC отсутствовало общее согласие относительно методики оценки систем обработки транзакций. Широко использовались два тестовых пакета: Дебет/Кредит и TPI. Однако эти пакеты не позволяли осуществлять адекватную оценку систем: они не имели полных спецификаций, не давали объективных, проверяемых результатов, не содержали полного описания конфигурации системы, ее стоимости и методологии тестирования, не обеспечивали объективного, беспристрастного сравнения одной системы с другой.

Основные задачи, решаемые TPC, сходны с задачами, решаемыми SPEC: точное определение тестовых пакетов для оценки систем обработки транзакций и баз данных, а также распространение объективных, проверяемых данных. При описании конфигурации системы приводятся данные, существенные для коммерческих вычислительных систем: блоксхемы подключения каналов и устройств ввода/вывода, детальный список аппаратных средств и программного обеспечения, включая номера составных частей, их описание и номер версии, цена системы, а также стоимость запасных частей, необходимых для эксплуатации системы в течение 5 лет. Объем внешней памяти системы должен обеспечивать хранение информации о транзакциях за период 30, 90 или 180 дней.

TPC определяет и управляет форматом нескольких тестов для оценки производительности OLTP (On-LINe TRansaction ProcessINg). Так, например, выпущенный в ноябре 1989 года и используемый до настоящего времени тест TCP-A предназначен для оценки производительности систем, работающих в среде интенсивно обновляемых баз данных. Такая среда характеризуется:

• множеством терминальных сессий в режиме on-lINe;
• значительным объемом ввода/вывода при работе с дисками;
• умеренным временем работы системы и приложений;
• целостностью транзакций.

Практически при выполнении теста эмулируется типичная вычислительная среда банка, включающая сервер базы данных, терминалы и линии связи.

Тест TPC-A определяет пропускную способность системы, измеряемую количеством транзакций в секунду (tps A), которые система может выполнить при работе с множеством терминалов.

Рассмотренные подходы к тестированию отдельных компонентов и вычислительных систем в целом не всегда удовлетворяют всех разработчиков и пользователей средств вычислительной техники. Вот почему периодически делаются попытки создать новые тестовые пакеты, которые должны, по мнению авторов, устранить существующие пробелы и позволить оценить характеристики, наиболее важные для конкретной области применения.

Одной из независимых организаций, осуществляющей оценку производительности вычислительных систем, является частная компания AIM Technology, которая была основана в 1981 году. Компания разрабатывает и поставляет программное обеспечение для измерения производительности систем, а также оказывает услуги по тестированию систем конечным пользователям и поставщикам вычислительных систем и сетей, которые используют промышленные стандартные операционные системы, такие как UNIX и OS/2.

За время своего существования компания разработала специальное программное обеспечение, позволяющее легко создавать различные рабочие нагрузки, соответствующие требованиям по использованию тести руемой системы.

Набор тестов AIM делится на две категории: стандартные и заказные. В стандартный пакет входят тесты, которые потребляют определенные ресурсы системы и тем самым акцентируют внимание на определенных компонентах, из которых складывается ее общая производительность. К настоящему времени AIM создала восемь стандартных смесей:

1. Универсальная смесь для рабочих станций (General Workstation Mix).
2. Смесь для механического САПР (Mechanical CAD Mix).
3. Смесь для геоинформационных систем (GIS Mix).
4. Смесь универсальных деловых приложений (General BusINess).
5. Многопользовательская смесь (Shared/Multiuser Mix).
6. Смесь для вычислительного (счетного) сервера (ComputeServer Mix).
7. Смесь для файл-сервера (File Server Mix).
8. Смесь СУБД (RBMS Mix).

В частности, многопользовательский тестовый пакет представляет собой набор тестов для системы UNIX, который оценивает все аспекты производительности системы, включая основные аппаратные средства, используемые в многопрограммной среде. Этот тестовый пакет моделирует многопользовательскую работу в среде разделения времени путем генерации возрастающих уровней нагрузки на центральный процессор, а также подсистему ввода/вывода и переключение контекста, и измеряет производительность системы при работе с множеством процессов.

При каждом запуске генератора тестовых пакетов могут выполняться любые отдельные или все доступные тесты в любом порядке и при любом количестве проходов, позволяя тем самым создавать для системы практически любую необходимую рабочую нагрузку. Все это дает возможность тестовому пакету моделировать любой тип смеси для лучшего представления реальной окружающей обстановки и конфигурирования системы.

Если некоторые требуемые тесты отсутствуют в составе генератора тестовых пакетов, они могут быть легко туда добавлены. Заказная смесь может быть связана со специфическим приложением, которое создает для системы необычную нагрузку.

Результатом тестирования является кривая пропускной способности, показывающая возможности системы по обработке нагрузочной смеси в зависимости от моделируемой нагрузки. Это позволяет с достаточной достоверностью дать заключение о возможностях работы системы при данной нагрузке или при ее изменении.

Для оценки и сравнения систем в AIM используются следующие критерии:

• пиковая производительность (рейтинг производительности по AIM);
• максимальная пользовательская нагрузка;
• индекс производительности утилит;
• пропускная способность системы.

Рейтинг производительности по AIM определяет наивысший уровень производительности системы, который достигается при оптимальном использовании центрального процессора, операций с плавающей точкой и кэширования диска. Он устанавливается в относительных единицах производительности некоторой эталонной машины, в качестве которой используется VAX 11/780.

Максимальная пользовательская нагрузка определяет точку, начиная с которой производительность системы падает ниже приемлемого для i-го пользователя уровня.

Индекс производительности утилит определяет количество пользовательских нагрузок, которые данная система выполняет в течение одного часа. Используемый в данном случае набор тестов многократно выполняет выбранные утилиты UNIX в качестве основных и фоновых заданий при умеренных пользовательских нагрузках. Этот параметр показывает возможности системы по выполнению универсальных утилит UNIX.

Максимальная пропускная способность определяет пиковую производительность мультипрограммной системы, измеряемую количеством выполненных заданий в минуту.

Тестовые пакеты AIM проверяют производительность системы и всех ее основных компонентов в многозадачной среде, включая ЦП, , память, диски, системные и библиотечные вызовы. Это сближает их с тестами SPEChpc.

Краткие итоги. Производительность микропроцессоров и микропроцессорных систем является одним из важнейших показателей, влияющих на их выбор для различных применений. Сравнение производительности микропроцессоров по их тактовой частоте и оценки производительности в миллионах операций в секунду являются несостоятельными из-за существенных различий в архитектуре МП. В настоящее время для этих целей используются пакеты тестовых программ (бенчмарки), специально разрабатываемые и постоянно обновляемые авторитетными международными организациями, такими как Консорциум по оценке производительности систем (SPEC) или Berkeley Design Technology (BDTI).