Оптимизация работы процессов и управление ресурсами

Что будем оптимизировать

Несмотря на кажущуюся простоту, компьютер состоит из большого числа частей, и быстродействие системы определяется тремя факторами: (1) скоростью работы каждой компоненты, (2) согласованием быстродействия разных компонент и (3) точной настройкой системы для работы именно с этой конфигурацией аппаратуры. Здесь мы не будем касаться первых двух факторов и предположим, что мы имеем идеально согласованную конфигурацию аппаратных средств. Поскольку в реальной жизни такое встречается редко, наш глаз отдыхает при взгляде на этот прекрасный компьютер. Все, что мы можем сделать с ним, – это установить подходящую операционную систему и настроить ее оптимальным образом.

Оптимизации подлежит следующее:

• количество одновременно запущенных процессов;
• количество потребляемой процессами памяти;
• объем оперативной памяти в системе;
• размер swap-раздела;
• набор ресурсов, в которых несколько процессов нуждаются одновременно.

Вопросы анализа и увеличения производительности дисковой подсистемы будут изложены позже, сейчас мы затрагиваем только тему оптимизации работы процессов. Фактически, в этой лекции обсуждаются два вопроса: оптимизация использования памяти и оптимизация приоритетов процессов. Первый, как легко догадаться, в практических задачах встречается много чаще.

Начнем с изучения того, как устроена виртуальная память в Solaris, ибо она является первым по значимости ресурсом, который постоянно делят между собой все процессы, запущенные в системе.

Виртуальная память в Solaris

Поскольку процессам, запущенным в системе, обычно в сумме требуется больше места, чем размер оперативной памяти, в любой системе UNIX существует механизм виртуальной памяти. Объем виртуальной памяти складывается из объема оперативной памяти и объема пространства свопинга (swap space). Подсистема виртуальной памяти в ядре заботится о том, чтобы с точки зрения процесса память была непрерывна и всегда доступна. В действительности страницы памяти, выделенные процессу, могут быть как угодно распределены в оперативной памяти или быть выгруженными на диск в пространство свопинга.

Вся виртуальная память разбита на страницы объемом 4 Кб. Некоторые компьютеры в силу их аппаратной реализации используют страницы памяти по 8Кб. К ним относятся компьютеры с микропроцессорами DEC Alpha, первыми процессорами Sun SPARC (например, Ross RT601/Cypress CY7C601/Texas Instruments TMS390C601A, устанавливавшиеся в SPARCstation 2) и модели Sun UltraSPARC. В Solaris для определения фактического размера страницы памяти следует использовать программу /usr/bin/pagesize или функцию getpagesize(3C).

Потребителями виртуальной памяти в Solaris являются ядро системы, кэши файловой системы, тесно разделяемая память (intimately shared memory) и процессы. Тесно разделяемая память специфична для Solaris и представляет собой область разделяемой памяти, которую нельзя выгружать на диск. Тесно разделяемую память используют такие программы, как Oracle, Sybase, Informix.

Виртуальная память построена на четырех принципах, реализованных в системе.

Во-первых, каждый процесс получает отдельное виртуальное адресное пространство (virtual address space). Это значит, что процессу доступен определенный диапазон ячеек памяти. Максимальный размер этого диапазона памяти определяется длиной слова адреса в компьютере. Процесс, запущенный в 32-разрядной системе, будет иметь виртуальное адресное пространство размером 4 гигабайта (2³² байт). Подсистема виртуальной памяти соотносит (отображает) пользовательский кусочек виртуального адресного пространства и реальные страницы физической памяти.

Во-вторых, адресные пространства нескольких процессов могут перекрываться незаметно для процессов, если они используют общий код. Например, одновременно могут быть запущены три экземпляра одного и того же командного процессора (пусть это будет bash ). Они имеют отдельные виртуальные адресные пространства. В каждом виртуальном пространстве находится экземпляр процесса командного интерпретатора, копия библиотеки libc и (возможно) копии других разделяемых процессами ресурсов. Подсистема виртуальной памяти незаметно для процессов отображает эти разделяемые куски памяти в одну и ту же область физической памяти так, что в физической памяти содержится всего один экземпляр разделяемого ресурса. Похоже на создание жестких ссылок на файл, верно?

В-третьих, подсистема виртуальной памяти выгружает наименее используемые страницы памяти на диск, когда физической памяти не хватает для всех процессов.

В-четвертых, подсистема виртуальной памяти запрещает процессу обращаться к ячейкам памяти из чужого адресного пространства, причем это делается на аппаратном уровне – посредством механизма диспетчеризации.

Оценка необходимого размера оперативной памяти

Для оценки памяти, занимаемой каждым из процесов, можно использовать как уже известные top и ps, так и pmap (последняя дает более подробное распределение памяти процесса по типам – разделяемая память и т.п.):

pmap –х

Вообще говоря, в Solaris существует целое семейство так называемых процессных утилит (proc tools) или p -команд, которые работают с файловой системой /proc, в которую отображаются многие структуры ядра, в частности, таблица процессов. Эти программы позволяют получать самую разную информацию о процессах, а некоторые из них могут также проанализировать завершившийся аварийно процесс, если от него остался файл core^{1Файл core записывается в текущий каталог процесса в случае аварийного завершения; случаи прерывания процесса по сигналам KILL, TERM и HUP к этому не относятся. Имя файла – всегда core, независимо от имени файла, который был запущен для порождения аварийного процесса. Файл core представляет собой дамп памяти (всех сегментов) процесса, поэтому его можно проанализировать так же, как запущенный процесс: это – моментальный снимок памяти процесса на момент аварийного завершения (прим. авт.).}.

Помните, что память потребляется не только процессами, но и кэшем файловой системы, тесно разделяемой памятью и ядром! Если в системе не запускается СУБД Oracle или другое подобное приложение, скорее всего, тесно разделяемая память в системе не используется. В Solaris 8 и Solaris 9 для ядра и обязательно запускающихся системных приложений следует заранее предусмотреть не менее 32 MB памяти и еще 16 MB, если CDE (Common Desktop Environment) тоже запускается. Рекомендованным для Solaris 9 объемом памяти (не считая память, которая требуется для специфических приложений – СУБД, почтового сервера и т.п.) считается 64 Мб, но оптимальным для системы, в которой работают с графическим интерфейсом, будет 128 Мб. Если планируется одновременно запускать несколько ресурсоемких графических приложений, например, Mozilla и OpenOffice, следует по крайней мере удвоить этот рекомендованный объем.

Если пользователи обращаются только к нескольким сотням мегабайт данных, но делают это часто, то для кэширования всех этих данных должно хватать оперативной памяти. Это радикально ускорит их работу.

Список свободных страниц (free list)

Список свободных страниц – это набор страниц, из которого страницы извлекаются по запросу процессов. Управление распределением памяти между процессами основано на этом списке. Процессы берут память из него и возвращают ее обратно по завершении. Сканер страниц также возвращает память в список свободных страниц.

Каждый раз, когда процесс запрашивает память, происходит так называемая страничная ошибка^{2Перевод термина page fault дан по книге [3]>.} (page fault). Страничные ошибки делятся на три типа.

1. Легкая страничная ошибка (minor page fault)

   Процесс попытался получить доступ к странице, которая была изъята сканером страниц, но пока еще не использована повторно другим процессом.
2. Значительная страничная ошибка (major page fault)

   Процесс пытается получить доступ к странице, изъятой сканером страниц, использованной повторно и в данный момент уже отданной другому процессу.
3. Ошибка копирования при записи (copy-on-write fault)

   Процесс пытается записать данные в страницу памяти, которая используется совместно с другими процессами.

Сейчас нам важны некоторые основные моменты, связанные с производительностью процессов.

После загрузки системы вся виртуальная память распределяется между процессами постранично. Кроме того, в ядре инициализируется специальная таблица, в которой хранятся состояния страниц. Несколько мегабайт памяти ядро резервирует для себя, а оставшееся пространство отходит списку свободных страниц. В какой-то момент, когда процесс запрашивает память, из списка свободных страниц извлекается одна страница, которая поступает в распоряжение процесса. Такая схема, при которой память выдается по принципу "когда потребуется", называется выделением страниц по запросу (demand paging).

Если список свободных страниц уменьшается до размера lotsfree (см. "лекцию 8" ), ядро запускает специальный поток внутри себя – сканер страниц. Он начинает искать страницы, которые можно выгрузить на диск, чтобы увеличить размер свободной памяти и пополнить список свободных страниц. Дабы не выгрузить страницы, к которым часто обращаются, сканер страниц работает по двухшаговому алгориму. Просматривая оперативную память в порядке возрастания адресов, он очищает бит MMU (бит "используемости") для каждой страницы. Этот бит устанавливается, когда идет обращение к странице. Затем сканер страниц ведет просмотр далее, но через некоторое время проверяет бит используемости ранее просмотренных страниц, ожидая доступа к этим страницам и установки их битов используемости. Параметры slowscan и fastscan определяют то время, которое пройдет между очисткой бита MMU и его повторной проверкой, а именно:

• slowscan – первоначальная частота сканирования. При увеличении этого значения сканер страниц выполняет меньше ненужных заданий, но делает больше работы;
• fastscan – частота сканирования в ситуации, когда свободной памяти не осталось.

Далее демон страниц снова просматривает память. Если ссылочный бит какой-то страницы по-прежнему в исходном состоянии, то значит, к этой странице не обращались.

Те страницы, чей бит "используемости" не был изменен в течение некоторого времени, выгружаются на диск и освобожденная память пополняет список свободных страниц.

Некоторые страницы (например, принадлежащие разделяемым библиотекам) могут разделяться между многими процессами, и при записи в такую страницу возникает ошибка копирования при записи (copy-on-write fault). Как только это произойдет, из списка свободных страниц извлекается чистая страница и создается копия первоначальной разделяемой страницы для того процесса, который требовал записать данные; в дальнейшем процесс работает именно со своей копией разделяемой страницы. Когда процесс завершается, все его страницы, за исключением тех, которые он делил с другими процессами, возвращаются в список свободных страниц.

Сейчас мы, как минимум, должны представлять себе, что если программа vmstat сообщает о постоянной активности устройства свопинга, а частота сканирования страниц высока (а в Solaris 8 и более новых версиях она вообще должна быть близка к нулю в обычной ситуации), то следует подумать об уменьшении числа одновременно запущенных процессов или увеличении объема оперативной памяти.

Рекомендации по запуску служб

Следует всегда запускать ровно столько экземпляров служб (демонов, daemons), сколько требуется. Например, если компьютер не является сервером NFS, не следует создавать файл /etc/dfs/dfstab, так как при его наличии автоматически запускается некоторое количество процессов, связанных со службой NFS. Мало того, что ненастроенные демоны могут дать злоумышленнику неожиданный доступ к компьютеру, так еще и память занимают. Всегда используйте

ps –ef

для контроля за количеством запущенных процессов. Не оставляйте без внимания запущенные процессы: если среди них есть незнакомый вам процесс, стоит почитать man по нему, чтобы выяснить, нужен ли он в вашей конфигурации.

Некоторые программы, такие, как веб-сервер Apache или прокси-сервер squid, запускают несколько процессов, размножая самих себя или вспомогательные службы для увеличения производительности. По умолчанию количество запускаемых ими процессов сделано "средним", т.е. для слабо нагруженной системы оно слишком велико, а для перегруженной внешними запросами – слишком мало. Постарайтесь установить оптимальное значение – так вы сможете выиграть от нескольких мегабайт до нескольких сотен мегабайт памяти.

Ограничение использования оперативной памяти для отдельных проектов

Понятие "проект" в Solaris

Проектом в Solaris называется единица администрирования, предназначенная для оптимального управления ресурсами системы. К проекту могут относиться любые пользователи и группы, и каждый пользователь или группа могут входить в несколько проектов. В большой системе удобно определить ряд проектов в базе проектов (файле /etc/project или соответствующем файле базы NIS).

Проект характеризуется уникальным идентификатором проекта ( PROJID ). Каждый пользователь обязательно относится к некоему проекту по умолчанию, и какой именно это проект, определяется при входе пользователя в систему. Пользователь обязательно имеет главный проект (по аналогии с главной группой) но может участвовать в нескольких проектах.

Каждый процесс также обязательно ассоциируется с каким-нибудь проектом. Это не обязательно главный проект пользователя, запустившего процесс, так как пользователь волен отнести запущенный им процесс к любому из проектов, участником которых он является. Отнести пользователя или группу к проекту можно либо в описании пользователя в файле /etc/user_attr, либо в файле проектов /etc/project. Для тех случаев, когда администратор не озаботился отнесением пользователей к определенным проектам, в системе имеется предопределенный проект default – к нему относятся все пользователи, группы и процессы, для которых явным образом не указано иное.

Главный проект пользователя определяется при входе в систему следующим образом:

• если в файле /etc/user_attr запись об этом пользователе имеет атрибут project, то в качестве главного проекта пользователю назначается указанный таким образом проект;
• если в /etc/project имется проект с именем user.UID, где UID совпадает с UID пользователя, то он назначается главным проектом пользователя;
• если в /etc/project есть проект group.groupname и groupname совпадает с именем главной группы пользователя, то этот проект назначается главным пользователю;
• если в базе проектов есть проект с именем default, то главным назначается он.

Проверка перечисленных условий производится в указанном выше порядке. В качестве базы данных проектов может использоваться не только файл /etc/project, но и база данных NIS или LDAP. Порядок обращения к службам имен (файлу, NIS или LDAP) определяется в файле /etc/nsswitch.conf:

project: files nis ldap

При использовании PAM может быть полезно также изучить страницу руководства pam_projects(5).

Если при входе для пользователя не удалось определить главный проект, вход пользователю запрещается.

Изменения, внесенные в базу данных проектов, коснутся только процессов, которые будут запущены, и пользователей, которые войдут в систему после сохранения изменений. На уже запущенные процессы и уже работающих пользователей они не повлияют.

Файл /etc/project имеет следующий формат:

projname:projid:comment:user-list:group-list:attributes

где:

• projname – это имя проекта (в нем не должно быть точек, запятых или двоеточий);
• projid - это уникальный идентификатор проекта (неотрицательное целое число не больше 2147483647;
• comment – описание проекта;
• user-list – список пользователей, входящих в проект, имена через запятую;
• group-list – список групп, входящих в проект, имена групп через запятую;
• attributes – атрибуты проекта в формате имя=значение.

Везде, где указано "список", может стоять звездочка (подразумевает "все"), имя может быть предварено восклицательным знаком, что означает "кроме этого" ( !groupname – все указанные группы, кроме groupname ).

По умолчанию файл /etc/project выглядит так:

system:0::::
user.root:1::::
noproject:2::::
default:3::::
group.staff:10::::

Помимо редактирования файла вручную вы можете пользоваться программами projadd, projmod и projdel для добавления, изменения или удаления проектов. Для получения информации о соответствии процессов проектам следует запускать программы ps, id, pgrep, prstat:

ps -o user,pid,uid,projid
USER PID UID PROJID
root 672 0 1
root 625 0 1
root 654 0 1
root 652 0 1
root 808 0 1
id –p
uid=0(root) gid=1(other) projid=1(user.root)

Синтаксис вызова pgrep:

pgrep –J projidlist

например:

pgrep -J 1 | more
347
460
461
345
368
426
435
378
427
411
412
414
434
436
438
459
463
467
469
470
649
650
prstat -J
PID USERNAME SIZE RSS STATE PRI NICE TIME CPU PROCESS/NLWP
345 root 63M 14M sleep 59 0 0:01:35 0,8% Xsun/1
622 root 15M 2532K sleep 59 0 0:00:02 0,6% dtterm/1
470 root 141M 55M sleep 49 0 0:02:07 0,5% soffice.bin/4
820 root 7624K 4576K cpu0 59 0 0:00:00 0,3% prstat/1
672 root 4728K 696K sleep 49 0 0:00:00 0,0% bash/1
652 root 24M 3784K sleep 49 0 0:00:01 0,0% sdtimage/1
654 root 79M 10M sleep 19 0 0:00:08 0,0% java/15
195 root 5660K 0K sleep 59 0 0:00:00 0,0% syslogd/13
175 root 2160K 0K sleep 59 0 0:00:00 0,0% lockd/2
170 root 3028K 0K sleep 59 0 0:00:00 0,0% in.named/1
237 root 1348K 0K sleep 59 0 0:00:00 0,0% powerd/2
183 root 6108K 644K sleep 59 0 0:00:00 0,0% automountd/3
322 root 4360K 0K sleep 59 0 0:00:00 0,0% snmpdx/1
347 root 8632K 0K sleep 59 0 0:00:00 0,0% dtlogin/1
158 root 2412K 0K sleep 59 0 0:00:00 0,0% inetd/1
PROJID NPROC SIZE RSS MEMORY TIME CPU PROJECT
1 30 480M 99M 84% 0:04:00 2,3% user.root
0 38 135M 5788K 4,8% 0:00:00 0,0% system
Total: 68 processes, 185 lwps, load averages: 0,04, 0,14, 0,14

Эта программа выполняется как интерактивная в полноэкранном режиме (подобно top).

Управление оперативной памятью с помощью rcapd

В системе Solaris, начиная с версии 9 выпуска 12/03, появился демон ограничения ресурсов (Resource Capping Daemon), который управляет тем, как процессы используют оперативную память. Управление выполняется на по-проектной основе, т.е. ресурсы ограничиваются для конкретных проектов.

Демон ограничения ресурсов rcapd занимается ограничением потребления физической памяти для процессов, относящихся к проектам с установленными ограничениями. Существуют также программы rcapstat, rcapadm, предоставляющие возможность управления работой rcapd и получения статистики.