Оценка процессов: внешняя простота и сложность интерпретации
На первый взгляд может показаться, что сложные конструкции с процессными областями, специфическими и общими практиками избыточны: можно оценить процессы проще и получить тот же результат. На практике техника, описанная в стандарте ISO/IEC 15504, технологически проще, но интерпретировать её результаты гораздо сложнее.
В CMMI (Capability Maturity Model Integration) профиль описывает процессную область, например управление проектами. Если область на низком уровне, видно, что планирование проектов нестабильно. Если на высоком — есть шаблон планирования, накопленный опыт организации, и проекты им пользуются.
В ISO/IEC 15504 высокий уровень возможностей отдельного процесса, например верификации, сам по себе ничего не говорит. Отдельный процесс не решает задачу; её решает группа процессов. Поэтому оценивать процессы по отдельности нет смысла. Нужно одновременно рассматривать обеспечение гарантии качества, менеджмент качества, верификацию, валидацию, ревизию, аудит, решение проблем и другие процессы. Тогда можно говорить о процессной области обеспечения качества.
Процессная область и требования к базовой модели
Если процессная область находится на высоком уровне возможностей, можно судить, как организация решает определённую задачу. Но если одни процессы в группе на высоком уровне, а другие на низком, вывод о качестве управления неоднозначен. В PQA (Process Quality Assurance) все практики процессной области подчиняются одним требованиям на каждом уровне возможностей. В ISO/IEC 15504 так не работает, потому что оценка идёт по отдельным процессам.
Чтобы применять такой подход, базовая модель процессов должна удовлетворять требованиям. Описания процессов не должны включать требования к их планированию, иначе атрибут планирование нельзя применить независимо. Атрибуты и свойства процессов не должны пересекаться.
В ISO/IEC 15504 нет собственной базовой модели процессов. В требованиях указано: в базовой модели должны быть документированы сообщества по интересам и действия по достижению консенсуса. Если модель используют для оценки по ISO/IEC 15504, нужно выяснить у авторов модели, согласны ли они с такой оценкой и её выводами. Иначе авторы референтной модели невольно вмешиваются в рыночные отношения компаний. Степень консенсуса должна быть задокументирована; если консенсуса не было, это также фиксируется.
Пример ISO 1207 и рабочих продуктов
Пример модели процессов — ISO 1207, приведённый в приложении к ISO/IEC 15504. Там же описаны периметры рабочих продуктов — содержание основных артефактов, рабочих продуктов или результатов процессов. ISO 1207 отказался от описания результатов, оставив краткие характеристики и свободу компаниям. Но в базовой модели для ISO/IEC 15504 результаты добавили. Поэтому требования к оценке ужесточились: если документы или артефакты отличаются от описанных, процесс не находится на ожидаемом уровне возможностей.
Переход к ISO/IEC 33000
ISO/IEC 15504 заменён разрабатываемым стандартом ISO/IEC 33000. Идёт перевод на русский язык; часть частей выходит как ГОСТ Р ИСО/МЭК 33..., часть — под другими номерами. В таксономии ISO для него зарезервировано до 100 позиций.
Смысл ISO/IEC 33000 в том, что не только базовая процессная модель, но и методы измерения выносятся за рамки процесса оценки. Система атрибутов процессов и рейтингов определяется независимо от базовой модели и остального стандарта. Поэтому возможно несколько базовых моделей и несколько методик измерения; любое их сочетание может давать оценки. Теоретически это сильный шаг, но интерпретация неясна: почему выбирается та или иная система измерений, чем одна лучше другой, почему она связывается с конкретной моделью. Сейчас разработано менее десяти частей, они разрознены. Когда частей станет больше и сложится логическая конструкция, ясность может возрасти.
Краткие итоги
Практическая ценность оценки процессов зависит не от количества собранных оценок, а от возможности понять, как организация решает значимую задачу. Когда оценивается изолированный процесс, высокий балл может создать иллюзию благополучия, но не объяснить результат. Управленческий эффект возникает там, где процессы рассматриваются как взаимосвязанная группа: планирование, контроль, обеспечение качества, проверка и корректирующие действия. Именно такое объединение позволяет отделить формальное наличие практик от реальной способности устойчиво получать нужный результат.
Выбор модели и метода измерения — не техническая формальность. Он определяет, какие выводы можно сделать об организации и как эти выводы будут восприняты рынком. Если модель создана сообществом, но используется для внешней оценки без согласия этого сообщества, возникает конфликт интересов и репутационный риск. Поэтому прозрачность происхождения модели, границ её применения и достигнутого консенсуса становится частью качества оценки.
Стремление упростить оценку за счёт удаления процессов, объединения областей или вынесения методов измерения в отдельный слой не устраняет сложность, а переносит её в интерпретацию. Чем больше комбинаций моделей и методик допускается, тем важнее критерии выбора: что именно измеряем, для какой цели, какие решения будут приняты по результатам. Без такой связи даже теоретически стройная система может дать несопоставимые оценки.
Практическое применение требует сначала определить задачу, затем выбрать модель и метод, а после — проверить, позволяют ли они получить выводы, понятные заказчику оценки. Если результат нельзя объяснить, сравнить или использовать для решения, ценность оценки снижается. Поэтому зрелость подхода определяется не только числом стандартов и уровней, но и ясностью интерпретации, ответственностью авторов моделей и прозрачностью ограничений.
На первый взгляд оценка процессов может быть проще, чем через процессные области и практики. Но стандарт ISO/IEC 15504 технологически проще, однако интерпретировать результаты сложнее. В CMMI профиль процессной области, например управления проектами, позволяет понять, как организовано планирование: низкий уровень — нестабильно, высокий — есть шаблон и опыт. В ISO/IEC 15504 высокий уровень отдельного процесса, например верификации, сам по себе ничего не говорит. Задачу решает группа процессов. Поэтому нужно оценивать вместе обеспечение гарантии качества, менеджмент качества, верификацию, валидацию, ревизию, аудит, решение проблем. Так формируется процессная область обеспечения качества.
Если одни процессы группы на высоком уровне, а другие на низком, однозначный вывод о качестве управления невозможен. В PQA все практики процессной области подчиняются единым требованиям на каждом уровне. В ISO/IEC 15504 оценка идёт по отдельным процессам.
Для применения подхода базовая модель процессов должна не включать требования к планированию, чтобы атрибут планирования применялся независимо. Атрибуты и свойства процессов не должны пересекаться. В ISO/IEC 15504 нет собственной базовой модели. Требуется, чтобы в базовой модели были документированы сообщества по интересам и действия по достижению консенсуса. Если модель используют для оценки, надо выяснить у авторов согласие с такой оценкой и выводами. Иначе авторы невольно вмешиваются в рыночные отношения. Степень консенсуса или его отсутствие документируется.
Пример — ISO 1207 в приложении к ISO/IEC 15504. Там описаны процессная модель и периметры рабочих продуктов — содержание основных артефактов и результатов. ISO 1207 оставлял компаниям свободу в документах, но в базовой модели для 15504 результаты добавили, поэтому оценка ужесточилась: несоответствие артефактов означает иной уровень возможностей.
ISO/IEC 15504 заменён разрабатываемым ISO/IEC 33000. Идёт перевод на русский, части выходят под разными номерами. В ISO/IEC 33000 за рамки оценки выносятся и базовая модель, и методы измерения. Система атрибутов и рейтингов определяется независимо. Возможны несколько базовых моделей и методик; любое сочетание может давать оценки. Теоретически это сильный шаг, но интерпретация неясна: почему выбирается та или иная методика, чем одна лучше другой, почему связывается с моделью. Сейчас частей меньше десяти, они разрознены; когда конструкция станет целостнее, ясность может возрасти.
1. Технологическая простота оценки процессов не гарантирует простоты интерпретации её результатов.
2. В CMMI профиль процессной области позволяет судить о решении задачи, а в ISO/IEC 15504 отдельный процесс сам по себе мало информативен.
3. Задачу решает группа процессов, поэтому оценивать взаимосвязанные процессы нужно совместно.
4. Процессная область обеспечения качества объединяет гарантию качества, менеджмент качества, верификацию, валидацию, ревизию, аудит и решение проблем.
5. Если процессы группы находятся на разных уровнях, однозначный вывод о качестве управления сделать нельзя.
6. Базовая модель процессов должна исключать пересечение атрибутов и свойств, чтобы атрибуты применялись независимо.
7. В ISO/IEC 15504 нет собственной базовой модели процессов.
8. Использование базовой модели для оценки требует документированного согласия или консенсуса сообщества.
9. Добавление результатов и рабочих продуктов в базовую модель ужесточает требования к оценке.
10. ISO/IEC 33000 выносит за рамки оценки и базовую модель, и методы измерения.
11. Сочетание разных моделей и методик расширяет теорию, но затрудняет выбор и интерпретацию.
12. Пока ISO/IEC 33000 состоит из разрозненных частей, оценить его практическую перспективность сложно.
1. Почему интерпретация результатов оценки по ISO/IEC 15504 сложнее, чем по CMMI?
2. Что означает высокий уровень возможностей отдельного процесса в ISO/IEC 15504?
3. Почему задачу решает группа процессов, а не отдельный процесс?
4. Какие процессы имеет смысл оценивать одновременно в области обеспечения качества?
5. Какой вывод можно сделать, если одни процессы группы на высоком уровне, а другие на низком?
6. Зачем в базовой модели процессов разделять атрибуты и свойства процессов?
7. Почему описание процесса не должно включать требования к его планированию?
8. Какие требования предъявляются к базовой модели процессов в ISO/IEC 15504?
9. Почему важно выяснять согласие авторов базовой модели на её использование для оценки?
10. Как добавление рабочих продуктов в базовую модель влияет на строгость оценки?
11. Что изменилось в ISO/IEC 33000 по сравнению с ISO/IEC 15504?
12. Какие проблемы интерпретации возникают при независимом выборе базовой модели и метода измерения?
