measurement

Как обеспечить комплексную систему измерения процессов управления информационными технологиями? Кто является потребителем результатов измерения и для чего они используются? Попробуем найти ответы на эти вопросы, объединяя стройную теорию с передовой проектной практикой.  

ИТ-процессы

Текущая деятельность ИТ-подразделений может быть представлена как система взаимосвязанных процессов управления ИТ (ИТ-процессов). ИТ-процессы обеспечивают эффективное применение информационных технологий для удовлетворения потребностей заказчиков. «Эффективность» здесь означает, что:

  • информационные технологии формируют ценность для заказчиков (приносят пользу, повышая производительность бизнес-процессов и/или снижая действующие на эти процессы ограничения);
  • затраты на информационные технологии рациональны и контролируются;
  • риски, связанные с использованием информационных технологий, также контролируются и сведены к приемлемому уровню.

Зачем и для кого выполняются измерение и оценка

Для обеспечения максимальной эффективности с учётом меняющихся требований, влияния среды и других факторов ИТ-менеджеры должны выполнять оценку процессов и корректировку их работы. Это означает, что менеджерам необходимо быть уверенными в том, что процессы, за которые они отвечают, функционируют оптимально, а при необходимости – вовремя идентифицировать отклонения в работе процессов и инициировать корректирующие действия.
В свою очередь руководители, курирующие систему управления информационными технологиями со стороны высшего руководства или инвесторов (то есть лиц, заинтересованных в эффективном применении ИТ), хотят быть уверенными в том, что действующая система управления ИТ решает поставленные перед ней задачи.

Таким образом, измерение и оценка ИТ-процессов выполняются в интересах двух основных групп заинтересованных лиц (stakeholders):

  • инвесторов, заказчиков, высшее ИТ-руководство, внешних регуляторов интересует:
    • в какой степени система управления ИТ решает поставленные задачи (результативность / effectiveness);
    • предусмотрены ли и как действуют управленческие механизмы, обеспечивающие должный уровень контроля и изменения системы в ответ на новые требования (соответствие / compliance);
  • ИТ-менеджеров интересует текущее состояние процессов с точки зрения:
    • содержания и результатов деятельности, а также объёма работ (продуктивность / productivity);
    • рациональности использования ресурсов (рациональность / efficiency).

Что и как измерять и оценивать

Для обеспечения потребностей в измерении и оценке в системе управления ИТ создаются необходимые инструменты – разрабатываются метрики и KPI, реализуются средства сбора и обработки информации о процессах, определяется необходимость привлечения аудиторов и критерии оценки, которые они применяют. Содержание и средства измерения определяются тем, для кого они выполняются (потребителем) и решениями, которые должны приниматься на их основе (назначением).

Результативность ИТ-процессов (effectiveness)

Результативность показывает, насколько данный процесс (или группа взаимосвязанных процессов) соответствует своему назначению, а также достигает поставленных целей. Для разработки метрик и контролей, направленных на измерение результативности, понятия назначения и целей важно различать:

  • назначение определяет роль процесса в системе управления, то есть ответ на вопрос «зачем нужен этот процесс, за что он отвечает». Назначение процесса, как правило, более-менее универсально, то есть мало меняется от компании к компании. Формулировки назначений для ИТ-процессов можно найти в стандартах и сводах знаний, предлагающих процессные модели (COBIT, ITIL®, ISO/IEC 20000);
  • цель процесса определяет, что должен обеспечить процесс в некоторый фиксированный отрезок времени. Цели должны соответствовать критериям SMART (specific, measurable, achievable, relevant, time-bound). В отличие от назначения, цели процесса не только могут, но и должны регулярно верифицироваться и пересматриваться, что является ответственностью владельца процесса.

При правильной формулировке метрики для измерения результативности могут непосредственно формулироваться на основании назначения и целей процесса. Результативность может измеряться и оцениваться на уровне отдельных видов деятельности, процессов и системы управления в целом.

Пример 1. Управление инцидентами и запросами пользователей:
Назначение: обеспечение качества ИТ-услуг за счёт скорейшего устранения инцидентов и своевременного выполнения запросов на обслуживание.
Примеры целей:
  • увеличение доли своевременно решённых инцидентов до 95%
  • увеличение доли обращений, решённых на первой линии, до 50%
Примеры метрик результативности:
  • доля инцидентов и запросов, решённых в срок [%]
  • среднее время решения инцидентов в разбивке по уровню влияния [час]
Пример 2. Управление уровнем ИТ-услуг:
Назначение: обеспечение качества ИТ-услуг за счёт согласования и контроля соблюдения обязательств поставщика ИТ-услуг, а также организации планового совершенствования ИТ-услуг.
Примеры целей:
  • довести уровень удовлетворён¬ности заказчиков качеством ИТ-услуг до 90%
  • обеспечить своевременность формирования отчётов по ИТ услугам на уровне 100%
Примеры метрик результативности:
  • интегральный показатель качества ИТ-услуг (рассчитывается по отчётам о предоставлении ИТ-услуг за период) [%]
  • уровень удовлетворённости заказчиков качеством ИТ-услуг (рассчитывается по результатам опроса заказчиков за период) [%]

Степень соответствия ИТ-процессов требованиям (compliance)

Кроме способности процессов к реализации своего назначения, заказчиков и инвесторов интересует способность процессов и системы управления ИТ в целом к стабильному формированию результатов в условиях внешних и внутренних изменений, а также способность к развитию в ответ на новые требования. Эти способности обеспечиваются зрелостью системы управления ИТ. Зрелость выражается, прежде всего, в уровнях формализации и контроля, действующих в отношении той или иной деятельности. Важно отметить, что определённый уровень зрелости характеризует не саму деятельность, но действующую в отношении неё практику управления:

  • зрелость процесса – характеристика, позволяющая оценить насколько тщательно и формально в рамках процесса контролируются входящие в его состав виды деятельности;
  • зрелость системы управления или зрелость организации характеризует практику контроля, действующую в организации в отношении процессов.

Оценка уровня зрелости обычно выполняется с использованием так называемых «моделей зрелости» (maturity models). Модели зрелости могут быть самостоятельными сводами знаний или входить в состав других сводов знаний и стандартов. Наиболее известные модели зрелости:

  • Capability Maturity Model (CMM), разработанная Software Engineering Institute of Carnegie Mellon University. Эта модель была принята за основу при разработке модели зрелости процессов в составе COBIT (до версии 4.1 включительно);
  • ISO/IEC 15504 «Information technology – Process assessment». Эта модель была принята за основу при разработке модели зрелости процессов управления ИТ, вошедшей в состав новой – пятой – версии COBIT.

Пример оценки уровня зрелости группы процессов ITIL представлен на следующем рисунке:

Пример оценки уровня зрелости группы процессов ITIL

Контроль степени соответствия может выполняться как внутренними процессами системы управления, так и внешними аудиторами. На практике важно найти правильную комбинацию внутреннего и внешнего контроля, обеспечивающую требуемую объективность, регулярность и уровень детализации. Например, у одного из наших клиентов за внутренний контроль отвечал отдельный ИТ-процесс, который так и назывался «Контроль и оценка», а эффективность внутреннего контроля проверялась привлечением внешних аудиторов.

Рациональность использования ресурсов (efficiency)

Результативность процессов обеспечивается за счёт использования ресурсов организации, расходуемых на исполнение процессов и обеспечение их зрелости. Контроли – как специализированные, так и универсальные – используют информацию, приложения, инфраструктуру и персонал. Метрики рациональности характеризуют количество ошибок, возникающих при исполнении процесса, а также использование тех или иных механизмов сокращения трудозатрат.

Основной принцип обеспечения и оценки рациональности системы управления можно сформулировать так: стоимость владения системой управления и её контроля не должна превышать ценности, формируемой в результате функционирования этой системы с учётом контролируемых рисков.

Продуктивность процесса (productivity)

Метрики продуктивности характеризуют объём работ по исполнению и контролю процесса. Это очень важный фактор и на этапе проектирования, и на этапе исполнения процесса. Например, при проектировании процесса управления изменениями важно понимать, какой поток изменений ожидается, прежде чем записать в регламент процесса «Все изменения рассматриваются на CAB (Change Advisory Board, комитет по управлению изменениями)». На этапе исполнения изменение входного потока процесса может влиять на показатели его результативности, степени соответствия и рациональности. Например, увеличение потока инцидентов с 8 000 до 15 000 в месяц (за счёт неудачного внедрения новой ИТ-системы) может существенно снизить значение метрики результативности «Доля инцидентов и запросов пользователей, решённых в срок». Поэтому показатели продуктивности также должны включаться в рассмотрение при выполнении оперативного контроля и оценки процессов.

Структура и принципы реализации системы измерения и оценки

Общая структура системы измерения и оценки представлена ниже:

структура системы измерения и оценки

Такая структура определяет направления измерения и оценки, а также потребителей результатов измерения, которые отвечают за проведение оценки и принятие соответствующих управленческих решений.

На практике при реализации системы измерения и оценки важно соблюдать ряд правил:

  • разрабатывать содержание и средства реализации системы контроля и оценки, ориентируясь на конкретных потребителей и принимаемые ими управленческие решения;
  • комбинировать разные направления контроля и оценки, обеспечивая комплексный взгляд на систему управления. Игнорирование тех или иных факторов может привести к серьёзным перекосам в принимаемых решениях. Например, акцент на степени соответствия процесса без внимания результативности может привести к избыточному документированию и «процессу ради процесса». И наоборот – внимание только к результатам (без должного документирования, контроля и так далее) может привести к тому, что высокие результаты вчера будут потеряны завтра (из-за смены персонала, изменения потока работ и других факторов);
  • регулярно пересматривать систему измерения и оценки, обеспечивая соответствие текущей практики управления задачам и условиям среды.

Соблюдение перечисленных правил помогает спланировать и реализовать эффективную систему управления информационными технологиями, поддержанную адекватными средствами измерения и оценки.

 

Роман Журавлёв            Роман Журавлёв

Менеджеры по работе с клиентами

Карина Усищева
Карина Усищева
Марина Колесникова
Марина Колесникова
Анжелла Шленская
Анжелла Шленская