Оценка эффективности обучения

Оценка обучения по Киркпатрику

 Большой вклад в теорию и практику оценки эффективности обучения внес американец Дональд Кирпатрик.

В 1959 году он предложил концептуальный подход к оценке тренинговых программ, который стал классическим. Любой специалист по оценке сегодня просто обязан знать четыре уровня оценки "по Киркпатрику". Интересно, что вокруг предложенного Киркпатриком подхода не умолкают споры, однако его модель оценки обучения остается одной из базовых, а его книги – наиболее цитируемыми. Классик и ныне здравствует, хотя уже отошел от активного бизнеса. Он сделал блестящую карьеру; написал несколько книг, ставших бестселлерами и принесших ему мировую известность.

Итак, что же предложил Киркпатрик? 

Четыре уровня, по Кирктпатрику, определяют последовательность проведения оценки обучения (тренинга). Он пишет: "Каждый уровень важен и влияет на следующий за ним уровень. При переходе от уровня к уровню процесс оценки становится более трудным и требует больше времени, но при этом позволяет получить более ценную информацию. Ни один из уровней не может быть пропущен просто потому, чтобы сконцентрировать на том, что тренер считает наиболее важным" (надо заметить, что многие специалисты не согласны с этим утверждением Киркпатрика). Вот знаменитые четыре уровня по версии автора:

Уровень1. Реакция

Оценка на этом уровне определяет, как участники программы реагируют на нее. Сам Киркпатрик называет это оценкой удовлетворенности потребителей . В случае, когда обучение проводится внутри фирмы, реакция участников не всегда интерпретируется как удовлетворенность потребителей. Дел в том, что участие в таких тренингах бывает обязательным. У людей просто нет выбора. Руководство компании определяет необходимость данного тренинга и обязывает сотрудников принимать в нем участие. Казалось бы, в этом случае, нужно говорить о реакции руководства. Киркпатрик подчеркивает, что и в этом случае реакция участников является очень важным критерием успешности тренинга, как минимум, по двум причинам .

Во-первых, люди так или иначе делятся своими впечатлениями от тренинга со своим руководством, и эта информация уходит выше. Следовательно, она влияет на принятие решений о продолжении тренинга.

Во-вторых, если участники не будут реагировать позитивно, то у них не будет мотивации к научению. По мнению Киркпатрика, позитивная реакция не гарантирует успешного освоения новых знаний, умений и навыков. Отрицательная же реакция на тренинг почти наверняка означает уменьшение вероятности научения.

Уровень2. Научение

Научение определяется как изменение установок, улучшение знаний и совершенствование навыков участников в результате прохождения ими программы обучения. Киркпатрик утверждает, что изменение поведения участников в результате тренинга возможно только тогда, когда произойдет научение (изменятся установки, улучшатся знания или усовершенствуются навыки).

Уровень3. Поведение

 На этом уровне происходит оценка того, в какой степени изменилось поведение участников в результате обучения. Киркпартик указывает на то, что отсутствие изменений в поведении участников не означает, что тренинг был неэффективен . Возможны ситуации, когда реакция на тренинг была позитивной, научение произошло, но поведение участников в дальнейшем не изменилось, поскольку для этого не были соблюдены необходимые условия. Поэтому отсутствие изменения поведения участников после тренинга не может быть поводом для принятия решения о прекращении программы. Киркпартик рекомендует в этих случаях кроме оценки реакции и научения проверить наличие следующих условий : *Желание участников изменить поведение.

• Наличие у участников знаний о том, что и как делать.
• Наличие соответствующего социально-психологического климата.
• Поощрение участников за изменение поведения.

Говоря о социально-психологическом климате, Киркпатрик имеет в виду прежде всего непосредственных руководителей участников обучения. Он выделяет пять видов "климата": запрещающий, обескураживающий, нейтральный, поддерживающий, требующий. Позиция руководителя, соответственно, меняется от запрета на изменение поведения до требования изменить поведение после окончания тренинга. Киркпатрик считает, что единственный способ создания позитивного климата – вовлечение руководителей в разработку учебных программ.

Уровень4. Результаты

К результатам относятся изменения, которые произошли в связи с тем, что участники прошли обучение. В качестве примеров результатов Киркпатрик приводит увеличение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров. Киркпатрик настаивает на том, что результаты не следует измерять в деньгах . Он считает, что перечисленные выше изменения могут, в свою очередь, приводить к увеличению прибыли.

Киркпатрик пишет: "Меня разбирает смех, когда я слышу, что профессиональные тренеры должны уметь показывать выгоду для клиента в терминах возврата на инвестиции в тренинг. То же самое я думаю о связи между тренинговыми программами и прибылью. Вы только представьте себе все факторы, которые влияют на прибыль! И можете добавить их к списку факторов, влияющих на возврат на инвестиции".

По мнению Киркпатрика, оценка на этом уровне – самая сложная и дорогостоящая. Вот несколько практических рекомендаций, которые могут помочь в оценке результатов:

• если возможно, использовать контрольную группу (не проходившую обучение),
• проводить оценку через некоторое время, чтобы результаты стали заметны,
• проводить оценку до и после программы (если это возможно),
• провести оценку несколько раз в ходе программы,
• сопоставить ценность информации, которую удастся получить с помощью оценки и стоимость получения этой информации (автор считает, что проведение оценки на 4 уровне не всегда целесообразно в связи с ее высокой стоимостью).

В своей книге «Оценка программ обучения: Четыре уровня» (Evaluating Training Programs: The Four Levels), вышедшей в 1994 году, Киркпатрик полагал, что оценка результатов на более высоком уровне по шкале успешности требует значительно больших усилий и ресурсов, чем на более низком уровне, то есть на первом уровне оценивать проще и дешевле, чем на четвертом уровне. Это самый главный аргумент (сделанный Киркпатриком лично) в пользу того, чтобы оценивать тренинг на первом уровне в 95 % случаев, и только в 5—10 % оценивать его на четвертом уровне.

Оценка обучения по Филлипсу

Но в 1991 году Джек Филлипс доказал возможность расчета экономической оценки и предложил его алгоритм.

 К уже существующим четырем уровням добавился еще один – коэффициент возврата на инвестиции в обучение (Return of Investment — ROI). Проще говоря — какую прибыль получила компания от определенных бизнес-результатов, полученных после обучения сотрудников.

Таким образом, эффективность в терминах влияния на бизнес-показатели можно измерять в двух направлениях:

• просто зафиксировать изменение (4-й уровень по Киркпатрику)
• перевести его в ROI, изолировав эффект от обучения и учтя затраты на обучение (5-й уровень по Филлипсу).

ROI нужно считать ТОЛЬКО для длительных, комплексных (и, как правило, дорогостоящих) программ. Джек Филипс считает, что возврат инвестиций нужно считать лишь у 5—10% всех программ обучения в компании — наиболее длительных, дорогостоящих и стратегически важных.

Наибольшее количество вопросов и сомнений вызывает подсчет ROI. Большинство считают, что ROI субъективен, посчитать его сложно и затратно. Основная проблема в том, что невозможно при подсчете дополнительного дохода, полученного от обучения, нивелировать все остальные факторы, которые могли оказать влияние на этот доход.

Но всё же, менеджер по персоналу и руководители должны понимать определенную методологию оценки ROI. Расчет ведется по формуле:

ROI = ((Доход от обучения – затраты) / Затраты) х 100 %

Для расчета ROI необходимо провести оценку затрат и прибыли от программы обучения по следующим этапам:

• Собираются данные для четвертого уровня оценки, задав вопрос – возможно ли оценить выгоду от применения новых знаний, навыков.
• Эффекты обучения изолируются от других факторов, влияющих результат обучения.
• Полученные результаты переводятся в материальные ценности. Филипс рекомендует разделить результаты обучения на категории hard и soft.

Категория hard подвергается традиционному измерению эффективности деятельности организации, данная информация объективна, легко измерима и легко переводиться в материальный эквивалент. Категория включает в себя: получаемый продукт на выходе (измеряется решенными задачами, выполненными проектами); качество (измеряется количеством брака, переделок); время (измеряется временем вынужденной простойки, количеством переработок сотрудников, вовремя законченными проектами); затраты.

Категория soft включает такие вещи как рабочие привычки (опоздания, отсутствие на рабочем месте); рабочую атмосферу (конфликты, удовлетворенность работой); отношения (лояльность, восприятие); инициатива (высказывание новых идей, количество предложений сотрудника).

• Рассчитывается общая сумма затрат на обучение
• Проводиться сравнение денежного эквивалента полученных выгод с затратами

Нематериальные выгоды полученные от программы, могут быть представлены как дополнительные, непереводимые в деньги, и как подтверждение того, что программа успешна.

При внедрении оценки ROI организация получит возможность:

• Показать, что увеличение продуктивности организации напрямую зависит от обучения сотрудников
• Оценить программу обучения как бизнес-инструмент
• Оправдать затраты на обучение
• Улучшить программу обучения