Оценка эффективности тренинга

Материал размещен на сайте HRM.RU 

По окончании тренинга важно оценить его эффективность. Это значит, что нужно понять, достигнуты ли поставленные цели, проконтролировать качество проведения тренинга, рассчитать эффективность затрат на обучение и определить его практическую ценность - насколько успешно новые знания и навыки применяются на рабочем месте.

Результаты оценки важны для совершенствования программы конкретного тренинга, а также для дальнейшего планирования профессионального обучения сотрудников и развития системы обучения в компании в целом. Если до начала тренинга не разработать чётких методик и критериев его оценки, скорее всего, он кажется неэффективным. Методики и критерии готовит тренер или тренинг-менеджер (нередко привлекаются и непосредственные руководители будущих участников); с ними обязательно нужно знакомить и сотрудников, направляемых на тренинг, и их непосредственных руководителей.

На сегодняшний день исходной для построения систем оценки эффективности обучения является модель Киркпатрика (Donald Kirkpatrick), предложенная автором ещё в 1959 году. Исследователь выделяет четыре уровня оценки:

1. Реакций.

2. Усвоения.

3. Поведения.

4. Результатов.

Рассмотрим подробнее каждый из уровней.

1. Уровень реакций. Мотивация к обучению является критическим фактором его успешности - люди учатся лучше, когда они позитивно относятся к целям и к самой ситуации обучения, а также к тренеру. На этом уровне фиксируются субъективные мнения, суждения и оценки участников тренинга. Оцениваться может как тренинг в целом, так и его отдельные части и аспекты.

Чтобы увидеть по возможности объективную картину сильных и слабых сторон тренинга, необходимо использовать методы получения обратной связи, которые отвечают следующим критериям:
 

• дают полезную для анализа информацию;
• предоставляют участникам свободу высказывания;
• не являются излишне подробными (чтобы у слушателей не исчезло желание принимать участие в оценочных процедурах).

Наиболее распространённый способ получения обратной связи от группы - анкетирование. Его популярность объясняется минимальными временными затратами и низкой стоимостью; как правило, заполнение анкеты (или опросного листа) не вызывает трудностей ни у участников, ни у организаторов тренинга.

Менее известны такие способы фиксации оценок участников, как ведение дневников, написание эссе, проведение группового обсуждения или итогового занятия по завершении тренинга. Информация, полученная с помощью таких методов, менее структурирована и стандартизована, её сложнее обрабатывать (особенно при большом количестве участников). Эти методы не только более трудоёмки, но и требуют квалифицированной интерпретации собранных данных.

Ключевой вопрос: достигнуты ли цели обучения с точки зрения участников тренинга?

Главное, что нас интересует на этом уровне (при любых способах оценки) - эмоциональное состояние участников, интерес, внимание, их мнение о качестве тренинга (полезность, уровень сложности материала и упражнений).

Для изучения субъективных оценок участников можно предложить несколько апробированных автором методик (их имеет смысл использовать в основном сразу по завершении тренинга):
 

• опрос;
• анкетирование;
• коллаж;
• мишень или «дартс».

Опрос. Проводится в форме интервью, группового обсуждения, дискуссии. При групповом обсуждении тренер, как правило, задаёт схему/структуру отзыва - указывает, на какие моменты нужно обратить внимание при оценке.

Например: какое самое яркое впечатление от тренинга у меня осталось; что полезного я для себя я вынес; какие рекомендации могут дать себе и группе; основной вывод, который я сделал за эти дни, и т.п. Затем участники по очереди высказывают своё мнение. Подобная оценка тренинга делается сразу по завершении обучения.

Анкетирование. Участники заполняют заранее подготовленную оценочную анкету, в которую включён стандартизованный набор вопросов. С помощью анкеты тренер и тренинг-менеджер могут оперативно оценить такие параметры, как уровень организации тренинга, первое впечатление, вызванный интерес, качество содержания, полезность для практической деятельности приобретённых знаний и навыков и т.п. Эта информация также поможет принять решение о необходимости дальнейшего обучения внутреннего тренера или о продолжении сотрудничества с внешним.

Заполнять анкеты можно:
 

• по окончании каждого модуля или тренингового дня (это так называемый летучий контроль, он позволяет тонко «настраивать» программу на конкретную группу, «на ходу» оценивать эффективность новых упражнений, тренинговых материалов и методов);
• сразу по окончании тренинга (участники лучше могут оценить и программу тренинга в целом, и качество работы тренера);
• через несколько дней после его завершения (в таком случае участники лучше смогут оценить практическую ценность полученных знаний и умений).

Собирает анкеты тренер, тренинг-менеджер, или сами участники могут выслать их по электронной почте.

Отзывы участников при обсуждении тренинга часто бывают очень эмоциональны, но они дают достаточно фрагментарную информацию. Данные анкет, как правило, оказываются более рациональными и содержательными.

Коллаж. Во время проведения тренинга делаются фотографии, которые нужно оперативно напечатать. Участникам тренинга предлагается, используя эти снимки, иллюстрации из старых журналов, открытки и другие визуальные материалы, сделать коллаж. Тему для него задаёт тренер, например: «Этого я никогда не забуду...», «Это очень важно для моей профессиональной работы...» или «Что я узнал и чему научился...».

При работе над коллажем большую группу лучше разбить на несколько подгрупп, каждая из которых выполняет коллективные работы на одну-две предложенные темы (в зависимости от временных ресурсов). После завершения работы подгруппы меняются коллажами и комментируют полученные материалы. Можно устроить и общий «вернисаж». Тональность работ, выбор фрагментов, их эмоциональная окраска, общий настрой комментариев - всё это качественные оценки, которые фиксируются и анализируются в дальнейшем.

Чем полезна такая форма оценки? Во-первых, в процессе работы участники самостоятельно вспоминают весь тренинг и тем самым закрепляют полученные знания, вырабатывают к ним осознанное отношение, понимают их практическую ценность.

Во-вторых, поскольку интерпретация коллажа - это проективная методика, анализ работы «не авторами» позволяет вскрыть некоторые нюансы, которые группа (или конкретный участник) не осознаёт.

Мишень («дартс»). Это хороший способ визуализировать оценки (и индивидуальные, и особенно - групповые). Оценочкая шкала изображается на доске, флипчарте или листе ватмана в виде концентрических кругов - «мишени». Каждому кругу мишени сопоставлен балл оценки. Мишень разбивается на секторы, представляющие все рассматриваемые параметры: удовлетворённость формой подачи материала, качество преподавания, практичность материала, доступность для понимания, информативность, актуальность и т.д. Каждый участник оценивает тренинг, отмечая фломастером на мишени баллы, соответствующие его оценке каждого параметра. Можно нарисовать на мишени отдельно для каждого из параметров или использовать настоящую мишень для игры в «дартс», на которую участники смогут наклеивать цветные стикеры.

Такая методика даёт возможность получить наглядную и достаточно «объёмную» характеристику проведённого занятия. Организаторы и тренер тоже видят (в буквальном смысле слова) насколько тренинговая группа достигла цели - попала «в яблочко» или в «молоко».

Барометр. Это хорошая методика, позволяющая оценить общую групповую «погоду» на тренинге, оперативно «измерить» какой-нибудь из его аспектов: качество, практичность, доступность материала и т.д. В этой методике используется шкала, стилизованная под всем известный гидрометеорологический прибор (отсюда и название - «барометр»). Слушатели подходят к рисунку (на доску, флипчарте или отдельном плакате) и по очереди цветными фломастерами отмечают свои оценки.

Последние две методики экспресс-оценки достаточно эффективны тогда, когда на подведение итогов остаётся немного времени.

Люди учатся, когда они позитивно относятся к целям и к самой учебной ситуации, а также к тренеру
Полезную информацию можно получать, только используя четкие методы измерения

2. Уровень усвоения. При разработке программы тренинга ставятся реальные прагматичные цели - помочь людям повысить результативность деятельности на рабочем месте или освоить новые технологии. Поэтому на уровне усвоения оценивается, насколько усовершенствовались знания, развились умения и изменились установки участников, что они смогут использовать на своём рабочем месте.

Ключевой вопрос: чему научились участники?

Оценить произошедшие изменения можно только в сравнении с исходным уровнем знаний, умений и установок (или с принятыми корпоративными стандартами). Поэтому так важно ещё на этапе подготовки программы тренинга параллельно разработать и чёткие методы измерения результатов обучения:
 

• Какие знания приобрели участники?
• Какие умения были улучшены (или какие новые сформированы)?
• Какие установки изменились?

На этом этапе традиционно используются такие методы оценки, как профессиональные и поведенческие тесты, тематические опросники, контрольные упражнения, наблюдение и т. д. Оценивать прогресс участников в результате обучения необходимо индивидуально, прогресс общегрупповой работы (при необходимости) оценивается дополнительно - например, если тренинг проводился для проектной группы.

Результаты оценки на этом этапе на самом деле важнее для тренера, чем для участников, поскольку он может понять насколько эффективными оказались выбранные им стратегия и методы обучения.

3. Уровень поведения. Цель тренинга - помочь участникам усовершенствовать знания и навыки для того, чтобы лучше выполнять свою работу (на уровне корпоративных стандартов) или освоить новую технологию. Говоря о «поведении», Крикпатрик прежде всего имел в виду результаты поведения на рабочем месте, то есть практичность. Поэтому на данном уровне важно оценить практические результаты тренинга: используются/реализуются ли приобретённые участниками знания, умения и установки в рабочих ситуациях (в отличие от учебных) и насколько эффективно они используются в рамках профессиональной деятельности.

Ключевой вопрос: применяют ли участники новые знания и умения на рабочем месте?


Оценить изменения рабочего поведения «на глазок» - «иногда использует», «стал работать лучше/быстрее» и т.д., конечно, можно. Часто этим руководство и ограничивается, хотя такой «метод» мало что даёт для оценки эффективности обучения. Но полезную информацию можно получить, только используя чёткие методы измерения. Как правило, они разрабатываются для каждого конкретного тренинга ещё на этапе планирования его программы.

Для сравнения нового рабочего поведения с прежним (или с установленными корпоративными стандартами) используются как формальные методы (квалифицированный экзамен, аттестация, выполнение контрольных заданий на рабочем месте), так и неформальные (структурированное наблюдение, ведение рабочих дневников и т.д.).

Обучение сотрудников имеет смысл для организации лишь в том случае, если они не просто применяют новые знания и умения, но с их помощью работают быстрее, качественнее, результативнее. Поэтому этот вид оценки проводится только спустя некоторое время после завершения тренинга, когда участники смогут попрактиковаться в применении новых знаний и умения на рабочем месте. Этот вид оценки может проводить и тренер, и тренинг-менеджер, но к нему обязательно привлекают непосредственных руководителей участников тренинга.

4. Уровень результатов. Компания вкладывает деньги в обучение своих сотрудников для того, чтобы провести определённые изменения: повысить производительность труда, снизить издержки, освоить новую продукцию, внедрить новое оборудование и технологии и т. п. Поэтому необходимо оценить влияние результатов обучения на деятельность всей организации. Это также финальная оценка тренинга в целом.

Ключевой вопрос: каковы бизнес-результаты тренинга?

На практике достаточно трудно изолированно оценить влияние программы обучения (тем более отдельного тренинг) на изменение деятельности крупной организации. Скорее можно установить связь между обучением и организационным развитием. Тем не менее, многие организации проводят такую форму оценки, используя для этого различные бизнес-показатели (и конечные, и промежуточные): увеличение продаж, рост прибыли, сокращение издержек, увеличение доли рынка, повышение качества; снижение процента брака, количества рекламаций или жалоб клиентов, текучести кадров, числа конфликтов; повышение удовлетворённости сотрудников; формирование новых эффективных команд и т. д.

Сбор такого рода информации требует серьёзной аналитической работы, времени, финансовых ресурсов и скоординированных усилий многих подразделений компании. Вряд ли стоит проводить её для типового тренинга продаж, адресованного сотрудникам небольшого магазина, да и в крупной компании имеет смысл оценивать бизнес-эффект целостных программ обучения. Такая задача под силу корпоративному учебному центру или университету.

Итак, по мере того как мы продвигаемся с первого по четвёртый уровень, процесс оценки становится всё более сложным и затратным - с точки зрения и временных затрат, и финансовых. Тем не менее, его результаты исключительно важны. Чаще всего эффективность тренинга (да и многих крупных корпоративных программ обучения) оценивается только на первом уровне. Это наиболее простой вид оценки, предоставляющий наимеYее ценную информацию (как для тренера, так и для компании). Измерение результатов на четвёртом уровне - влияние на деятельность организации в целом - даёт наиболее ценную информацию, но оно значительно труднее, поэтому используется реже.

Оценка на первых трёх уровнях модели Киркпатрика: реакции, усвоения и поведения является своего рода «мягким» (soft) измерением, в то время как менеджеры, принимающие решение о проведении тренингов и обучающих программ, предпочитают более «жёсткие» (hard) финансовые показатели, такие как возврат на инвестиции, прибыль и т. п.

«Мягкая» оценка позволяет оценить успешность и полезность тренинга, она необходима и тренеру для усовершенствования программ, и тренинг-менеджеру - для планирования дальнейших программ обучения, и линейным менеджерам - для оценки квалификации сотрудников и определения новых рабочих заданий, и топ-менеджерам - для планирования развития человеческих ресурсов компании.

Оценить влияние результатов программы обучения на повешение эффективности организации в целом можно по различным направлениям:
 

• финансы (ROI);
• клиенты (маркетинговые показатели);
• внутренние аспекты (усовершенствование бизнес-процессов);
• обучение (трансформации корпоративной культуры, поддерживающие новые ценности - изменения, инновации, личностный рост).

В последнее время с повышением роли клиентоориентированности компаний топ-менеджеры всё больше внимания обращают на такие параметры, как удовлетворённость или лояльность клиентов, рассматривая их как своего рода «мягкий» вариант коэффициента возврата на инвестиции (soft-ROI).

При оценке эффективности тренинга необходимо иметь в виду ещё один аспект этого вопроса. Хорошее первоначальное обучение позволяет команде достаточно быстро достичь приемлемого уровня выполнения работы. Однако через некоторое время производственные показатели нередко начинают ухудшаться. Часто у сотрудников, прошедших обучение, возникает чувство нереализованности своих возможностей и недовольство собой.

Причины таких негативных явлений, как правило, не связаны с тренингом, они лежат в сфере управления. Если на старом месте работы ничего не изменилось (ни организация деятельности, ни форма постановки задач, ни сферы ответственности, ни система стимулирования), работники не смогут применить там новые знания и навыки. Всё это вызывает чувство неудовольствия. Готовность компании воспользоваться результатами обучения также во многом зависит от организационного климата. Нередко и само направление на обучение даёт работникам ложные надежды, связанные с улучшением условий работы, продвижением по службе и т. д. Если после тренинга никаких изменений в карьере не происходит, сотрудник начинает негативно относиться не только к своим руководителям, но и к тем, кто его обучал.

Разового тренинга недостаточно для того, чтобы добиться устойчивых изменений в профессиональной деятельности или поведении сотрудников. Долгосрочный стабильный эффект даёт только систематическое и системное обучение. Повысить эффективность тренинга могут специальные программы закрепления навыков (посттренигового сопровождения), помогающие отслеживать проявление новых форм поведения в реальных рабочих ситуациях, проводящие «точечное» дообучение тех, кому это необходимо.

Хорошо организованное внутренне обучение позволяет провести диагностику сильных и слабых сторон компании, увидеть её скрытые резервы и нереализованный пока потенциал сотрудников. Грамотно выстроенная система внутрикорпоративного обучения (разработанная с учётом целей организации в целом, задач конкретного подразделения и потребности личности) напрямую влияет на успешность работы всех компании, улучшает её финансовые результаты, наращивает конкурентоспособность. Она повышает мотивацию сотрудников, эффективность индивидуальной и групповой работы; позволяет новичкам ускорить адаптацию в организации, узнать специфику работы; зачисленным в кадровый резерв даёт возможность быстрее приобрести навыки и знания, необходимые для продвижения.