Оценка эффективности обучения: что, зачем и как оценивать

Сайт: http://www.trainings.ru 
Материал размещен на сайте treko.ru


Кабинетное исследование компании «Амплуа-Брокер» на тему «Оценка эффективности обучения», проведенное в марте 2008 года, показало, что в рамках данной темы обсуждают всё подряд - от степени удовлетворенности сотрудников обучением и возврата инвестиций до количества тренингов на одного сотрудника.Большинство найденных публикаций в он-лайн и печатных СМИ (48 из 74, т.е. 65%) написаны сотрудниками поставщиков услуг по обучению и развитию. Это говорит о том, что провайдеры занимают довольно активную позицию в вопросе оценки эффективности обучения, т.е. своей же работы. Другое дело, что советы, даваемые в публикациях, представляют собой «винегрет», состоящий из несочетаемых компонентов или с случайно затесавшимся ингредиентом.

Некоторые предлагают оценивать эффективность по размеру бюджета на обучение 1 человека, считая, что чем больше бюджет, тем лучше работает система обучения. Другие оценивают эффективность обучения по оценкам участников тренинга (чем выше оценка, тем лучше обучение). Третьи считают, что показатель эффективности T&D - это оценка внутренними клиентами работы T&D отдела.

В качестве иллюстрации существующей на рынке путаницы в оценке эффективности приведу результаты исследования компании Profi Online Research «Способы повышения квалификации сотрудников как оружие в конкурентной борьбе» (2007 год). Респондентов просили ответить на вопрос: «Какие способы оценки [эффективности] используются в вашей компании?» Предлагалось выбрать варианты из списка:
 

• Оценка возврата на инвестиции
• Оценка уровня текучести кадров
• Оценка удовлетворенности клиентов компании
• Оценка производительности отделов, организации в целом
• Оценка изменений в рабочих навыках сотрудников
• Оценка изменений в результативности работы сотрудников
• Опрос сотрудников после обучения

Не будем придираться к формулировке вопросов. Заметим лишь, что авторы исследования смешали в одну кучу способы оценки (ROI и опрос сотрудников после обучения) и отслеживание ключевых бизнес-показателей компании (текучесть персонала, производительность и т.д.). Если быть до конца корректными, вопрос стоило разделить на два: «Какие способы оценки эффективности Вы используете?» и «По каким бизнес-показателям оцениваете эффективность программ обучения?».

Другая иллюстрация - цитата из статьи "Критерии эффективности кадровой работы в компании" (автор: Николай Антонович Чижов, кандидат философских наук, профессор, директор Института клиентских и кадровых технологий, 2007 год). Автор пишет: «Важно понимать, что показателем эффективности кадровой работы является рост удельного вложения в людей, в принимаемые кадровые решения: доля средств на обучение сотрудников (в расчете на 1 сотрудника), в их развитие, обучение, поощрение и т. п.»

Бюджет на обучение 1 сотрудника не говорит об эффективности ровным счетом ничего, он демонстрирует серьезность позиций компании в вопросах обучения и развития.

Автор также предлагает оценивать эффективность работы с людьми по такому показателю, как «удельная эффективность кадровых решений (т. е. стоимость этих решений в пересчете на одного кадрового сотрудника) по оценке потребителей (заказчиков) этих услуг». Этот показатель вызывает еще больше сомнений.

К сожалению, в презентациях многих HR и T&D специалистов, посвященных эффективности их работы, полным-полно данных о том, сколько человек они обучили, сколько средств потратили, сколько тренингов провели. Это полезные данные, безусловно, они производят впечатление, но ... они не об эффективности работы.

Когда задают вопрос «Как оценить эффективность обучения?» сразу хочется задать встречный вопрос «Что Вы подразумеваете под обучением?» Конкретную программу? Комплекс программ? Всю систему обучения в компании? Работу T&D отдела? От ответов на эти вопросы зависит выбор метрик (показателей) для измерения.

Букет идей и показателей, сгенерированный HR и T&D человечеством, нужно разделять на три группы и, что очень важно, при выборе каждого показателя отдавать себе отчет, к какой именно эффективности он имеет отношение.

1 группа - показатели оперативной деятельности системы обучения и развития в целом

Они «параметризуют» T&D систему, оцифровывают ее, демонстрируют ее габариты, например, какое количество сотрудников было обучено, сколько проведено программ, какой был выделен бюджет. К эффективности обучения они не имеют никакого отношения.

2 группа - ключевые показатели эффективности (КПЭ, в зарубежном варианте - KPI, Key Performance Indicators) T&D структуры в компании (целого T&D отдела, департамента, или одного сотрудника, или даже половины сотрудника, если он занимается чем-то, помимо обучения персонала). Эти показатели показывают, как T&D отдел использует вверенные ему ресурсы, например, как быстро он реагирует на запрос бизнеса и создает программу, которая решает бизнес-задачу, или насколько внутренние клиенты довольны сервисом T&D структуры.

3 группа - показатели эффективности конкретных T&D программ (курсов, тренингов). Они показывают, полезны ли программы, которые создает и проводит T&D отдел, для бизнеса.

Показатели оперативной деятельности системы обучения и развития персонала

Эта группа показателей относится, прежде всего, к внутренним специалистам по обучению.

Какой бюджет на обучение освоен, сколько человек обучено («покрытие» персонала обучением), сколько методов обучения и развития используется - это не про эффективность, а про деятельность. В отрыве от других показателей эти ровным счетом ничего не стоят.

Показатели оперативной деятельности полезно считать в двух случаях:
 

• если они отслеживаются в динамике в рамках одной компании, при этом компания осознает, к чему она стремится - к понижению или повышению показателя, на сколько процентов в год. При подсчете показателей деятельности важно создавать план конкретных действий, что нужно предпринять, если показатель «пополз» не туда. Здесь провайдеры обучения могут оказать консультационную поддержку заказчику.
• если показатели деятельности сравниваются с такими же по рынку (бенчмаркинг). За рубежом все HR и T&D делают это. Бенчмаркинг - важнейший фактор при определении стратегии обучения, а также определении нужных ресурсов. Например, если в среднем по рынку бюджет на обучение 1 человека 20 000 рублей, а у Вас меньше, Вы либо увеличиваете бюджет, либо выбираете стратегию на использование внутренних ресурсов обучения. А если обнаружится, что Вы инвестируете в обучение больше среднего по рынку, можно говорить об этом потенциальным кандидатам и укреплять тем самым бренд компании, как работодателя.

Примеры показателей деятельности:
              

Показатель деятельности	Комментарий
Бюджет на обучение, как % от ФОТ (от выручки компании, от прибыли компании)	Если он у Вас 3%, при этом Вы не знаете его динамику ни в Вашей компании, ни по рынку - эта цифра не говорит ровным счетом ничего, тем более она ничего не говорит об эффективности.
Бюджет на обучение 1 человека в год	Можно считать по категориям персонала: топ-менеджеры, рабочие, фронт персонал и пр. Даже если компания тратит больше других на рынке на обучение топ-менеджеров, это не говорит о том, что их обучение эффективно.
Интенсивность обучения	Количество часов формального и неформального обучения на человека
Закупочная цена 1 тренинг-дня	Показатель интересен в динамике и в сравнении. Он не должен расти больше, чем растут цены на тренинги на рынке, а по сравнению с другими он должен вести себя так, как предписано стратегией работы с поставщиками (например, Вы решили, что работаете только с самыми дорогими провайдерами, с зарубежными провайдерами или только фрилансерами).
Нагрузка на 1 сотрудника T&D	Средняя численность персонала компании на количество сотрудников T&D структуры. Например, в США этот показатель - 216 человек персонала на одного T&D специалиста. А у Вас
«Пропускная способность» 1 сотрудника T&D	Отношение общего числа тренинг-сессий (внешних или внутренних) к количеству сотрудников T&D структуры.
Стоимость 1 часа обучения	Мировая тенденция этого показателя - к снижению за счет широкого применения электронного и смешанного обучения.

Придумать показатели деятельности - не проблема. Проблема их посчитать, особенно если учет данных в компании не налажен, и собрать данные по компании сложно. Но это нужно делать, чтобы хоть как-то отслеживать динамику T&D деятельности в компании.

Особенно полезен внешний бенчмаркинг. Сейчас на российском рынке есть несколько возможностей участия в бенчмаркинге T&D показателей. Например, PricewaterhouseCoopers (PwC) проводит HR Benchmarking Survey, а AXES Management - AXES Monitor. Два этих исследования представляют собой бенчмаркинги HR показателей компании, небольшая часть исследований относится к обучению и развитию.

С 2007 года компания «Амплуа-Брокер» проводит глубокий бенчмаркинг систем обучения и развития Trainings INDEX, в котором можно сравнить все возможные показатели деятельности вашей T&D системы со средними по рынку в целом и по вашей индустрии.

Вывод: понимать «габариты» системы обучения полезно. Это дает:
 

• понимание, как они меняются из года в год;
• возможность сравнить себя с другими компаниями;
• основу для принятие решений о корректировке «размеров».

Ключевые показатели эффективности (KPI) T&D структуры в компании

Эта группа показателей также относится больше к заботе внутренних специалистов по обучению, но провайдеры обучения играют весомую роль в их достижении и подсчете.

При одном и том же бюджете на обучение разные T&D отделы работают по-разному. Пример: два T&D отдела разработали похожие e-learning курсы за одну и ту же стоимость (приблизительно), но в одной компании завершили обучение по e-learning курсу 95% сотрудников, для кого он предназначался, а в другой - 30%.

Определить KPI довольно сложно (придраться можно к каждому придуманному), но ой как полезно! T&D отделы терпеливо пытаются создать разумные и объективные KPI, чтобы иметь доказательства своей необходимости бизнесу.

Эксперты Trainings.ru собрали коллекцию KPI из разных источников (книги, интернет, беседы с HR и T&D специалистами, проводимые исследования):
 

KPI	Как считать, и как он показывает эффективность
No show	Процент НЕявки на аудиторные занятия - отношение НЕпришедших к подтвердившим свое участие в тренинге. Должен стремиться к 0%
% переноса дат очных занятий от общего количества занятий - Этот KPI иногда зависит и от провайдера	Должен стремиться к нулю.
Проходимость e-learning курсов - Этот KPI напрямую зависит от работы разработчика e-learning курсов	Отношение пройденных до конца курсов к начатым.Подсчитывается только для необязательных к прохождению e-learning курсов. В России с этим показателем беда - сотрудники начинают и бросают курс, потому что он не интересный, медленно грузится, не интерактивный, не информативный и пр.
Текучка поставщиков	Отношение «отбракованных» провайдеров к общему числу подписанных договоров с провайдерами. Лучше считать в периоде больше года - 2 или 3 года. Показывает, насколько качественно проведен отбор и адаптация поставщиков.
Срок вывода новой программы - Этот KPI напрямую зависит от работы тренинговой компании, участвующей в разработке	Время от поступления запроса от бизнеса (в любом виде) до пилота программы. Зависит от сложности программы, но бизнесу ждать некогда - срок должен быть сокращен до минимума при сохранении качества.
Процент программ, оцениваемых по системе Киркпатрика/Филипса	Есть показатели, к которым рекомендуют стремиться Киркпатрик и Филипс:По 1-му уровню должно оцениваться 80-100% программ По 2-му - 40-60% По 3-му - 30% По 4-му - 10-20% По 5-му - 5-10% от общего числа проведенных программ
Процент продвижения участников программ по развитию кадрового резерва в течение года по завершении программы	Идеальный показатель - 100%.
Текучка HiPo до окончания программы по развитию талантов и в течение 2х лет после нее	Идеальный показатель - 0%
Индекс вовлеченности топ-менеджеров	100% топ-менеджеров должны N раз в год (определяет компания) поддержать обучение компании в различных видах: как ученик, как преподаватель, ментор, коуч, в виде мотивирующих на обучение цитатах или статьях в корпоративных или внешних СМИ.
Количество сотрудников, успешно сдавших тесты (экзамены, зачеты) по завершении курсов - Этот KPI напрямую зависит от работы тренинговой компании, вернее, ее тренера	Идеальный показатель - 100%. Что такое «успешно сдали» определяет сама компания.
Развитие компетенций	Улучшение оценок по компетенциям в целом по компании. Например, средняя оценка компетенции «Лидерство» по компании - 3 из 5 возможных, а после проведенного обучения - 4,5 из 5 возможных
Загрузка корпоративного тренера	Скорее говорит об эффективности использования тренерского ресурса (недозагрузка или перегрузка). Считается, что есть оптимальная - 1 тренинг в неделю (1 или 2х дневный).

Вывод: выделение KPI службы обучения или отдельных сотрудников - крайне полезно. Их значения говорят о том, насколько умело вы используете вверенные T&D ресурсы. Значения своих KPI также можно сравнивать (и нужно!) с другими компаниями.

Показатели эффективности T&D программ (курсов, тренингов)

Тренинги и семинары проводятся в компаниях для решения конкретных бизнес-задач (по крайней мере, так должно быть), поэтому в данную группу метрик входят специфические для каждой организации бизнес-показатели:

1. текучесть персонала

2. индекс удовлетворенности клиентов компании

3. показатель абсентеизма персонала

4. частота несчастных случаев

5. индекс удовлетворенности персонала

6. привлечение новых клиентов (индекс притока новых клиентов)

7. повышение производительности

8. рост доли рынка компании

9. сокращение издержек

10. ... и другие бизнес-показатели, важные для компании на настоящий момент

Подобные показатели относятся к общекорпоративной эффективности, на них влияет не только T&D. Тем не менее, во многих компаниях именно их достижение ставят во главу угла при проведении конкретных программ по обучению или комплекса программ.

Например, эффективность тренингов по производственной безопасности измеряется сокращением или полным сведением к нулю числа несчастных случаев. Эффективными тренингами по продажам принято считать те, после которых продажи вырастут. Тренинги по ведению совещаний успешны, если время проведения встреч в компании сократилось.

Да, на достижение этих показателей влияет не только T&D программа, но и система менеджмента или система продаж. Но реалии таковы, что если все хорошо - награды достаются всем, а если нет - первым достается T&D отделу и провайдеру, который проводил тренинг.

Эффективность далеко не всех программ, а только длительных, комплексных (и, как правило, дорогостоящих) можно и нужно определять по достижению бизнес-показателей или возврату на инвестиции. Джек Филипс, создатель инструментария оценки эффективности программ обучения на основе модели Дональда Киркпатрика, считает, что возврат инвестиций нужно считать лишь у 5-10% всех программ обучения в компании - наиболее длительных, дорогостоящих и стратегически важных. Остальные программы (короткие, единичные тренинги) можно и нужно оценивать по прекрасной модели Киркпатрика с 4-мя уровнями.

Оценка программы по 1-му уровню Киркпатрика не имеет отношения к оценке ее эффективности - это обратная связь работе тренера и контенту программы.

Разговор об эффективности программы можно начинать лишь со второго уровня (насколько участники программы усвоили полученные знания). Роль провайдера в этом процессе (оценка по 2-му уровню) переоценить сложно - именно от него ожидается создание опросников и выходных тестов. Если провайдер уверен в силах своего тренера, можно привязать оплату части гонорара к результатам тестирования. Многие провайдеры остерегаются такого подхода, а зря. Предлагая его заказчику, можно договориться о большем гонораре.

Наибольшее количество вопросов и сомнений вызывает подсчет ROI. Большинство считают, что этот показатель необъективен, посчитать его невозможно и прочее. Это миф, созданный теми, кто не пробовал это делать и, скорее всего, даже не знает инструментов его подсчета. «Как бы я хотел получать по 10 долларов каждый раз, когда услышу плач тренера о том, что он не может отделить влияние тренинга от других факторов, действующих в организации», - говорит Джей Кросс (Jay Cross), президент (CEO) Internet Time Group, рассуждая на тему неумения тренеров орудовать ROI-молотком при забивании тренинговых гвоздей.

К сожалению, в русскоязычных публикациях есть только урывочные данные, как можно выделить влияние обучения на бизнес-показатели (например, рост продаж) и что конкретно нужно делать, чтобы подсчитать ROI. Изучение практического инструментария будет требовать от человека не только знания английского языка, но и временных инвестиций в этот процесс. В зарубежных источниках масса кейсов, статей и книг на эту тему, которые дают полноценное понимание процесса.

ROI посчитать вполне реально. Да, этот показатель не лишен субъективности, потому что, например, изоляция эффекта обучения основана на экспертных мнениях людей или предположениях о том, как бы развивался процесс, если бы не обучение. Заметим, что оценка по 1-му уровню Киркпатрика - максимально субъективная, но об этом все забывают, широко используя этот инструмент оценки и делая на его основе выводы об эффективности тренинга. Пока не придумало ничего более «денежного», чем ROI.

Кроме того, нужно понимать, что провайдер в одиночку не оценит возврат инвестиций от программы, которую он проводил у заказчика. Если Вы провайдер, и заказчик просит оценить ROI Вашего тренинга - даже не беритесь. Вовлеченность сотрудников заказчика в процесс сбора данных, необходимых для подсчета ROI (или оценки изменения бизнес-показателей, 4-й уровень по Киркпатрику) - залог успеха процесса оценки эффективности программы обучения.

Например, провайдер провел серию тренингов по ведению совещаний. Предположим, что компания поставила целью этого обучения сокращение времени на совещания и сокращение их количества. Чтобы оценить ROI этой программы обучения, нужно собрать много данных. До программы в течение, например, двух месяцев (или месяца) посчитать, сколько и какой продолжительности проходит совещаний в компании, и какова их средняя стоимость в пересчете на зарплаты участвующих сотрудников. После программы в течение такого же времени собирать те же данные и определить экономию компании в рублях от сокращения количества совещаний или их продолжительности. Процесс изоляции эффекта от обучения в данном случае будет основан на экспертном опросе руководителей компании и участников тренингов. Им задается вопрос: «Насколько тренинги повлияли на полученную выгоду и насколько Вы уверены в этой оценке?» Допустим, средняя оценка влияния обучения на полученную выгоду составила по результатам опроса 80%, а средняя степень уверенности - 90%. В этом случае сумма экономии будет уменьшена на 0.8, а затем на 0.9. Именно скорректированная сумма должна браться для подсчета ROI.

Это небольшой и, конечно, поверхностный пример одного из многих методов подсчета возврата на инвестиции в обучение. Его цель - проиллюстрировать, что это возможно, не более того.

Не нужно думать, что подсчет ROI - тяжкий, изнурительный труд. Начните с легкого пути - выделите один бизнес-показатель, на который должна повлиять ваша программа обучения (серия тренингов), измерьте его до и после обучения, определите прибыль, изолируйте эффект обучения (например, экспертным опросом) и учтите все затраты (не забудьте включить стоимость тренинга в пересчете на зарплаты участвующих сотрудников).

Определение бизнес-показателей, по сути, это честный ответ на вопрос: «Что получит бизнес от тренинга?» Не нужно думать, что не всегда это можно четко определить. ВСЕГДА, если тренинг действительно нужен бизнесу. Отвечайте на вопрос «Зачем козе (бизнесу) баян (тренинг)?», пока не получите ответ. Если будете настойчивы, он придет.

Кстати, по результатам исследования компании Profi Online Research «Способы повышения квалификации сотрудников как оружие в конкурентной борьбе» (3 квартал 2007 года) 9% компаний оценивают возврат на инвестиции программ обучения (выборка - 798 человек).

Вывод: если вы хотите оценить эффективность конкретного тренинга (программы обучения), поднимайтесь до 4-го уровня модели Киркпатрика обязательно и до 5-го уровня (ROI) - только для длительных, стратегических программ обучения.

Оцениваем эффективность комплексно

Каждая компания, в идеале, должна определить для себя показатели из всех трех групп (о деятельности системы обучения в целом, об успешности работы T&D сотрудников и о пользе обучения для бизнеса).

Крайне полезно анализировать их в комплексе. Согласитесь, что можно добиться большой посещаемости тренингов в компании и даже не сильно раздувать бюджет на обучение, но при этом тренинг не будет эффективен для бизнеса. Можно иметь большой T&D отдел, продуманную стратегию работы с тренинговыми компаниями, но текучка персонала вырастет. С другой стороны, текучка персонала может и сократиться, но цена вопроса будет слишком велика - вы поймете, что тратите на обучение гораздо больше своих конкурентов.

Самая эффективная система обучения - та, которая наилучшим способом (высокие KPI T&D отдела) способствует достижению бизнес-результатов (высокие показатели 4-го и 5-го уровня Киркпатрика/Филипса), имея в распоряжении ресурсы, ниже средних по рынку (оптимальные показатели оперативной деятельности системы обучения).