Оценка эффективности тренинга

По окончании тренинга важно оценить его эффективность. Это значит, что нужно понять, достигнуты ли поставленные цели, проконтролировать качество проведения тренинга, рассчитать эффективность затрат на обучение и определить его практическую ценность — насколько успешно новые знания и навыки применяются на рабочем месте.

Результаты оценки важны для совершенствования программы конкретного тренинга, а также для дальнейшего планирования профессионального обучения сотрудников и развития системы обучения в компании в целом. Если до начала тренинга не разработать четких методик и критериев его оценки, скорее всего, он окажется неэффективным. Методики и критерии готовит тренер или тренинг-менеджер (нередко привлекаются и непосредственные руководители будущих участников); с ними обязательно нужно ознакомить и сотрудников, направляемых на тренинг, и их непосредственных руководителей.

На сегодняшний день исходной для построения многих систем оценки эффективности обучения является модель Киркпатрика (Donald Kirkpatrick), предложенная автором еще в 1959 году. Исследователь выделяет четыре уровня оценки:

Реакций.
Усвоения.
Поведения.
Результатов.

Рассмотрим подробнее каждый из уровней.

1. Уровень реакций. Мотивация к обучению является критическим фактором его успешности — люди учатся лучше, когда они позитивно относятся к целям и к самой ситуации обучения, а также к тренеру. На этом уровне фиксируются субъективные мнения, суждения и оценки участников тренинга. Оцениваться может как тренинг в целом, так и его отдельные части или аспекты.

Чтобы увидеть по возможности объективную картину сильных и слабых сторон тренинга, необходимо использовать методы получения обратной связи, которые отвечают следующим критериям:

дают полезную для анализа информацию;
предоставляют участникам свободу высказывания;
не являются излишне подробными (чтобы у слушателей не исчезло желание принимать участие в оценочных процедурах).

Наиболее распространенный способ получения обратной связи от группы — анкетирование. Его популярность объясняется минимальными временными затратами и низкой стоимостью; как правило, заполнение анкеты (или опросного листа) не вызывает трудностей ни у участников, ни у организаторов тренинга.

Менее известны такие способы фиксации оценок участников, как ведение дневников, написание эссе, проведение группового обсуждения или итогового занятия по завершении тренинга. Информация, полученная с помощью таких методов, менее структурирована и стандартизована, ее сложнее обрабатывать (особенно при большом количестве участников). Эти методы не только более трудоемки, но и требуют квалифицированной интерпретации собранных данных.

Ключевой вопрос: достигнуты ли цели обучения с точки зрения участников тренинга?

Главное, что нас интересует на этом уровне (при любых способах оценки) — эмоциональное состояние участников, интерес, внимание, их мнение о качестве тренинга (полезность, уровень сложности материала и упражнений).

Для изучения субъективных оценок участников можно предложить несколько апробированных автором методик (их имеет смысл использовать в основном сразу по завершении тренинга):

опрос;
анкетирование;
коллаж;
мишень или «дартс».

Опрос. Проводится в форме интервью, группового обсуждения, дискуссии. При групповом обсуждении тренер, как правило, задает схему/структуру отзыва — указывает, на какие моменты нужно обратить внимание при оценке. Например: какое самое яркое впечатление от тренинга у меня осталось; что полезного я для себя вынес; какие рекомендации могу дать себе и группе; основной вывод, который я сделал за эти дни, и т. п. Затем участники по очереди высказывают свое мнение. Подобная оценка тренинга делается сразу по завершении обучения.

Анкетирование. Участники заполняют заранее подготовленную оценочную анкету (образцы анкет см. в приложении), в которую включен стандартизованный набор вопросов. С помощью анкеты тренер и тренинг-менеджер могут оперативно оценить такие параметры, как уровень организации тренинга, первое впечатление, вызванный интерес, качество содержания, полезность для практической деятельности приобретенных знаний и навыков и т. п. Эта информация также поможет принять решение о необходимости дальнейшего обучения внутреннего тренера или о продолжении сотрудничества с внешним.

Приложение

АНКЕТА ОБРАТНОЙ СВЯЗИ

Нажмите на изображение для увеличения

АНКЕТА ОЦЕНКИ ЭФФЕКТИВНОСТИ ТРЕНИНГА

Нажмите на изображение для увеличения

Заполнять анкеты можно:

по окончании каждого модуля или тренингового дня (это так называемый летучий контроль, он позволяет тонко «настраивать» программу на конкретную группу, «на ходу» оценивать эффективность новых упражнений, тренинговых материалов и методов);
сразу по окончании тренинга (участники смогут оценить и программу тренинга в целом, и качество работы тренера);
через несколько дней после его завершения (в таком случае участники лучше смогут оценить практическую ценность полученных знаний и умений).

Собирает анкеты тренер, тренинг-менеджер, или сами участники могут выслать их по электронной почте.

Отзывы участников при обсуждении тренинга часто бывают очень эмоциональны, но они дают достаточно фрагментарную информацию. Данные анкет, как правило, оказываются более рациональными и содержательными.

Коллаж. Во время проведения тренинга делаются фотографии, которые нужно оперативно напечатать. Участникам тренинга предлагается, используя эти снимки, иллюстрации из старых журналов, открытки и другие визуальные материалы, сделать коллаж. Тему для него задает тренер, например: «Этого я никогда не забуду…», «Это очень важно и полезно для моей профессиональной работы…» или «Что я узнал и чему научился…».

При работе над коллажем большую группу лучше разбить на несколько подгрупп, каждая из которых выполняет коллективные работы на одну-две предложенные темы (в зависимости от временных ресурсов). После завершения работы подгруппы меняются коллажами и комментируют полученные материалы. Можно устроить и общий «вернисаж». Тональность работ, выбор фрагментов, их эмоциональная окраска, общий настрой комментариев — все это качественные оценки, которые фиксируются и анализируются в дальнейшем.

Чем полезна такая форма оценки? Во-первых, в процессе работы участники самостоятельно вспоминают весь тренинг и тем самым закрепляют полученные знания, вырабатывают к ним осознанное отношение, понимают их практическую ценность.

Во-вторых, поскольку интерпретация коллажа — это проективная методика, анализ работы «не авторами» позволяет вскрыть некоторые нюансы, которые группа (или конкретный участник) не осознает.

Мишень («дартс»). Это хороший способ визуализировать оценки (и индивидуальные, и особенно — групповые). Оценочная шкала изображается на доске, флипчарте или листе ватмана в виде концентрических кругов — «мишени». Каждому кругу мишени сопоставлен балл оценки. Мишень разбивается на секторы, представляющие все рассматриваемые параметры: удовлетворенность формой подачи материала, качество преподавания, практичность материала, доступность для понимания, информативность, актуальность и т. д. Каждый участник оценивает тренинг, отмечая фломастером на мишени баллы, соответствующие его оценке каждого параметра. Можно нарисовать мишени отдельно для каждого из параметров или использовать настоящую мишень для игры в «дартс», на которую участники смогут наклеивать цветные стикеры.

Такая методика дает возможность получить наглядную и достаточно «объемную» характеристику проведенного занятия. Организаторы и тренер тоже видят (в буквальном смысле слова) насколько тренинговая группа достигла цели — попала «в яблочко» или в «молоко».

Барометр. Это хорошая методика, позволяющая оценить общую групповую «погоду» на тренинге, оперативно «измерить» какой-нибудь из его аспектов: качество, практичность, доступность материала и т. д. В этой методике используется градуированная шкала, стилизованная под всем известный гидрометеорологический прибор (отсюда и название — «барометр»). Слушатели подходят к рисунку (на доске, флипчарте или отдельном плакате) и по очереди цветными фломастерами отмечают свои оценки.

Последние две методики групповой экспресс-оценки достаточно эффективны тогда, когда на подведение итогов остается немного времени.

2. Уровень усвоения. При разработке программы тренинга ставятся реальные прагматичные цели — помочь людям повысить результативность деятельности на рабочем месте или освоить новые технологии. Поэтому на уровне усвоения оценивается, насколько усовершенствовались знания, развились умения и изменились установки участников, что они смогут использовать на своем рабочем месте.

Ключевой вопрос: чему научились участники?

Оценить произошедшие изменения можно только в сравнении с исходным уровнем знаний, умений и установок (или с принятыми корпоративными стандартами). Поэтому так важно еще на этапе подготовки программы тренинга параллельно разработать и четкие методики измерения результатов обучения:

Какие знания приобрели участники?
Какие умения были улучшены (или какие новые сформированы)?
Какие установки изменились?

На этом этапе традиционно используются такие методы оценки, как профессиональные и поведенческие тесты, тематические опросники, контрольные упражнения, наблюдение и т. д. Оценивать прогресс участников в результате обучения необходимо индивидуально, прогресс общегрупповой работы (при необходимости) оценивается дополнительно — например, если тренинг проводился для проектной группы.

Результаты оценки на этом этапе на самом деле важнее для тренера, чем для участников, поскольку он может понять насколько эффективными оказались выбранные им стратегия и методы обучения.

3. Уровень поведения. Цель тренинга — помочь участникам усовершенствовать знания и навыки для того, чтобы лучше выполнять свою работу (на уровне корпоративных стандартов) или освоить новую технологию. Говоря о «поведении», Киркпатрик прежде всего имел в виду результаты поведения на рабочем месте, то есть — результативность. Поэтому на данном уровне важно оценить практические результаты тренинга: используются/реализуются ли приобретенные участниками знания, умения и установки в рабочих ситуациях (в отличие от учебных) и насколько эффективно они используются в рамках профессиональной деятельности.

Ключевой вопрос: применяют ли участники новые знания и умения на рабочем месте?

Оценить изменения рабочего поведения «на глазок» — «иногда использует», «стал работать лучше/быстрее» и т. д., конечно, можно. Часто этим руководство и ограничивается, хотя такой «метод» мало что дает для оценки эффективности обучения. Но полезную информацию можно получить, только используя четкие методы измерения. Как правило, они разрабатываются для каждого конкретного тренинга еще на этапе планирования его программы.

Для сравнения нового рабочего поведения с прежним (или с установленными корпоративными стандартами) используются как формальные методы (квалификационный экзамен, аттестация, выполнение контрольных заданий на рабочем месте), так и неформальные (структурированное наблюдение, ведение рабочих дневников и т. д.).

Обучение сотрудников имеет смысл для организации лишь в том случае, если они не просто применяют новые знания и умения, но с их помощью работают быстрее, качественнее, результативнее. Поэтому этот вид оценки проводится только спустя некоторое время после завершения тренинга, когда участники смогут попрактиковаться в применении новых знаний и умений на рабочем месте. Этот вид оценки может проводить и тренер и тренинг-менеджер, но к нему обязательно привлекают непосредственных руководителей участников тренинга.

4. Уровень результатов. Компания вкладывает деньги в обучение своих сотрудников для того, чтобы провести определенные изменения: повысить производительность труда, снизить издержки, освоить новую продукцию, внедрить новое оборудование и технологии и т. п. Поэтому необходимо оценить влияние результатов обучения на деятельность всей организации. Это также финальная оценка тренинга в целом.

Ключевой вопрос: каковы бизнес-результаты тренинга?

На практике достаточно трудно изолированно оценить влияние программы обучения (тем более отдельного тренинга) на изменение деятельности крупной организации. Скорее можно установить связь между обучением и организационным развитием. Тем не менее, многие организации проводят такую форму оценки, используя для этого различные бизнес-показатели (и конечные, и промежуточные): увеличение продаж, рост прибыли, сокращение издержек, увеличение доли рынка, повышение качества; снижение процента брака, количества рекламаций или жалоб клиентов, текучести кадров, числа конфликтов; повышение удовлетворенности сотрудников; формирование новых эффективных команд и т. д.

Сбор такого рода информации требует серьезной аналитической работы, времени, финансовых ресурсов и скоординированных усилий многих подразделений компании. Вряд ли стоит проводить ее для типового тренинга продаж, адресованного сотрудникам небольшого магазина, да и в крупной компании имеет смысл оценивать бизнес-эффект целостных программ обучения. Такая задача под силу корпоративному учебному центру или университету.

Итак, по мере того как мы продвигаемся с первого по четвертый уровень, процесс оценки становится все более сложным и затратным — с точки зрения и временных затрат, и финансовых. Тем не менее, его результаты исключительно важны. Чаще всего эффективность тренинга (да и многих крупных корпоративных программ обучения) оценивается только на первом уровне. Это наиболее простой вид оценки, предоставляющий наименее ценную информацию (как для тренера, так и для компании). Измерение результатов на четвертом уровне — влияние на деятельность организации в целом — дает наиболее ценную информацию, но оно значительно труднее, поэтому используется реже.

Оценка на первых трех уровнях модели Киркпатрика: реакции, усвоения и поведения является своего рода «мягким» (soft) измерением, в то время как менеджеры, принимающие решение о проведении тренингов и обучающих программ, предпочитают более «жесткие» (hard) финансовые показатели, такие как возврат на инвестиции, прибыль и т. п.

«Мягкая» оценка позволяет оценить успешность и полезность тренинга, она необходима и тренеру для усовершенствования программ, и тренинг-менеджеру — для планирования дальнейших программ обучения, и линейным менеджерам — для оценки квалификации сотрудников и определения новых рабочих заданий, и топ-менеджерам — для планирования развития человеческих ресурсов компании.

Оценить влияние результатов программы обучения на повышение эффективности организации в целом можно по различным направлениям:

финансы (ROI);
клиенты (маркетинговые показатели);
внутренние аспекты (усовершенствование бизнес-процессов);
обучение (трансформации корпоративной культуры, поддерживающие новые ценности — изменения, инновации, личностный рост).

В последнее время с повышением роли клиентоориентированности компаний топ-менеджеры все больше внимания обращают на такие параметры, как удовлетворенность или лояльность клиентов, рассматривая их как своего рода «мягкий» вариант коэффициента возврата на инвестиции (soft-ROI).

При оценке эффективности тренинга необходимо иметь в виду еще один аспект этого вопроса. Хорошее первоначальное обучение позволяет команде достаточно быстро достичь приемлемого уровня выполнения работы. Однако через некоторое время производственные показатели нередко начинают ухудшаться. Часто у сотрудников, прошедших обучение, возникает чувство нереализованности своих возможностей и недовольство собой.

Причины таких негативных явлений, как правило, не связаны с тренингом, они лежат в сфере управления. Если на старом месте работы ничего не изменилось (ни организация деятельности, ни формы постановки задач, ни сферы ответственности, ни система стимулирования), работники не смогут применить там новые знания и навыки. Все это вызывает чувство неудовольствия. Готовность компании воспользоваться результатами обучения также во многом зависит от организационного климата. Нередко и само направление на обучение дает работникам ложные надежды, связанные с улучшением условий работы, продвижением по службе и т. д. Если после тренинга никаких изменений в карьере не происходит, сотрудник начинает негативно относиться не только к своим руководителям, но и к тем, кто его обучал.

Разового тренинга недостаточно для того, чтобы добиться устойчивых изменений в профессиональной деятельности или поведении сотрудников. Долгосрочный стабильный эффект дает только систематическое и системное обучение. Повысить эффективность тренинга могут специальные программы закрепления навыков (посттренингового сопровождения), помогающие отслеживать проявление новых форм поведения в реальных рабочих ситуациях, проводящие «точечное» дообучение тех, кому это необходимо.

Хорошо организованное внутреннее обучение позволяет провести диагностику сильных и слабых сторон компании, увидеть ее скрытые резервы и нереализованный пока потенциал сотрудников. Грамотно выстроенная система внутрикорпоративного обучения (разработанная с учетом целей организации в целом, задач конкретного подразделения и потребностей личности) напрямую влияет на успешность работы всей компании, улучшает ее финансовые результаты, наращивает конкурентоспособность. Она повышает мотивацию сотрудников, эффективность индивидуальной и групповой работы; позволяет новичкам ускорить адаптацию в организации, узнать специфику работы; зачисленным в кадровый резерв дает возможность быстрее приобрести навыки и знания, необходимые для продвижения.

Статья предоставлена нашему порталу
редакцией журнала «Менеджер по персоналу»