Как оценить эффективность обучения?
Открываем лучшее

Статьи

Как оценить эффективность обучения?

Как оценить эффективность обучения?

Сейчас обучение персонала всё чаще становится непременным атрибутом успешной организации. В компаниях учат своих сотрудников практически всему: пользованию компьютерными программами, технике продаж, знанию товара, управлению людьми, тайм менеджменту и многому другому. Учат и собственными силами, учат и с помощью сторонних преподавателей. И, как правило, не обходится без затрат времени, денег и сил.

А потому хочется видеть результат обучения, оценить, насколько оно было полезным, эффективным.

А что именно оцениваем?

Мы можем оценивать преподавателя/тренера, участников обучения, учебную программу, работу учебного отдела или тренинговой компании.
Однако давайте сосредоточимся на результате/эффекте.
И чтобы оценить эффективность обучения, нужно четко понимать, какого именно эффекта мы ждём: что именно должно измениться, как именно измениться? Мы хотим, к примеру, сделать так, чтобы первостольники знали особенности конкретных препаратов, или хотим, чтобы они умели об этом рассказывать клиентам? Или мы хотим, чтобы обучение стало неким толчком, зарядило сотрудников энтузиазмом?
Чем более чёткое видение результату нас есть, тем проще потом оценить, что же получилось. (Более того, если мы это видение сможем согласовать с преподавателем / тренеров, то наши шансы на нужный результат существенно увеличатся.)

 

Весь процесс оценки эффективности тогда можно выстроить следующим образом:

  • Определить общие цели и задачи обучения

Примеры: дать знания медикаментов; научить технике работы с возражениями

  • Определить, что именно должно измениться в поведении обучаемых людей

Примеры: легко объясняют клиенту разницу между препаратами; спокойно реагируют на возражения, задавая уточняющие вопросы

  • Найти ситуации, в которых  можно увидеть, насколько цели достигнуты

Примеры: когда клиент просит объяснить, чем отличаются препараты или когда предлагает новый препарат; когда клиент возражает

  • Разработка механизма оценки

Примеры: тест знаний с вопросами на отличие препаратов; наблюдение за работой; статистика продаж нового препарата; опрос клиентов

  • Сбор данных

Проводим оценку разработанными механизмами из п.4

  • Интерпретация результатов

Примеры: насколько изменилось знание препаратов; насколько чаще клиенты покупают новые препараты; насколько больше ситуаций, когда первостольники удачно разрешают возражения; насколько улучшились впечатления клиентов

 

Вы заметили, насколько разнообразными могут быть цели, результаты и методы оценки? Можно оценивать изменение уровня знаний, а можно оценивать увеличение продаж. Это про один результат или про разные? Чтобы разобраться в этом, давайте рассмотрим.

Модель Киркпатрика

Дональд Киркпатрик сформулировал 4 уровня оценки эффективности обучения:

Рассмотрим эти уровне подробнее, чтобы понять, как с помощью них получить ответ на вопрос «Какой результат от обучения мы получили?»

  • Уровень 1 – Реакция обучаемого на учебный курс
  • Уровень 2 – Приобретение знаний и навыков
  • Уровень 3 – Изменения в рабочем поведении
  • Уровень 4 – Изменения в результатах работы

Уровень 1 – Как обучаемый относится к прошедшему обучению?

Мнение, реакцию обучаемого измерить сравнительно легко.

Неформально «пробу» такой реакции можно взять, понаблюдав за обучаемыми во время обучения, послушав разговоры в «курилке», приватно побеседовав с одним-двумя участниками.

Метод формального измерения — так называемые анкеты оценки, которые заполняют обучаемые либо сразу после обучения, либо через какое-то время. Анкета может содержать, например, такие вопросы:

  • Насколько актуальным для Вас было содержание курса? (оцените в процентах от 0% до 100%).
  • Какие темы курса были для Вас наиболее интересны? (перечислите)
  • Насколько содержание курса показалось ясным и легким для понимания? (%)
  • Приобрели ли Вы на курсе знания и навыки, которые помогут Вам делать Вашу работу эффективнее? (да/нет)
  • Профессионально ли преподаватель разбирается в предмете? (да/нет)
  • Увидели ли Вы, как именно знания и навыки данного курса применимы в Вашей работе? (да/нет)
  • Что бы Вы предложили изменить в курсе?


Анкета может быть анонимной.

После заполнения анкеты обрабатываются для получения сводной статистики – получается достаточно полная картина «общественного мнение» и хорошее поле для анализа.

 

Преимущества метода:

  • Если сотрудники достаточно «продвинуты» в плане всевозможных тренингов и курсов, то их мнение поможет оценить реальную полезность курса.
  • Статистика анкет оценки может быть хорошей обратной связью организаторам обучения, позволит увидеть слабые места и сделать дальнейшее обучение более эффективным.

 

Ограничения метода:

  • При анализе нужно принимать во внимание погрешность субъективности. Симпатия участников к преподавателю ещё не означает эффективность проведенного обучения. И наоборот.
  • Обучаемые по определению не достаточно компетентны в теме обучения. И потому нельзя ожидать, что они смогут оценить полезность обучения. Иногда это ограничение пытаются обойти, раздавая участникам анкеты по прошествии недели после тренинга, когда эмоции схлынут, и видна будет реальная полезность всего материала в работе.

Оценку первого уровня сделать достаточно легко, однако она не даёт уверенного ответа на вопрос «Какой результат мы получили?»

Всё, что первый уровень позволяет уверенно оценить – это насколько довольны участники обучения. Если желаемый результат обучения был именно такой («чтобы все были довольны»), то этого уровня оценки достаточно.

Уровень 2 – Какие знания, умения и навыки приобрел обучаемый?

Оценка знаний, умений и навыков используется чрезвычайно широко в образовании, спорте и бизнесе. Это контрольные работы, экзамены, тесты, контрольные забеги, сдача нормативов и аттестации – всё, к чему у среднего человека отношение неоднозначное.
Для того, чтобы это неоднозначное отношение к экзаменам у среднего человека не превратилось в негативное отношение к участию оценке у нашего обучаемого, необходимо соблюсти важное условие:будущее обучаемого никак не должно зависеть от результатов оценки. Поскольку мы оцениваем эффективность обучения, а не участников.

Рассмотрим несколько наиболее используемых методов оценки второго уровня:

1. Тест знаний – перечень вопросов с несколькими вариантами ответов. Важно, чтобы вопросы имели однозначные ответы. Пример теста (фрагмент):

Чем отличаются препараты «Иммунал» и «Экстракт эхинацеи»?

  • Изготавливаются из разных видов растений
  • В одном сок, в другом экстракт
  • В «Иммунале» есть добавки других растений
  • В «Иммунале» нет спирта

Кроме того, необходимо следить за временем, и, извините, чтобы каждый участник заполнял тест самостоятельно.

 

Преимущества метода:

  • Проводится и обрабатывается легко и быстро
  • Позволяет обнаружить пробелы в знаниях участников
  • Четкий способ количественного измерения
  • Немного «доучивает» на ходу

 

Ограничения метода:

  • Оценивает только знания. Сможет ли человек применить знания в рабочей ситуации – неизвестно.

 

2. Кейсы – письменные ситуации, в которых обучаемому предлагается описать своё поведение. Например:
Вы – консультант косметического отдела. К Вам подходит ухоженная женщина лет сорока и спрашивает, какие у вас есть средства по уходу за кожей век. Опишите подробно Ваши действия и слова при разных вариантах развития событий.
Важно, чтобы ситуация было описана достаточно четко и содержала всю необходимую информацию.

Преимущества метода:

  • Позволяет увидеть, как обучаемый собирается применять знания в работе

Ограничения метода:

  • Нет четкой шкалы измерения
  • Существенные затраты времени
  • Оценивает в большей степени знания и умение излагать свои мысли. В реальной ситуации обучаемый может действовать как менее, так и более эффективно.

 

3. Тестовое задание – игровой метод оценки, в котором либо обучаемые выполняет задание, практически не отличающееся от рабочей ситуации. Например, делает операции на кассовом аппарате, выкладывает товар или общается с клиентом. Тестовое задание лучше проводить на рабочем месте.
Экзаменатор кратко описывает ситуацию и предлагает обучаемому максимально применить полученные навыки и умения. При этом экзаменатор может играть роль клиента (ролевой экзамен).
Экзаменатор старается создать непринужденную атмосферу игры, чтобы обучаемому было легко продемонстрировать навыки.

После игры экзаменатор делает пометки в специальном бланке с параметрами оценки (так называемый «чек-лист»).
Пример:
Экзаменатор: «Я клиент, подхожу к стойке с подгузниками. Помогите мне сделать выбор. Я подошел и Вы меня только что увидели.»

 

Пример чек-листа для этого случая:

ПараметрДействия 0 балловДействия 1 баллДействия 2 балла
ПриветствиеНе поприветствовалПосмотрел покупателю в глаза, кивнул или поздоровалсяУлыбнулся покупателю, посмотрел в глаза, поздоровался
Выявление потребностейПотребности не выявлены, сразу начал рассказывать о том, что естьСпросил, какие подгузники ищетСпросил, для какого возраста, мальчик/девочка, чем раньше пользовались
ПрезентацияТолько указал место на полке, где лежит товар.Показал один вариант или слишком много вариантов. Описал только свойства или сказал «эти лучшие»Показал два варианта, объяснил чем отличаются, используя свойства и выгоды
Реакция на возраженияИгнорировал или начал споритьПризнал правоту покупателя и постарался его переключить на другие преимущества, цену, скидкуГрамотно принял возражение, задал уточняющие вопросы, нашел причину возражения и помог разобраться
Завершение сделкиБросил покупателяДождался решения, потом выдал товар покупателюПомог принять решение, потом выдал товар покупателю, предложил попутные средства

 

 

Преимущества метода:

  • Позволяет максимально оценить умения и навыки
  • Позволяет быстро определить пробелы в обучении

 

Ограничения метода:

  • Нужен высокий уровень профессионализма экзаменатора
  • Неудобен для оценки знаний

 

Таким образом, для оценки второго уровня требуется больше усилий, но результат получить картину, имеющую большее отношение к реальности и сформировать дальнейший учебный план.

Уровень 3 – Как изменилось рабочее поведение обучаемого?

Именно на этом уровне чаще всего находится желаемый руководителем результат: «чтобы улыбались всем клиентам», «чтобы реагировали на сложных клиентов».
И именно начиная с этого уровня появляется большое влияние действий руководителя на результат. Именно он (часто через создание рабочей среды) влияет на то, будет ли человек работать «по старинке», забывая всё, чему учили, или же наоборот – попробует работать иначе, методом проб и ошибок оттачивая навыки в рабочих ситуациях.
Поэтому оценивая рабочее поведение, мы видим совокупный результат обучения и управления, действий преподавателя/тренера и руководителя.

Рассмотрим несколько методов:

1. «Тайный покупатель» — специально проинструктированные люди приходят в аптеку под видом обычных посетителей, и, выйдя их аптеки, делают пометки в чек-листе.
«Тайного покупателя» можно проводить с охватом: от одного на аптеку до трёх на каждого первостольника, и получить либо картинку по аптекам, либо по людям.

Преимущества метода:

  • Позволяет получить реальную картину клиентского обслуживания
  • Позволяет делать косвенные выводы о навыках персонала

 

Ограничения метода:

  • Актуален только для оценки обучения, связанного с работой с клиентами
  • Для оценки эффекта обучения необходимо проводить «Тайного покупателя» до обучения тоже
  • Затратно
  • Требует тщательной подготовки, скрытой от глаз персонала
  • На результаты влияет множество факторов – действия руководителя, информированность сотрудников о «тайном покупателе», интенсивность потока клиентов и так далее.

 

2. Формализованное наблюдение – руководитель наблюдает за работой подчиненных в тех ситуация, когда ожидается изменение поведения, и делает пометки в чек-листе.

Пример чек-листа для оценки эффективности тренинга продаж:

ПараметрДействия 0 балловДействия 1 баллДействия 2 балла
Нахождение в зале«Спрятался» за стойкой, шкафомНа виду у покупателяНа виду у покупателя
Реакция на посетителяНе заметил, дождался обращения покупателяПосмотрел на покупателяПодошел ближе к покупателю
ПриветствиеНе поприветствовалПосмотрел покупателю в глаза, кивнул или поздоровалсяУлыбнулся покупателю, посмотрел в глаза, поздоровался
Выявление потребностейПотребности не выявлены, сразу начал рассказывать о том, что естьСпросил, что именно ищет покупательВыяснил потребности: спросил, для какого возраста,  какого типа кожи, чем раньше пользовались и т.д.
ПрезентацияТолько указал место на полке, где лежит товар.Показал один вариант или слишком много вариантов. Описал только свойства или сказал «это лучше»Показал два варианта, объяснил чем отличаются, используя свойства и выгоды
Реакция на возраженияИгнорировал или начал споритьПризнал правоту покупателя и постарался его переключить на другие преимущества, цену, скидкуГрамотно принял возражение, задал уточняющие вопросы, нашел причину возражения и помог разобраться
Завершение сделкиБросил покупателяДождался решения, потом выдал товар покупателюПомог принять решение, потом выдал товар покупателю, предложил попутные средства

 

 

Преимущества метода:

  • Можно сочетать с дополнительным обучением на рабочем месте
  • Позволяет делать косвенные выводы о навыках персонала

 

Ограничения метода:

  • Малая достоверность данных
  • Требуется квалификация наблюдателя (как минимум, прохождение обучения руководителем вместе с подчиненными)

 

3. Опрос руководителей – непосредственному руководителю обучаемого предлагается оценить, стали ли действия подчиненного более «правильными». Можно использовать чек-лист, на котором оценивается поведение «в среднем», можно собирать подробные письменные ответы (« Скажите, как именно изменилось общение Иванова И.И. с клиентами после тренинга?»)

 

 

Преимущества метода:

  • Дешево и быстро

 

Ограничения метода:

  • Малая достоверность полученных данных
  • Риск получения «отписок»
  • Требуется квалификация наблюдателя (как минимум, прохождение аналогичного обучения руководителем)

Таким образом, третий уровень даёт представление о том, как реально изменилось поведение персонала, но такая оценка требует серьезной интеграции с бизнес-процессами и серьезного вовлечения руководителей.

Уровень 4 – Какие изменения произошли в организации и/или в результатах работы обучаемого?

С одной стороны, этот уровень оценить достаточно просто, потому что, как правило, для любого сотрудника есть способ измерения результата – объем продаж, средний чек, количество выполненных задач, качество выкладки и другие показатели производительности.
С другой стороны, очень сложно бывает подобрать показатель, который будет свидетельствовать именно об эффекте обучения, и будет мало зависеть от остальных факторов.

1. Прямое измерение результатов
Например, если мы обучаем первостольников новой линейке препаратов, то показателем мы можем избрать объём продаж этой линейки после обучения.

Если мы учим сотрудников качественному сервису, и у нас в аптеке ведется мониторинг удовлетворенности покупателей (листы отзывов), то таким показателем может быть увеличение количества восторженных отзывов и снижение количества негативных.

Преимущества метода:

  • Четкий способ количественного измерения

 

Ограничения метода:

  • Более глобальные показатели (увеличение объема продаж, увеличение количества клиентов) спланировать чрезвычайно сложно, поскольку слишком много взаимосвязанных «посторонних» факторов. Лучше выделять промежуточные показатели, которые понятно как можно достичь с помощью обучения – увеличение среднего чека, объем продаж дисконтных карт и подобные показатели.
  • Некоторые виды деятельности не имеют измеримых результатов (координационная, творческая, секретарская)

 

2. Опрос руководителей – непосредственному руководителю обучаемого предлагается оценить, как изменились результаты деятельности сотрудника. (сравните с аналогичным методом третьего уровня).

Преимущества метода:

  • Возможность адекватной экспертной оценки

 

Ограничения метода:

  • Риск получения «отписок»

Уровень 5 (добавление Джека Филипса к модели Киркпатрика) – Возврат на инвестиции

Этот подход основан на измерении финансового результата обучения.

ROI  (return on investment) = дополнительная прибыль / затраты

Для того, чтобы подсчитать ROI, нужно ещё до обучения посчитать, какая прибыль будет считаться «дополнительной», полученной за счет обучения. Т.е. учесть вероятные внешние и внутренние факторы.

В затраты могут войти расходы по проведению самого обучения, денежный эквивалент времени, потраченного работниками компании для организации обучения, упущенная прибыль из-за невыхода персонала на работу в дни обучения, затраты на подсчет самого ROI.

Использование уровней оценки в практике

Как же всё-таки оценивать? Какие методы лучше применять?

В современной практике компании стараются совмещать максимум методов оценки. Очень многие используют методы оценки по первому и второму уровню. Достаточно часто используется «тайный покупатель». И единичные случаи подсчёта ROI.

Давайте рассмотрим несколько случаев обучения и методы оценки эффективности, дающие наибольшую отдачу в каждом случае.

Пример: обучение новому товару

Совмещаем уровни 2, 3, 4.
2 уровень.    Тест на знание товара
3 уровень.    Опрос руководителей: когда предлагают и что говорят
4 уровень.    Статистика продаж нового товара

Пример: тренинг по работе с клиентами

Совмещаем уровни 1, 3, 4.
1 уровень.    Анкета оценки
3 уровень.    Тайный покупатель
4 уровень.    Изменение длины среднего чека

Пример: обучение новой компьютерной программе

Совмещаем уровни 1, 2, 3.
1 уровень.    Анкета оценки
2 уровень.    Тестовое задание
3 уровень.    Опрос руководителей: удалось ли подчиненным освоить программу?

Резюме

Для оценки эффективности обучения прежде всего необходимо чётко определить желаемый результат и способ его измерения.

Есть несколько наиболее просто используемых методов, которые можно сгруппировать по уровням модели Киркпатрика:

Уровень 1РеакцияАнкета оценки
Уровень 2Знания и навыкиТест знаний, кейсы, тестовые задания
Уровень 3Рабочее поведение«Тайный покупатель», формализованное наблюдение, опрос руководителей
Уровень 4Результаты работыПрямое измерение результатов, опрос руководителей
Уровень 5Финансовая отдачаПодсчет ROI

 

В статье использованы идеи, подходы и исследования Дональда Киркпатрика, Джека Филипса, Ральфа Тайлера, Мартина Шмаленбаха, Питера Друкера.
 

Антон Краснобабцев
Опубликовано в журнале «Фармацевтическое обозрение»

Все статьи

Наш сайт использует cookie и другие метаданные пользователей. Оставаясь на сайте, вы даёте разрешение на обработку этих данных.

X