Как оценить качество образования? Нет, мы сейчас не только и не столько о системе школьных и вузовских оценок, или о том, как оценит знания выпускника Центр оценки качества образования. Качество образования – это нечто большее, чем оценки в дневнике или зачетке просто потому, что мы учимся с определенной целью, а не просто так.
В большей степени это понимают те, кто учится для себя, а не для преподавателя, и продолжает учиться всю жизнь. Специально для вас – наши программы «Лучшие техники самообразования» «Критическое мышление». И в большей степени для вас, нежели для тех, кто относится к учебе формально, наша сегодняшняя тема: оценка качества образования и метрики качества образования.
Что означает качество образования?
Прежде чем говорить о механизме оценки качества образования, давайте разберемся, что же это за «зверь такой»: качество образования. Российское законодательство определяет это понятие как комплексную характеристику образовательной деятельности, которая отражает ее соответствие актуальным образовательным стандартам, потребностям физического или юридического лица, в интересах которого ведется обучения, и целям обучения [Закон «Об образовании РФ», 2020].
Как видно из определения, оно рассчитано преимущественно на людей взрослых и способных учиться осознанно, потому что у дошколят и младших школьников вряд ли есть какие-то свои собственные образовательные потребности и цели обучения, кроме тех, к которым их ведут педагоги и родители.
Тем не менее, определенные и вполне конкретные цели есть даже у такого простого базового обучения, как изучение букв и цифр, геометрических фигур и названий животных, оттенков разных цветов и различных природных явлений. Все это имеет своей целью постепенно адаптировать детей к жизни в обществе и освоению новых более сложных знаний.
Разница между учебой ребенка и взрослого в том, что для детей цели ставят педагоги, а взрослый человек уже в состоянии поставить эти цели сам. Впрочем, многие вполне повзрослевшие юноши и девушки умудряются до конца 5-го курса вуза так и не понять, зачем им знать так много скучных и неинтересных формул, вникать в теорию электрических цепей или нюансы античной историографии. Особенно, если они уже нацелились на карьеру обеспеченной домохозяйки либо создание собственного бизнеса, где диплом нужен исключительно для престижа, и то не везде.
Тут можно сказать, что не стоит подходить к образованию совсем уж утилитарно и мыслить с позиций монетизации каждого полученного байта информации. Высшее образование дает кругозор, учит учиться, формирует системное мышление, которое позволит потом освоить многие вещи в жизни, в которых возникнет необходимость.
Такой системный подход выручит во многих ситуациях, будь то стратегическое планирование в бизнесе или воспитание непослушных и капризных детей. Но вернемся собственно к нашей теме и остановимся на варианте, что качество образования – это:
- Соответствие актуальным образовательным стандартам.
- Соответствие потребностям и целям «заказчика» обучения.
- Востребованность знаний.
Тут тоже можно найти множество нюансов, таких как отставание государственных учебных программ от актуальных потребностей общества, промышленности, науки, культуры, когда очень часто качество образования вузов России оставляет желать лучшего. К тому же у «заказчика» обучения, будь то государство или частная корпорация, не всегда есть четкое видение, чему именно нужно учить сегодня, чтобы человек мог успешно работать завтра.
И даже когда такое понимание существует по ситуации на сегодняшний день, совсем не факт, что полученные знания будут востребованы спустя короткое время. Как в таких неоднозначных и быстро меняющихся условиях измерять качество образования? Давайте разбираться.
Система оценки качества образования
Для начала скажем, что система оценки качества образования в традиционных учебных заведениях, таких как школа, вуз, колледж отличается от того, как идет мониторинг качества образования в структурах и заведениях дополнительного образования.
К дополнительному образованию можно отнести всевозможные курсы повышения квалификации, школы полезных профессий, частные творческие студии, корпоративное обучение, индивидуальное обучение различным знаниям и навыкам, начиная от йоги и восточных танцев и заканчивая психологией, интернет-маркетингом, парикмахерским искусством и прочими востребованными направлениями.
Притом, что любое учебное заведение (будь то общеобразовательная школа, вуз или курсы IT-профессий) ставит задачей повышение качества образования и востребованность своих выпускников, эффективность работы оценивается по-разному. Возьмем для примера метрики, которые используются государством для оценки эффективности вузов [Д. Крутов, 2021].
Критерии эффективности работы вузов в РФ:
- Средний балл ЕГЭ у студентов дневной формы обучения.
- Количество студентов из-за рубежа.
- Количество проходящих обучение в магистратуре, аспирантуре, ординатуре (в медицинских вузах), интернатуре (в медицинских вузах).
- Темпы роста дохода от научно-исследовательских и проектно-конструкторских работ.
- Темпы роста поступлений средств от приносящей доход деятельности.
- Наличие публикаций в системе Web of Science и частота их цитирования.
Отдельная тема – рейтинг качества образования в мире и рейтинг вузов России по качеству образования. Сам по себе факт «попадания» в общероссийский и тем более мировой рейтинг на значимые позиции для любого вуза считается почетным, повышающим престиж учебного заведения среди абитуриентов и их родителей. К слову, мировой рейтинг качества образования-2022, а также рейтинги по вузам Европы и США можно посмотреть здесь.
Ранее мы уже начали говорить, что любое базовое образование – это работа на перспективу, развитие кругозора и умения учиться, самостоятельно добывая необходимые знания. Эти параметры в определенной степени свойственны и краткосрочному обучению с той разницей, что в этом случае идет ориентировка на ближнюю перспективу и развитие конкретных навыков, нужных «здесь и сейчас».
Но, конечно же, даже самое краткосрочное обучение – это тоже всегда новые знания, которые могут пригодиться как в ближней, так и в отдаленной перспективе. И, конечно, развитие навыков самостоятельной работы, потому что даже в самую насыщенную лекцию невозможно вместить все знания обо всем, что может потребоваться специалисту того или иного профиля.
Для того, чтобы стать востребованным в своей профессии, любому специалисту придется учиться самостоятельно и вникать в нюансы, которые попросту невозможно «охватить» на курсах или в рамках программы онлайн-школы. Просто потому, что невозможно предвидеть во всех деталях, что именно потребуется выпускнику на рабочем месте в первую очередь.
Даже в такой сугубо прикладной деятельности, как парикмахерское искусство, может открыться масса нюансов, как только парикмахер приступит к самостоятельной практике. В зависимости от ряда факторов, включая микрорайон, где расположена парикмахерская, среди клиентов могут превалировать «золотая молодежь» и обеспеченные домохозяйки, желающие успеть за всеми трендами стрижки и покраски волос, либо же представители бизнес-кругов, силовых структур и местной администрации, для которых важно выглядеть респектабельно и «вписываться» в строгий дресс-код.
Что можно сделать в области качества образования на курсах, семинарах, тренингах, онлайн-школах и везде, где людям дают необходимые дополнительные знания или новую профессию на коммерческой основе? С государственными учебными заведениями мы с вами уже разобрались, поэтому теперь посмотрим, как метрики применяются в дополнительном и коммерческом образовании.
Метрики качества образования: какие бывают?
Итак, как же оценивать качество обучения в дополнительном и коммерческом образовании? С учетом того, что за последние пару лет акцент существенно сместился в сторону онлайн-обучения, теперь к системе образования применимы очень многие метрики, т.к. очень много чего можно посчитать, установив счетчик на онлайн-платформу, используемую для обучения. Для удобства разделим все метрики на 3 большие группы [Т. Бурлева, 2022].
Группы метрик для оценки образования:
- Бизнес-метрики, предназначенные для оценки экономической эффективности образовательного проекта. Сюда относятся такие метрики, как ROI, ROMI, LTV, количество уникальных пользователей.
- Метрики уровня удовлетворенности обучающихся, учитывающие обратную связь, оценки и отзывы тех, кто проходит обучение. К этой группе относятся метрики CSAT, CDSAT, CES, CSI, NPS.
- Метрики качества обучения, позволяющие оценить результативность прохождения учебного курса обучающимися. Сюда относятся такие метрики, как COR, Transformation rate, процент возвратов.
Уточним, что цель использования любых метрик – это управление качеством образования, выявление слабых мест учебных программ, выяснение запроса обучаемых и, в конечном итоге, повышение качества обучения по той или другой программе.
Мы в соответствии с нашей темой сосредоточимся в большей степени на двух последних группах метрик: уровня удовлетворенности и качества обучения.
Метрика CSAT
CSAT – это Customer Satisfaction, что переводится как «удовлетворенность клиентов». Возможно, кому-то «режет слух», когда обучающихся называют клиентами. Но, так или иначе, везде, где обучение ведется на платной основе, любой заплативший за обучение – это, прежде всего, клиент, а клиент должен быть доволен и нести деньги в дальнейшем.
Можно оценивать удовлетворенность клиента по разным параметрам. Например, узнать, насколько ему понравился конкретный урок или курс в целом, работа преподавателя или службы технической поддержки, если обучение проводится удаленно с применением цифровых технологий.
Для оценки используют обратную связь от слушателей курса. Проще говоря, тех, кто проходит обучение, просят оценить какой-либо показатель (урок, курс, работу преподавателя, прочее) по 5-балльной шкале, где 1 – это низший балл, а 5 – это высший балл.
Далее останется подсчитать количество оценок «4» и «5», разделить эту сумму на общее количество оценок и полученный результат умножить на 100%:
CSAT = (Оценки «4» + Оценки «5» / Общее число оценок) х 100%
Поясним конкретным примером. Если из 30 человек в группе 20 поставили оценку «5», еще 5 человек выставили оценку «4», а оставшиеся 5 ограничились оценками от «1» до «3», расчет будет выглядеть следующим образом:
20 + 5 = 25
25/30 = 0,83
0,83 х 100% = 0,83%
Таким образом, CSAT в данном случае будет равняться 83%. Что делать с этим показателем дальше? Как минимум, выяснить у тех, кто выставил оценки от «1» до «3», что именно им не понравилось, в чем курс или урок не оправдал их ожиданий, и по возможности подкорректировать какие-то нюансы программы.
Разумеется, если только речь не идет о каких-то токсичных людях, которые всегда всем не довольны. Или же о тех, кто просто пришел «не по адресу». Например, если «хронический гуманитарий» вздумал податься в backend-разработку, не зная ни PHP, ни Python, ни C#, ни еще какой-либо пригодный для этих целей язык программирования. Конечно, ему будет трудно, и вряд ли он будет удовлетворен процессом обучения, когда он единственный отстающий в группе.
Метрика CDSAT
Параллельно с метрикой CSAT рекомендуется использовать такую метрику, как CDSAT. Это Customer Dissatisfaction, что переводится как «неудовлетворенность клиентов». Как понятно из названия, данная метрика позволяет высчитать уровень неудовлетворенности клиентов. В данном случае нас интересуют люди, поставившие оценку «1».
Далее нужно разделить количество людей, поставивших «1», на общее количество оценок, а полученный результат умножить на 100%:
CDSAT = (Оценка «1» / Общее число оценок) х 100%
Так, если из 30 человек двое поставили оценку «1», расчет будет выглядеть следующим образом:
2/30 = 0,06
0,06 х 100% = 6,66%
Образовательные проекты, предъявляющие к себе повышенные требования, могут учесть в метрике CDSAT все оценки от «1» до «3». Тогда нужно просто просуммировать количество клиентов, выставивших такие оценки, эту сумму разделить на совокупное число оценок, и полученный результат умножить на 100%.
И, разумеется, мы помним, что все эти метрики нужны для улучшения учебной программы, качества образования и обучения, достижения слушателями наилучших результатов.
Метрика CSI
CSI – это Customer Satisfaction Index, что переводится как «индекс удовлетворенности клиентов». Смысл этой метрики абсолютно такой же, как и метрики CSAT, но высчитывается CSI как среднее арифметическое оценок от 1 до 10:
CSI = Сумма выставленных оценок / Количество выставленных оценок
Так, если все 30 человек в группе поставят по 10 баллов, тогда расчет будет следующим:
30 х 10 = 300
300/30 = 10
Итого максимально возможный балл равен 10. Если же все поставят «1», тогда в итоге при расчетах по данной формуле получится 1, т.е. минимально возможный балл. В реальности разнообразие мнений обычно намного больше, поэтому нужно просуммировать все баллы, полученные от 30 слушателей курса, и разделить эту сумму на 30, т.е. на количество слушателей, поставивших свои оценки.
Метрика CES
CES – это Customer Effort Score, что переводится как «оценка усилий клиентов». Что это значит применительно к оценке качества образовательных проектов? Данная метрика оценивает, насколько учащемуся удобно учиться и взаимодействовать в учебном процессе с компанией, предоставляющей образовательные услуги.
Например, насколько быстро можно получить обратную связь преподавателя по поводу выполненных домашних заданий, насколько своевременно компания высылает учебно-методические материалы, хватает ли времени в открытом доступе, чтобы успеть полностью ознакомиться с материалами, работают ли ссылки на скачивание.
Или, допустим, такой аспект, как напоминание о крайнем сроке сдачи выполненных заданий либо следующем занятии, если расписание «плавающее». Нужно ли такое напоминание клиенту или, наоборот, оно ему кажется слишком навязчивым?
В отличие от первых трех метрик, CES позволяет выявить слабые места не столько собственно в обучении, сколько в клиентском сервисе и организационных моментах. Однако это ничуть не менее важно, потому что долго не отвечающий преподаватель или куратор курса, несвоевременно высылаемые материалы, когда слушатель уже готов перейти к следующему заданию способны отбить охоту учиться у кого угодно. А то и сподвигнуть слушателя потребовать назад деньги за неудовлетворительное качество обслуживания.
Как высчитывать CES? А вот тут есть нюансы. Для того чтобы «собрать» обратную связь для данной метрики, нужно предложить клиентам ответить на вопрос: «Насколько много усилий вам пришлось приложить, чтобы решить возникший вопрос?»
Для ответа предлагается 5-балльная шкала, где цифра «1» означает, что человеку потребовалось приложить минимум усилий, и вопрос был решен быстро, а цифра «5» означает большое количество сил, потраченных на решение вопроса.
В нашем восприятии «1» традиционно воспринимается как низший балл, а «5» – как высший. Поэтому восторженные клиенты, часто не задумываясь, ставят «5» клиентскому сервису, чем пополняют багаж негативных отзывов. Конечно, потом, когда им задают вопрос, что же их так напрягло, недоразумение улаживается, но это лишние затраты времени и элемент взаимонепонимания.
Во избежание неверных трактовок рекомендуется использовать принцип наглядности и визуализировать ответ, чтобы люди смотрели не столько на цифры, сколько на знаки. И тогда понятно, что веселый «смайлик» означает положительную оценку, а недовольный – отрицательную:
Как вариант, можно использовать новую версию метрики CES 2.0. Тут используется утверждение: «Компания сделала так, что мне было просто решить свою проблему». Ответ нужно дать по 7-балльной шкале, где 1 балл означает «Не согласен», а 7 баллов означает «Полностью согласен».
На сегодняшний день доступна и совершенно новая «навороченная» версия CES 3.0, предназначенная для ситуаций, когда компания предлагает товарную линейку из нескольких сотен, а то и тысяч продуктов. Ввиду того, что образовательные проекты редко предлагают больше 10-15 курсов на выбор, использование CES 3.0 вряд ли является актуальной задачей.
Метрика NPS
NPS – это Net Promoter Score, что переводится как «индекс потребительской лояльности». По сути, это вопрос: «Готовы ли вы нас рекомендовать друзьям, коллегам и знакомым?» Ответить нужно, выставив оценки от 0 до 10, где 0 будет означать полное нежелание и неготовность рекомендовать образовательную организацию кому-либо, а поставивших 10 можно считать амбассадорами бренда.
Правда, есть небольшой нюанс: иногда нежелание кому-то что-то рекомендовать лежит не в плоскости лояльности или нелояльности, а вызвано личностными особенностями человека. Например, если он по своей природе интроверт, тогда маловероятно, что он в принципе захочет обсуждать с кем-либо свою учебу на каких-то там курсах.
Как высчитать показатель NPS? Для этого все отзывы нужно разделить на 3 группы:
- От 0 до 6 баллов – не желающие рекомендовать и/или потенциально недовольные критики.
- 7 или 8 баллов – настроенные нейтрально.
- 9 или 10 балов – настроенные положительно и готовые «продвигать» бренд среди знакомых, потенциальные промоутеры.
Для расчета NPS используются показатели условных «критиков» и «промоутеров». Из процента «промоутеров» вычитается процент «критиков» и получается значение со знаком «плюс» или знаком «минус»:
NPS = % «промоутеров» — % «критиков»
Проще говоря, если 100% учащихся выставили оценки 9 и 10 балов, показатель NPS составит +100. Если все учащиеся выставили оценки от 0 до 6 баллов, NPS составит -100.
Метрика COR
COR – это Completion Rate, что дословно переводится как «скорость завершения», однако имеет более точный аналог в русском языке. Данная метрика позволяет воочию увидеть, какая часть слушателей одолела учебную программу до конца, поэтому можно встретить такой вариант, когда COR переводят как «доходимость» [Т. Бурлева, 2022].
Для того, чтобы высчитать COR, нужно количество дошедших до конца слушателей разделить на количество людей, начавших обучение, и полученный результат умножить на 100%:
COR = (Количество закончивших курс / Количество начавших обучение) х 100%
Так, если из 30 человек до конца добрались только 24, расчет будет выглядеть следующим образом:
24/30 = 0,8
0,8 х 100 = 80%
И тут есть несколько важных моментов. С одной стороны, конечно, важно, сколько из начавших обучение добрались до победного конца. С другой стороны, на коммерческих курсах часто учатся не для бумажки, а для получения конкретных прикладных знаний.
Из-за этого часто складывается ситуация, что, если человеку не нужно свидетельство об окончании курсов интернет-маркетолога, а нужно лишь научиться продвижению в Сети, такой слушатель попросту игнорирует финальное задание, по итогам выполнения которого выдают заветную «бумажку».
Более того, нередко самые сообразительные и хорошо обучаемые слушатели успевают трудоустроиться по «свеженедополученной» специальности еще до конца обучения и целиком погружаются в реальный рабочий проект. Поэтому на контрольную работу с некими абстрактными заданиями не остается ни сил, ни времени, ни желания, ни собственно необходимости закреплять знания таким образом, потому что слушатель уже закрепил их в процессе своей работы на реальных проектах.
Кроме того, на «доходимость» сильно влияют личные обстоятельства людей, которые пошли учиться: семья, дети, командировки на работе, отъезд в отпуск, огород на даче, проблемы со здоровьем и т.д. У взрослых людей этот список может продолжаться до бесконечности, так что к качеству образования как таковому данная метрика не имеет особого отношения.
Зачем тогда мерить COR? Как минимум, для того, чтобы задействовать мотивационный ресурс. Чем подробнее вы будет знать, кто чем «дышит» на вашем потоке, и у кого какие приоритеты, тем больше у вас возможностей, во-первых, «подогнать» материал так, чтобы у людей была мотивация завершить обучения, невзирая ни на что.
Во-вторых, так вам будет легче найти нужные слова и поддержать ваших слушателей, если они вдруг решат бросить учебу, что называется, «на полпути».
Думается, не нужно объяснять, что, недоучившись на одних курсах, этот человек вряд ли принесет вам деньги во второй раз, когда вы предложите ему освоить смежную специальность. Или, к примеру, прокачать необходимые для его работы софт скиллз. Или пригласите на семинар, когда обновите и расширите курс, чтобы недавние выпускники могли получить свежие знания и дополнить пройденный материал актуальной информацией.
Другими словами, COR нужно измерять и учитывать, даже понимая, что в реализации данного показателя далеко не все зависит от качества обучения и уровня сервиса обучающей организации. И всегда помнить, что по-настоящему мотивированный человек всегда найдет время на изучение того, чтобы реально нужно, и подзарядится энергией новых знаний, даже если накануне казалось, что сил больше нет совсем ни на что.
Метрика Transformation rate
Transformation rate – это степень трансформации или то, насколько сам слушатель курсов считает свое обучение успешным и полезным, насколько достигнуты его собственные цели, которые он поставил в начале обучения. Иногда эту метрику называют Success Rate, что означает «степень успеха».
Данные для метрики «добываются» путем анкетирования слушателей перед стартом обучения и после его окончания. В самом начале курса следует узнать цели, которые поставил перед собой человек, пришедший учиться. В конце курса нужно выяснить, изменилась ли цель по мере прохождения обучения. Если цель осталась такой же самой, нужно поинтересоваться, достигнута ли она. Если цель поменялась, больше ничего спрашивать не нужно.
Для того чтобы подсчитать Transformation rate, нужно количество слушателей, достигших цели, разделить на разницу общего количества обучаемых и тех, чья цель поменялась. Полученный результат следует умножить на 100%.
Так, если из 30 человек 15 достигли цели, а у 10 цель поменялась, расчет будет следующим:
30 – 10 = 20
15/20 = 0,75
0,75 х 100 = 75%
Таким образом, показатель Transformation rate составит 75%. Зачем считать? Это поможет не только лучше адаптировать учебные программы под цели слушателей, но и избежать недовольства с их стороны и попыток потребовать назад деньги за обучение.
Процент возвратов
Это крайне нежелательный вариант для любой организации, предоставляющий образовательные услуги. Если слушатель требует обратно свои деньги, потому что недоволен качеством обучения, это не только финансовый ущерб, но и удар по репутации, потому что он еще и пожалуется на вас большому количеству людей, поделившись своим недовольством по поводу зря потраченного времени.
Именно поэтому важно не просто повышение качества образования в онлайн-школе или на курсах полезных профессий, но и тщательный отбор слушателей с тем, чтобы не взять случайных людей, которым будет тяжело освоить тот или иной курс. К сожалению, в погоне за прибылью коммерческие курсы этот момент часто игнорируют, забывая, что плохая репутация разносится со скоростью лесного пожара и способна «перекрыть» все ранее полученные позитивные отзывы.
Как считать процент возвратов? Расчет можно сделать за любой выбранный период (год, квартал, полугодие). Для этого нужно сумму, которую пришлось вернуть в течение этого времени, разделить на полученный за этот же период доход и умножить результат на 100%. Под доходом обычно понимается сумма, внесенная всеми слушателями за обучение:
Процент возврата = (Сумма возврата / Сумма дохода) х 100%
Так, если 30 человек заплатили по 10 000 рублей, а потом кто-то попросил вернуть ему деньги, расчет будет следующим:
30 х 10 000 = 300 000
10 000/300 000 = 0,03
0,03 х 100 = 3%
Итак, вы получили некоторое представление о том, как применять метрики качества образования. Это полезно, даже если вы никогда не будете оказывать образовательные услуги, а ограничитесь получением знаний. Например, на наших программах «Лучшие техники самообразования» «Критическое мышление». Как минимум, вы уже понимаете, что выбираемый курс должен соответствовать вашим целям и вашему уровню подготовки, а лично вам желательно иметь мотивацию идти до конца.
Мы желаем, что вас ничто не смущало и не сбивало с выбранного пути, а ваши наставники всегда поднимали вас на качественно новый уровень. И просим вас ответить на вопрос по теме статьи:
