В 2021 году я начал масштабное исследование трудоустройства 400 QA-студентов более десятка различных курсов. Исследование получилось настолько длинным, что превратилось в дюжину хабр-статей с 500'000 просмотрами, а некоторые из его участников успели пройти путь от "какой курс посоветуете?" до "поздравьте, мне предложили позицию сеньора".
Как выяснилось позднее, в исследовании статистики трудоустройства я был не одинок. Высшая школа экономики в 2021 и 2022 годах делала для нескольких крупных обучающих платформ исследования по достижению целей обучающихся.
В публично размещенном отчете есть данные по реальному трудоустройству после обучения в Skillbox на профессию тестировщика. Они не лежат на поверхности, но вычленить их из отчета несложно.
Удивительнейшим образом эти собственные данные выглядят иначе, чем числа, которые Skillbox публикует на своих лендингах.
Исследование «Мониторинг достижения целей обучения выпускников Skillbox»
Данное исследование эффективности образовательных программ Skillbox проводилось по уже стандартной для Высшей школы экономики (ВШЭ) методике. Согласно ее описания, курс передает ВШЭ первичные данные, а тот выполняет их обработку.
Судя же по описанию аналогичного исследования для Яндекс.Практикум, курс и самостоятельно связывается со всеми студентами для участия в опросе
Команда НИУ ВШЭ контролирует email-рассылку с приглашением к участию в опросе, телефонный обзвон, а также рассылку SMS-сообщений. Они же обрабатывают данные и передают их в Практикум в качестве отчёта.
Было выбрано порядка 500 выпускников десятка курсов Skillbox по разным профессиям. Этим выпускникам было предложено заполнить онлайн-опросник. Он содержит достаточно много вопросов, по которым определяется, какие цели ставил перед собой выпускник и насколько их, по его мнению, ему удалось их достичь. Выясняется не только факт получения работы, но и как выпускник ее искал, сколько это потребовало времени и как в результате повлияло на заработную плату.
Оцениваются и другие, более интересные для самого курса вещи. Например, как часто выпускники рекомендуют обучение, насколько адекватна, по их мнению, стоимость обучения и так далее.
Все вышеуказанное собирается в разрезах по полу, возрасту, месту проживания, предыдущему опыту в IT. Как мы видим, в ходе исследования собираются и анализируются как объективные, так и субъективные данные.
Что говорят числа
До конца обучения доходит 60% студентов. Не ищите это число в отчете, чуть позже я скажу, откуда оно появилось. Вообще отчет детализирует не все параметры по каждой профессии, поэтому где-то придется пользоваться данными, обобщенными для всех профессий.
Целью найти работу в новой профессии ставило себе 66% выпускников. Впрочем, в процессе обучения некоторые передумали ее менять, и таким образом осталось 62%.
Среди этих самых 66% желающих найти новую работу именно в разрезе специальности “Тестирование web-приложений” смогло реализовать свою цель 66%. Что интересно, из расчета процента трудоустроившихся были убраны те, кто в принципе хотел найти новую работу, но в течение полугода с момента окончания курсов к этим поискам не приступил. Про это мы тоже поговорим позднее.
Итак, что у нас получается? Из числа поступивших на курс до конца доходит 60% студентов, из них 66% заявили, что хотели получить новую профессию и из их числа это получилось у 66%. С помощью несложных расчетов получается 60%*66%*66%=26%.
Другими словами, из 100 поступивших на курс 60 студентов прошли обучение до конца. Из этих 60 получить работу тестировщиком хотело 66%, или 39 человек. И из этих 39 смогло получить QA-работу 66% или 26 человек.
Следим за руками
Если еще раз посмотреть на приведенный выше скрин лендинга, то мы увидим “93% отметили, что Skillbox помог достичь цели, которую они перед собой ставили”.
Если посмотреть на исследование, то мы видим “66% из тех, кто хотел сменить профессию, в результате нашел работу”
То есть даже если мы смотрим только на выпускников, а не на всех поступивших, то фактически показатель достижения цели на 1/3 ниже заявленного.
Но имеет смысл как раз смотреть на общие данные по трудоустройству с учетом всех поступивших, а не только выпустившихся. Тогда мы увидим 26%. Не сильно впечатляющий результат, верно?
Впрочем, этот показатель, вероятно, еще меньше. Ведь есть некоторые вопросы к методике проведения исследования.
Вопросы к методике исследования
“66% хотело найти работу в новой профессии”
Не является ли этот процент слишком низким? Платить более 100’000 ₽ за обучение, чтобы просто чему-то научиться в свое довольствие, но не для заработка денег?
Возможно, у богатых свои причуды.
А может быть, дело в том, что мы очень часто меняем свое мнение.
Иногда мы это делаем неумышленно. В моем исследовании, где я общался с респондентами - студентами курсов - с самого начала, были те, кто в ходе глубинных интервью, иногда растягивающихся и на год, незаметно для себя самого менял мнение от “да, профессия тестировщика - это то, что я хочу” до “я никогда и не собирался работать в тестировании, я учился для себя”.
Иногда мы это делаем умышленно. “Я заплатил за курс, но в результате не смог найти работу. А у меня в учебной группе знакомые устроились работать. Чтобы не выглядеть идиотом, укажу, что изначально и не собирался трудоустраиваться.”
Напомню, в исследовании ВШЭ студенты опрашивались не просто после окончания обучения, а когда с выпуска прошло уже больше полугода (а с момента начала обучения - год и больше). В такой ситуации многие студенты явно будут “задним числом” занижать свои изначальные ожидания. Что может давать более положительную статистику для курса - “они же и изначально не хотели трудоустраиваться”.
“Мы, джентльмены, верим на слово”.
Другой важный момент заключается в том, что в исследовании нет верификации трудоустройства. То есть если выпускник указал в анкете, что трудоустроился, значит, он трудоустроился.
Кому-то из примера выше может быть неудобно признаться в том, что он не достиг таких успехов, как его одноклассники.
Какой-то студент может быть засланным казачком от самого курса для накрутки статистики.
А кто-то из примера ниже может сделать это из благодарности к курсу.
Для сравнения подходов - в своих аудитах я явно требую от каждого трудоустроившегося выпускника подтверждения трудоустройства. Это может быть подтверждение через работающих коллег, руководителя или отправка письма со служебной почты.
Двадцать долларов - это двадцать долларов
В приглашении к участию, которое направлялось выпускникам по электронной почте, описывались цель и темы опроса, информация о примерном времени заполнения анкеты (5-10 минут), а также информация о вознаграждении за заполнение анкеты до конца — сертификат на одну электронную книгу, ссылка на которую была размещена на последней странице анкеты.
Как можно убедиться, что подарки или вознаграждения за участие в опросе не искажают результаты опроса, мотивируя людей давать ожидаемые организатором ответы, а не их истинные мнения или опыт?
По моему скромному мнению, никак.
Небрежности с данными
В аналогичном исследовании ВШЭ трудоустройства выпускников Яндекс.Практикум значится, что онлайн-опрос проводился среди выпускников, завершивших обучение в период с 1 января по 31 апреля 2022 года. Жаль только, что 31 апреля не существует.
И жаль, что это немного понижает уровень доверия и к данным других отчетов, в том числе по Skillbox.
Впрочем, это далеко не самое существенное.
Ведь у нас есть гораздо более значимые вопросы.
Почему все делают вид, что отчислившихся студентов не существует?Потому что чем больше отчислившихся студентов, тем выше процент трудоустраивающихся выпускников
Самая главная претензия к методике к ВШЭ заключается в том, что она детально и скрупулезно изучает много разных данных. Но случайно или специально не берет в расчет самое интересное.
Представим, что эта же методика используется для оценки удовлетворенности пациентов хирургического отделения некоторой больницы. Мы опрашиваем пациентов после перенесенной операции о том, насколько они довольны лечением. Как они оценивают работу хирурга, сколько длился восстановительный период и не изменилось ли качество их жизни в худшую сторону после операции.
Удивительно, но при такой методике оценки удовлетворенности работа плохого хирурга может оцениваться пациентами выше, чем работа хорошего хирурга.
Почему?
Хороший хирург спасает всех пациентов. Некоторые из них были тяжело больными, столкнувшись с непростыми болезнями, и их восстановление идет тяжело. И даже с учетом того, что их вернули с того света, у них так или иначе будет проскакивать мысль “а может быть, операцию можно было сделать лучше?”.
У пациентов плохого хирурга таких сомнений не будет. Ведь на его операционном столе умирает максимальное число пациентов. У тех, что остались в живых, изначально было относительно легкое заболевание и восстанавливаются они быстро и непринужденно. Если же плохой хирург будет обладать хорошей эмпатией, то благодаря эффекту доктора Хауса по результатам опроса пациентов он может выйти и в лучшие специалисты больницы.
Идея опрашивать только выживших пациентов больницы гениальна.
Но не менее смела идея опрашивать только успешно выпустившихся студентов онлайн-курса. В отличие от мертвых пациентов, недоучившиеся на курсе студенты наверное еще все-таки живы, что мешает поговорить с ними?
На хорошем курсе из 100 поступивших до конца дойдет 90 студентов. Среди них будут и “тяжелые” пациенты и “легкие”. Сложно ли организовать карьерный трек, который трудоустроит сразу 90 человек? Сложно.
На плохом курсе из 100 поступивших до конца дойдет только 10 выживших. Сложно ли организовать карьерный трек, на котором нужно трудоустроить только 10 человек? Нет.
И более того:
На любом, даже самом плохом курсе, всегда есть 5% самомотивированных, толковых студентов, которые в любом случае найдут работу.
Таким образом, плохой курс, где до конца обучения дошло только 10 из 100 человек, уже имеет 5 трудоустроившихся и впечатляющую статистику “50% выпускников трудоустраивается”.
Яндекс.Практикум раскрывает на своем лендинге число доходящих до конца обучения студентов - 60%. Это не данные исследования ВШЭ, а собственная статистика Яндекс.Практикум. Ей можно верить, можно нет - но это хотя бы что-то.
К сожалению, Skillbox не раскрывает число доходящих до конца обучения. Но исходя из того, что во многом данные исследования ВШЭ по обеим платформам пересекаются, для вышеуказанных расчетов экспертным методом тоже было взято число 60%. В реальности оно может быть другим, но крайне маловерятно, что оно будет больше 60%.
“Число трудоустраивающихся от числа поступивших - не наш KPI”
Слишком часто в разговоре с руководителями курсов я слышу утверждение, что число трудоустройств нужно оценивать только по выпускникам, без учета тех, кто доучился до конца. Мол, наше дело - дать возможность получать знания. А если студент пришел “только посмотреть” и после обучения решил не искать работу - то это не наша проблема.
Насколько я вижу, это позиция именно больших платформ и именно в России.
В Европе, особенно в Северных странах, действительно широко развито дополнительное образование взрослых в формате “нужно постоянно развиваться, следить за трендами, быть всесторонне образованными”. И здесь много студентов “я только посмотреть”. Но в Европе и не такой большой разрыв между IT и не IT зарплатами, и у людей не так много мотивации в принципе изначально переходить в IT.
В США процветают IT-буткемпы, и это совершенно другая история. Будет ли кто-то увольняться с текущей работы и идти на учебу на полный день только ради дополнительной социальной коммуникации или общего саморазвития? Конечно же, нет. Студент приходит за четкой и конкретной целью.
Российское же онлайн-образование пытается усидеть на двух стульях. С одной стороны - давать сугубо прикладные курсы вроде тестирования. Которые, скажем честно, не самые увлекательные и на которые вряд ли кто-то будет приходить “по фану”.
С другой - учить нутрициологии, биохакингу, партнерским отношениям и успешным онлайн-знакомствам. Впрочем, у кого-то и последние “специальности” могут быть источником для профессионального заработка.
В любом случае очевидно, что пытаться использовать одинаковые метрики и для профессионального развития, и для личностного опционального в корне неверно.
Если студент пришел учиться ради развития, то NPS, CSI и прочие параметры вполне приемлимы.
Если же он пришел ради получения новой профессии, то главный KPI - это нашел он в результате работу или нет. И в том случае когда студент не смог доучиться до конца, то это проблемы курса, а не студента.
Для Skillbox здесь тревожным звоночком должно быть то, что у 21% респондентов цель обучения изменилась в процессе обучения. Это могло произойти из-за прокрастинации студентов. А могло и из-за того, “что с таким качеством обучения работу мне никогда не найти”. Но почему-то, как мы говорили выше, из расчета процента трудоустроившихся были убраны те, кто в принципе хотел найти новую работу, но в течение полугода с момента окончания курсов к этим поискам не приступил.
Именно число доходящих до конца обучения студентов отражает реальное качество образовательной платформы. Когда преподаватели обучены преподавать, материалы выверены и каждому студенту во время учебы оказывается необходимая помощь и поддержка.
И только отслеживание числа трудоустроенных студентов с учетом ВСЕХ изначально поступивших, а не только дошедших до выпуска, дает курсу реальную обратную связь об актуальности его образовательной программы и насколько он “в рынке”.
Выводы
Согласно исследованию ВШЭ, обучающая платформа Skillbox демонстрирует статистику “26% от изначально поступивших студентов на специальность тестировщика получает работу в IT”.
Данные посчитаны с учетом выбранным по аналогии с Яндекс.Практикумом процентом доходимости студентов до конца обучения в 60%.
Методика исследований ВШЭ слишком полагается на предоставленные самим курсом данные, не учитывает процент сходящих с обучения студентов, а изначальную мотивацию студентов по трудоустройству оценивает более чем через год после начала обучения. Все это может влиять на результаты исследования, искажая их в лучшую сторону.
Моя экспертная оценка трудоустройства Skillbox от числа всех поступивших - в пределах 10-20%.
У того же Яндекс.Практикума глубокий и ресурсоемкий курс, требующий от студента до 40 часов учебы в неделю. Но, согласно исследованию ВШЭ, процент трудоустройства выпускников курса "Инженер по тестированию" на Яндекс.Практикум - только 39%. У Skillbox, напомню, это 66%.
Одно из возможных объяснений - что в Skillbox на самом деле до конца учебы доходит меньше 60% поступивших. Ведь как мы и говорили выше, чем меньше студентов доходит до конца, тем больше среди них тех, кто готов найти работу. И это может сильно повлиять на результирующий процент нашедших работу среди всех изначально поступивших.
Но 26% это в любом случае очень отрезвляющее число. Потому что до сих пор часто вижу студентов, которые проучившись полгода на курсе, выпустившись и потратив несколько месяцев на поиски работы в результате изумленно говорят “у нас из группы устроилось меньше половины студентов”. Очевидно, при изначальном поступлении они не пытаются пообщаться с предыдущими выпускниками курса и покупаются на некие маркетинговые 93%.
Независимые данные
К сожалению, в моем исследовании не набралось достаточного числа обучавшихся в Skillbox студентов, чтобы предоставить свои данные.
Зато в рамках созданного мной манифеста профессионального IT-образования Manifestus.Pro выполняется глубокий аудит курсов, который отвечает более жестким требованиям:
данные по составу учебных групп на момент поступления и момент выпуска проверяются независимо, без доверия к предоставленной курсом информации;
% трудоустроенных считается от всех поступивших студентов на курс, а не только от выпустившихся;
факты трудоустройства выпускников проверяются, и эта статистика не может быть накручена курсом;
все собранные в рамках аудита данные проверяются независимым наблюдательным советом, куда входят менеджеры российских и иностранных IT-компаний, включая Самокат, Yandex N.V. и другие.
Про то, как именно проходит аудит трудоустройств конкретного курса и как данные проверяются независимым наблюдательным советом - в статье на следующей неделе.
Уведомления о новых статьях появляются в телеграм-канале QAsmokeQA - Тестируем качество IT-обучения.
