В одной из предыдущих статей я описал, как простой Telegram-бот помогает с подбором и при этом экономит деньги банку. За прошедшие три года решение значительно эволюционировало, обросло новым функционалом, было масштабировано на многие подразделения банковского ИТ.
Параллельно в банке шли исследования в части использования генеративного искусственного интеллекта для более эффективного решения текущих задач. В статье поделюсь опытом анализа обратной связи кандидатов на вакансии системного аналитика, прошедших через бот, с использованием инструментов, предоставляемых банком.
Кратко напомню, для чего нужен был Telegram-бот. Он предназначен для автоматизации этапа скрининга кандидатов на вакансии в ИТ (системный аналитик, разработчик, специалист по тестированию) с целью убедиться, что последние обладают базовыми знаниями и навыками, проверяемыми на этапе технического интервью. Грубо говоря, бот оценивает, есть ли смысл в проведении технического интервью кандидатов.
Алгоритм оценки для системных аналитиков: Бот предлагает кандидату ответить на ряд закрытых вопросов (всего 16 штук). Если кандидат правильно отвечает на 75% (или 12 вопросов), бот считает, что скрининг пройден, кандидата можно направлять на этап технического интервью. В противном случае кандидата дальше рассматривать не рекомендуется.
Анализ статистики прохождения вопросов из базы позволяет управлять воронкой кандидатов. Если на момент запуска решения летом 2023 только 44% кандидатов на позицию системного аналитика успешно проходили скрининг, то в 2025 воронка уже держалась на уровне 83-84%.
С момента публикации предыдущей статьи решение претерпело ряд изменений:
-
Расширена база закрытых вопросов. Ранее каждый кандидат на позицию системного аналитика сталкивался с одним и тем же статичным набором из 16 закрытых вопросов, существовал высокий риск их утечки. На текущий момент база включает десятки закрытых вопросов по каждой теме (а темы приведены в соответствие унифицированной модели оценки знаний и навыков системного аналитика). Теперь для каждого кандидата при помощи рандомайзера динамически формируется свой уникальный набор из 16 закрытых вопросов из базы, риск утечки снижен.
-
Добавлены открытые вопросы. Ранее решение о приглашении кандидатов на позицию системного аналитика на техническое интервью принималось на основе резюме, результатов скрининга, а также дополнительной информации, собранной рекрутерами. Существовал риск искажения части этой дополнительной информации ввиду того, что рекрутеры не являются техническими специалистами. Для снижения риска были добавлены открытые вопросы по опыту кандидатов, ответы на которые теперь регистрирует бот.
-
Добавлен сбор обратной связи. Ранее обратная связь кандидатов по этапу скрининга собиралась рекрутерами вручную, что создавало для них дополнительную нагрузку. Теперь данную функцию выполняет бот.
Сбор и анализ обратной связи являются важными процедурами для развития любого цифрового продукта. Наш бот не является исключением. Каждый квартал только по компетенции системный анализ через него проходят сотни кандидатов, десятки делятся обратной связью. Кто-то оставляет короткий отзыв-благодарность, кто-то делится подробностями своего опыта по прохождению скрининга, подсвечивая как положительные моменты, так и зоны роста. Как из всего этого потока вычленить наиболее важные моменты для улучшения продукта?
Суммаризация является одной из типовых задач для генеративного искусственного интеллекта. На входе большой кусок текста (статья или документ) или множество кусков поменьше (вопросы пользователя и ответы оператора или отзывы клиентов), на выходе краткое резюме. Суммаризация позволяет в сжатые сроки (от нескольких секунд до нескольких минут) добраться до сути.
В банке активно развивается сервис Alfa AI внутри корпоративной платформы Alfa People. Этот ИИ-сервис дает доступ к ведущим нейросетям мира. В нем можно как просто задавать вопрос в чат, так и сделать собственное пользовательское приложение – AI-ассистент. Достаточно выбрать модель, задать инструкцию (промпт) и ряд дополнительных параметров.
Для анализа обратной связи кандидатов по этапу скрининга в сервисе Alfa AI было создано соответствующее пользовательское приложение. Инструкция задавала последовательность действий:
-
Поприветствовать пользователя и напомнить о своем назначении.
-
Попросить загрузить файл с отзывами кандидатов.
-
Выполнить анализ файла и представить результат в соответствии с заданным шаблоном.
Ниже приведен пример работы приложения для анализа обратной связи кандидатов на вакансии системного аналитика.
Все отзывы приложение делит на три группы – положительные, нейтральные и отрицательные. У пользователя может возникнуть желание разобраться, что было отнесено к каждой группе. Приложение позволяет получить дополнительную информацию, задав уточняющий вопрос.
Обратная связь кандидата поступает в формате обычного текста, который может содержать сразу несколько маркеров, позволяющих отнести отзыв к той или иной категории. Один отзыв может содержать указание как на нехватку времени, так и на проблемы с формулировками вопросов. Дополнительную информацию также можно получить через уточняющий вопрос.
Фрагмент ответа ниже. Видно, что в двух отзывах (2.67%) отмечено наличие ошибки в вопросе с использованием sequence-диаграммы.
На основе содержания отзыва можно определить конкретный вопрос, затем получить собранную ботом статистику его прохождения. Данный вопрос про sequence-диаграмму проходят 74% кандидатов. Следовательно большинство кандидатов может определить правильный ответ, он доступен для выбора.
Главная ценность разработанного на платформе Alfa Al пользовательского приложения заключается в сокращении времени на анализ отзывов кандидатов по этапу скрининга. Отзывы приходят пачкой раз в квартал. Раньше на анализ могло уходить до нескольких часов. Теперь первичную выжимку – общее количество отзывов, распределение по степени эмоциональной окраски, топ-5 наиболее частых предложений по улучшению, – можно получить за несколько секунд.
Данное приложение отлично подходит для поиска опций для улучшения этапа скрининга кандидатов на вакансии системного аналитика банка. Например, какие вопросы вызывают непонимание, какие составлены с ошибками, а на какие банально не хватает времени (ведь время ответа на отдельные вопросы и прохождения всего скрининга ограничено). В частности, было выявлено, что нужно давать больше времени на открытые вопросы, требующие ввода произвольного текста.
Ну и наконец, пользовательское приложение требует на вход лишь множество отзывов и не зависит от инструмента проведения скрининга. На момент написания статьи им выступает Telegram и реализованный на его базе бот. Однако есть немалая вероятность, что с конца марта или начала апреля мессенджер будет недоступен (или ограниченно доступен) на территории нашей страны. Инструмент проведения скрининга изменится, а инструмент для анализа отзывов останется.
А вы используете генеративный искусственный интеллект при найме сотрудников? Поделитесь опытом в комментариях.
Автор: alobzov
