ИИ-тесты – это один из самых простых, эффективных и надёжных методов использования искусственного интеллекта в компаниях и организациях. В статье рассмотрим реальный кейс, и на примере простого промпта сгенерируем тесты для проверки знаний правил habr.
Разберём кейс: надо срочно обучить 10 новых сотрудников, при этом существующие тесты устарели, кроме того руководитель отдела продаж обычно тратит несколько дней на проверку их знаний, прежде чем ставить менеджера общаться с клиентами. Решить проблему можно при помощи ИИ-тестов.
Результат проекта: ИИ сократило затраты времени руководителя на 90%, взяв на себя и создание тестов, и проверку, и комментирование проблем менеджеров.
Как “обмануть” тесты в виде выбора из списка ответов
Помню, как один преподаватель в университете удивлялся – почему студент проходит тестирование на 300 вопросов без единой ошибки, но если в живом общении задать ему любой вопрос в тему этих тестов, окажется что студент не знает вообще ничего.
“Даже если бы он знал вопросы заранее, то он бы всё равно не смог запомнить все триста билетов!” – говорил преподаватель, и здесь он ошибался. 300 вопросов учится “за два вечера” – я проверял лично, а знаний от такого обучения – ровно ноль.
Лучшие специалисты тратят десятки и сотни часов на формулировку и внесение в базы подобных тестов – а через год-два они устаревают, и надо всё делать заново. ИИ здесь очень помогает: создание тестов способен полностью автоматизировать. Главное – можно идти дальше и заставить обучающихся изучить материал честно и ответственно. Для этого нужно проверять ответы словами, как преподаватель проверил того студента, что выучил 300 вопросов не понимая сути.
Описанные в статье идеи могут быть интересны не только в HR службах компаний для обучения и оценки квалификации персонала и кандидатов, но и для образовательных учреждений.
Практика: сделаем 5 вопросов из правил habr
Для примера сгенерируем вопросы для проверки знаний правил публикации на habr: https://habr.com/ru/docs/help/rules/
Промпт
Вначале промпт генерации (вместо “5 вопросов” можно указать любое другое число), затем, после “ТЕКСТ:” копируем правила habr:
Скрытый текст
Создай 5 вопросов и эталонных ответов из ТЕКСТА для тестирования сотрудника данной компании. Подумай, какую информацию полезно знать сотруднику для общения с клиентами.
Форматируй тегами: [Вопрос]xxx [Эталон ответа]xxx Пример: [Вопрос]Ближайшая звезда? [Эталон ответа]Солнце [Вопрос] 2 + 2 ? [Эталон ответа] 4
Не выводи описание, сразу начинай с [Вопрос].
ТЕКСТ:
Правила сайта
Последнее редактирование — 4 мая 2022 года.
Обычно IT-специалисты и интересующиеся данной сферой — это люди культурные, уважающие не только себя, но и собеседников и читателей. Чтобы ресурс мог оставаться площадкой для общения таких людей, существуют правила, за нарушение которых модераторы могут понизить права аккаунта до ReadOnly.
Вот список того, чего на ресурсе делать не следует:
-
Рекламировать ресурсы в обход правил
Для привлечения внимания к проектам, компаниям, коммерческим продуктам, услугам, сервисам и мероприятиям предназначены корпоративные блоги и хаб «Я пиарюсь». Попытки поместить их упоминания вне указанных разделов повлекут за собой понижение прав аккаунта.
Компаниям запрещено использовать любые упоминания их средств индивидуализации, в том числе без ссылок, визуалы (логотипы, фирменные цвета и шрифты), информировать о вакансиях и задачах вне корпоративных блогов. Единственная разрешённая форма упоминания — подпись должности в компании с именем и фамилией в начале или конце публикации (пример: ведущий разработчик ООО «Конгресс» Сергей Иванов). Статьи с нарушениями будут сняты с публикации, а аккаунты их авторов будут заблокированы вне зависимости от показателя их кармы.
-
Размещать видео без расшифровок и пояснительного текста
Запрещена публикация видеороликов без подробного описания и таймкодов либо без расшифровки. Публикации, содержащие только видео и короткое описание, будут скрыты модератором в черновики.
-
Заниматься плагиатом
Не следует копировать на Хабр тексты, опубликованные другими людьми на других ресурсах, но можно копировать собственные тексты, если они не нарушают правила ресурса.
-
Путать сайт с Твиттером
Односложные статьи или новости вида «Смотрите, какую я нашел ссылку», «Chrome обновился, вот тут чейнджлог» и подобное не приветствуются. Даже если новость изначально короткая, постарайтесь сопроводить её развёрнутым комментарием.
-
Путать сайт с жалобной книгой
Если у вас проблемы с сотовым оператором, с провайдером интернета или хостинга, или с чем-то ещё, всегда можно связаться со службой поддержки нужного вам ресурса. Или с компетентными органами. Но не следует использовать Хабр как рупор, дабы рассказать всем о постигшей вас ситуации.
-
Путать сайт с имиджбордом
У нас не принято общаться изображениями. Изображение, иллюстрирующее вашу мысль, должно сопровождаться текстовым комментарием, исключающим неоднозначность его трактовки. Крупные изображения следует помещать под спойлер, чтобы пользователям не приходилось тратить время на их пролистывание.
-
Инициировать политические дискуссии и участвовать в них
Тематика нашего ресурса определена довольно чётко. Для рассуждений о политике есть куда более подходящие сайты. Но не Хабр.
-
Игнорировать правила русского языка, коверкать слова, злоупотреблять смайликами
Даже если русский язык был не самым вашим любимым предметом в школе или не является родным — проверка орфографии в браузере у вас наверняка есть, не стоит ею пренебрегать. Это сохранит как вашу карму от минусов, так и ваш аккаунт. Смайлики и emoji допустимы в статьях (в умеренных количествах), но в заголовках их лучше не использовать.
-
Оскорблять других пользователей, не следить за эмоциями
Мат, оскорбления, переходы на личности, эвфемизмы, троллинг — хорошие способы быстро и надежно сменить текущий статус аккаунта на ReadOnly.
-
Беспокоить пользователей в личных сообщениях
Не следует беспокоить пользователей: просьбами изменить чью-либо карму или рейтинг публикации; просьбами о консультации (для вопросов к IT-специалистам существует сервис Хабр Q&A); просьбами о помощи в настройке чего-либо или решении какой-либо задачи; просьбами поучаствовать в опросе или высказать свое мнение о чем-либо; своими резюме или предложениями трудоустройства (для поиска работы и работников существует сервис Хабр Карьера); отзывами о компании, в которой они работают или вопросами к этой компании; любыми обращениями, направленными на привлечение внимания к какому-либо проекту, продукту, мероприятию или услуге.
-
Создавать виртуалов
Всегда приятно поговорить с умным человеком, но создавать для этого добавочные аккаунты и накручивать с них карму и голоса за публикации не стоит.
Список нарушений остаётся открытым, потому что всегда можно придумать что-то, не описанное выше. В таких случаях модераторы руководствуются здравым смыслом и собственным чувством прекрасного. Обсуждать их решения и создавать на эту тему агитационные публикации не стоит — если они кого-то забанили, значит, у них была довольно веская причина.
Как видите, ничего сложного в правилах нет, и мы будем признательны, если вы будете их соблюдать.
Хабраэтикет
Это не рекомендации для обязательного выполнения, это — правила этикета, придерживаться которых совсем несложно.
-
Сетевой этикет — он и на Хабре сетевой этикет.
-
Уважайте мнение других. Оно не обязано совпадать с вашим.
-
Откажитесь от публикации сообщений, направленных лишь на увеличение Хабрасилы. Стремитесь просто писать интереснее и лучше.
-
Аргументированная публикация, даже если она противоположна вашему мнению, не должна получать минус. Человек не обязан подстраиваться под ваши вкусы.
-
Если схожие темы неоднократно поднимаются под разными предлогами, это не значит, что надо ставить минус. Это лишь значит, что проблема до сих пор не решена.
-
Каждый автор имеет свою индивидуальность, потому если вы уже где-то видели подобную статью, это не значит, что в сообщении нет ничего нового и интересного. Вчитайтесь и вдумайтесь — поймите авторское мнение.
-
Изменение кармы несёт гораздо большую ответственность, чем выставление оценки комментарию. 1-2 комментария не должны становиться причиной для занижения кармы.
-
Не злоупотребляйте своей возможностью голосования. Необходимо понимать, что минус сильно отличается от плюса — минус угнетает человека, а не развивает его. Ставьте плюсы, когда вам что-то нравится, но подумайте, прежде чем ставить минус, если что-то не понравилось.
-
Первый комментарий — это не единственный комментарий в теме. Прежде чем ставить ему оценку, прочитайте ещё парочку.
-
Минус — это не аргумент, и, тем более, не контраргумент.
-
Не стоит делать того, что не принято в цивилизованном обществе, противоречит законам, морали и этике.
-
Не делай другим то, что не хочешь получить от них сам. Поставьте себя на место человека, с которым общаетесь. Отстаивайте свою точку зрения, но не оскорбляйте окружающих.
-
Помогайте другим там, где вы это можете делать.
Данный промпт можно применить в любой популярной нейросети, например, в deepseek, chatGPT, GigaChat.
Результат:
[Вопрос]Что произойдет с правами аккаунта при размещении рекламы ресурсов вне установленных разделов?
[Эталон ответа]Права аккаунта будут понижены до статуса ReadOnly.
[Вопрос]Какие последствия ожидают компанию за использование логотипа и фирменных цветов в публикациях вне корпоративных блогов?
[Эталон ответа]Аккаунт автора публикации будет заблокирован независимо от уровня кармы.
[Вопрос]Допустимо ли размещать на сайте видеоролики без подробного описания и таймкодов?
[Эталон ответа]Нет, такие публикации будут удаляться модераторами.
[Вопрос]Какой способ выражения личного мнения считается приемлемым согласно правилам ресурса?
[Эталон ответа]Приемлемое выражение мнения предполагает уважение к другим участникам и отсутствие перехода на личности, мата и оскорблений.
[Вопрос]Можно ли пользоваться смайликами и emoji в статьях?
[Эталон ответа]Да, но в умеренном количестве и нежелательно в заголовках статей.Конечно, у вас могут получиться другие вопросы. Результат получился в специальном формате:
[Вопрос]Здесь находится вопрос
[Эталон ответа]Здесь находится эталон ответа
При помощи промпта можно задать классический специализированный формат, например, json или xml. Здесь используем свой формат для удобства проверки теста отраслевым специалистом (далёким от IT).
Теги [Вопрос] и [Эталон ответа] настроили для автоматической загрузки всех вопросов в корпоративную систему (Битрикс24).
Промпт проверки результатов разберём далее.
Описания товаров, регламенты и любые другие документы используются для создания тестов
Это очень удобно – в вышеописанном кейсе в компании (оптовые продажи) были описания товаров от производителей, а также внутренние регламенты. Документы просто закинули в промпт и получили более 100 вопросов, которые разбили на 6 разных тем.
Почему в кейсе выбрали Битрикс24
Тестирование – это важная часть работы с сотрудниками, поэтому удобно, когда они находятся в общей корпоративной системе. Так как сотрудники уже работали Битрикс24, поэтому выбор был очевиден. Аналогичный проект можно сделать и для других систем, а если речь идёт о тестировании в образовании или сотрудниках, которым корпоративный портал не нужен – то лучше использовать веб-интерфейс, который полностью заточен под тесты. На скриншотах ниже интерфейс из Битрикс24, а в качестве примеров – правила habr.
ИИ проверяет ответы теста
Пока смотрим суть, а промпт разберём далее.
Улучшаем ответ:
Промпт проверки ответа
В промпте просим проверить и выдать оценку и комментарий. Возьмём первый вопрос:
[Вопрос] Что произойдет с правами аккаунта при размещении рекламы ресурсов вне установленных разделов?
[Эталон ответа] Права аккаунта будут понижены до статуса ReadOnly.
И добавим к нему ответ “своими словами”:
[Ответ] Аккаунт переведут в режим “только для чтения”
Полный промпт:
Ты выполняешь роль руководителя, тестируешь сотрудников. Оцени от 0 (плохо) до 10 (идеально) и заполни в mark.
Кратко комментируй ответ, укажи что можно улучшить - заполни в commentary.
[Вопрос] - вопрос теста.
[Ответ] содержит ответ сотрудника.
[Эталон ответа] - это эталонная Эталон ответа.
тест:
[Вопрос]Что произойдет с правами аккаунта при размещении рекламы ресурсов вне установленных разделов?
[Ответ] Аккаунт переведут в режим "только для чтения"
[Эталон ответа]Права аккаунта будут понижены до статуса ReadOnly.Результат
Ошибки ИИ и спорные оценки
Самое удивительное – это очень низкий процент спорных оценок, с которыми не согласен сотрудник. Был интересный случай: как отвечать на вопрос “сколько сахара в сухом вине?” ИИ не хотел принимать ответ “ноль”, хотя именно так было в эталоне (сахар в сухом вине есть, но совсем мало). В итоге это поправили на уровне более детального описания эталона “ответ 0 принимать как правильный“. С другой стороны, ИИ очень придирчив и даже идеально знающий всё сотрудник редко набирает средний балл больше 8,5. На практике, большинство сотрудников ответило со средним баллом от 5 до 7, что достаточно для начала работы. В два раза меньше набрало более 7 баллов (оценка отлично), а те, кто не смогли дотянуть до 5 (неудовлетворительно) не были допущены к клиентам.
Особенности реализации в Битрикс24
Техническая реализация в Битрикс24 – это наиболее сложная часть данного проекта, не имеющая прямого отношения к искусственному интеллекту и тестированию, но важная для практической работы. Мы использовали два смарт-процесса по две воронки каждый, плюс около 20 бизнес-процессов (так называются функции внутри битрикса, при помощи которых можно программировать сложную логику).
Что удобно:
-
можно назначить сразу все 6 тестов на 100+ вопросов сотруднику одной кнопкой
-
классическое для Битрикс24 Канбан-представление результатов
-
фильтры и права доступа (стандартный функционал Б24)
-
уведомления внутри системы или на e-mail о результатах или необходимости пройти тесты
Главное – высокая скорость создания и добавления тестов с нуля. Взяли неизвестную инструкцию и через пару минут уже назначили тест. Хотя правильно – после генерации вопросы и эталонные ответы проверить специалисту.
Поделитесь в комментариях о вашем опыте прохождения тестирования!
Автор: Chuzhakin
