Мой агент получил высокий балл. Проверяю, что он сделал
Как проверить, что диалоговый агент выполнил задачу, если бенчмарк поставил высокий балл? В первой пробе мой агент получил награду 1 на всех пяти задачах. Потом заглушка без единого вызова инструмента набрала 34% на полном наборе.Я разрабатываю собственную экспериментальную систему и называю её ELM. В её диалоговом варианте код предлагает действия, нейросеть выбирает из них, а код исполняет вызов и собирает ответ. В проверяемом здесь режиме нейросеть не пишет текст ответа.
Проверяю выбор функций и значения аргументов в ELM
Если вы подключаете к чату настоящие инструменты, нужно проверить два случая: когда вызов следует выполнить и когда ни один инструмент не подходит. Я сравнил два способа: модель сама пишет вызов или выбирает функцию и аргументы из готовых вариантов.Второй способ я исследую в собственной экспериментальной системе ELM — так я называю свой проект. Код предлагает варианты, нейросеть выбирает из них, а код собирает вызов. В проверяемом здесь режиме нейросеть не генерирует текст вызова.
Чат, который ничего не сочиняет: 43 гипотезы, четыре ошибки замера и одна честная стена
Препринт этой работы пока не опубликован на arXiv: для подачи мне нужен endorsement в категории cs.CL (Computation and Language). Если у вас есть право выдавать endorsement в этой категории и вы готовы помочь, буду благодарен — напишите мне в личные сообщения на Хабре.Код, файлы результатов, meta прогонов и реестр гипотез целиком, включая отрицательные: https://github.com/ADanMan/elm-research. Репозиторий пока приватный. Планирую открыть исходники после публикации статей.
Выбирать цитаты в ELM и находить ошибки поиска
Если вы делаете поиск по документам, можно ли отвечать только словами из источника и отказываться, когда ответа нет? В ELM я проверил этот способ без дообучения. При заданном абзаце выбор цитаты дал близкий к генерации общий счёт на моей выборке. Если абзац надо найти, результат зависит от поиска и последующего выбора строки судьёй.Отделить поиск от формулирования ответа
Ответ цитатой вместо генерации: проверяю поиск по документам
Если вы делаете поиск по документам, можно ли отвечать только словами из источника и отказываться, когда ответа нет? Я решил проверить, насколько далеко можно зайти с таким ограничением.Для этих экспериментов я разрабатываю собственную систему и называю её ELM. Это рабочее название моего проекта. Его основная идея: код предлагает варианты, нейросеть выбирает и проверяет их, а код собирает результат. В этой статье результатом служит цитата из документа либо отказ, если подходящий ответ не найден.
Отказы — убийцы мотивации в продажах
Сколько времени и сил тратится на мотивацию продавцов? Иногда проблема лежит на поверхности.Во многих отделах продаж к отказам относятся как к неизбежной части повседневной работы. При этом почти ничего не делается, чтобы снизить их разрушительное влияние на нервную систему продавцов. Попытки лечить симптомы с помощью мотивационных программ редко дают устойчивый результат.
«ИИ — стена» на старте карьеры
“Больше не возьмут! Как я потратил год на обучение, а ИИ забрал работу моей мечты.” Эра искусственного интеллекта вошла нашу жизнь и закрепилась во многих процессах.Не так давно люди боялись, что роботы заменят их на заводах.Теперь ИИ охотится за нашими мечтами о карьере.На вебинаре о по Soft - skills в мире IT, мне задали сотни вопросов:“Почему я не могу пройти даже первый этап собеседования?”.“Почему мне присылают дежурное ‘Спасибо, мы вам перезвоним’ после каждой отправленной заявки?Одна из причин : ИИ. И он, к сожалению, выбирает не по таланту, а по данным.
19% работодателей учитывают знак зодиака при найме. А 79% отказывают из-за постов в соцсетях
Кажется, что главное в поиске работы — хорошее резюме и успешное собеседование. Оказывается, это не так. 19% работодателей учитывают знак зодиака кандидата при найме. А 79% изучают соцсети кандидата и могут отказать из-за неудачного поста.Звучит абсурдно? Разберёмся, что происходит с рынком труда, и почему даже идеальные кандидаты получают отказы.1. Потому что компании и не ищут сотрудников. Или вы попали под один из «красных флагов»85% российских работодателей жалуются на дефицит кадров (по данным HeadHunter). Но даже при такой нехватке специалистов многие вакансии фиктивные.
Это был идеальный кандидат, и он получил отказ. Вы не поверите почему
Кажется, что главное в поиске работы — хорошее резюме и успешное собеседование. Оказывается, это не так. 19% работодателей учитывают знак зодиака кандидата при найме. А 79% изучают соцсети кандидата и могут отказать из-за неудачного поста.Звучит абсурдно? Разберёмся, что происходит с рынком труда, и почему даже идеальные кандидаты получают отказы.1. Потому что компании и не ищут сотрудников. Или вы попали под один из «красных флагов»85% российских работодателей жалуются на дефицит кадров (по данным HeadHunter). Но даже при такой нехватке специалистов многие вакансии фиктивные.
