От 3000 сессий в месяц до 100 в секунду: как LLM заменила ручную оценку ботов поддержки
Привет, Хабр! На связи Ангелина Большина, Денис Толкачев и Игорь Буянов, команда Customer Support NLP, мы разрабатываем ботов для службы поддержки клиентов. И наша работа полезна для развития продукта MWS AI Клиентский сервис. Сегодня мы расскажем вам про то, как мы автоматизировали оценку наших ботов с помощью специально разработанной метрики. Мы разделили материал: сначала расскажем про бизнес-составляющую, а затем – про технические детали. Итак, поехали!
Британское правительство попросило служащих не благодарить ИИ и писать короткие промпты
Правительство Великобритании опубликовало руководство
Локальный анализ звонков без GPU. Что происходит на пути от аудио до резюме
Я хотел проверить не то, насколько хорошо локальная LLM пишет резюме на красивом тестовом диалоге, а что произойдет с ней на обычном телефонном звонке с музыкой, автоответчиком, перебиваниями и плохим звуком.Я сделал desktop приложение на Tauri, Rust, React и SQLite. Оно распознаёт речь, разделяет спикеров, считает тональность, эмоции и риски, а в конце локальная модель пишет резюме и рекомендации. Всё считается на компьютере, интернет нужен только чтобы скачать модели. При парсинге звонков часто бывают имена, адреса и номера договоров, и отправлять их во внешний API не хочется.
A-A на страже: как статистический тест находит различие, которого нет
В прошлой статье я разбирал спекулятивное декодирование — способ ускорить языковую модель. Метод обещает, что ускорение не изменит ответы: распределение текстов на выходе останется ровно таким же, как при обычной генерации. Гарантия следует из самого устройства метода, но её стоило проверить на практике.Первая попытка дала обратный результат: статистический тест уверенно сообщал, что распределения различаются. Ошибка сидела не в модели и не в ускорении, а в самом тесте. По одному выводу её было не разглядеть: числа выглядели нормально.
Зачем модели делать больно?
Исследователи дали языковой модели две кнопки.Одна ничего не делала. Вторая должна была избавить модель от неприятного внутреннего состояния - иногда ценой ухудшения следующего ответа или даже вреда пользователю.Модель выбирала облегчение. А если кнопка не срабатывала, пыталась снова.Это не мысленный эксперимент. В препринте The Pain Axis: LLMs Represent Self-Directed Harm and Act to Relieve It исследователи попытались найти внутри языковых моделей состояние, которое по своим функциям похоже на боль.
Промпт-инжиниринг: как лучше общаться с ИИ
Качество ответа генеративной модели во многом зависит от того, как сформулирован запрос. Промпт-инжиниринг здесь не сводится к поиску «правильных слов» или универсальных команд. Его основная задача гораздо проще: как можно точнее передать модели свое намерение.Генеративный ИИ заметно изменил способ взаимодействия с программами. Модель можно попросить написать письмо, проанализировать информацию, объяснить сложную тему, предложить идеи, сгенерировать код, составить план проекта или критически разобрать предложенное решение.Но есть ограничение:
300 классов, 400 сэмплов и никакого промптинга: ЛЛМ как энкодер для классификации
Когда речь заходит о ЛЛМ и классификации, первая мысль — попросить модель сгенерировать класс через промптирование модели с описанием правил и добавлением примеров. Для небольшого количества классов это работает. Но для 100+ классов (или даже 20-30) — уже нет: контекст раздувается, модель галлюцинирует, а инференс может занимать десятки секунд. Мы решили использовать ЛЛМ иначе: не как генератор текста, а как энкодер, прикрутив сверху обычную классификационную голову.
Jev и обычные LLM: сравниваем качество, скорость и стоимость
В приложениях и агентах от AI не всегда нужен текст на несколько абзацев. Иногда достаточно выбрать категорию, проверить условие или поставить оценку. Я решил разобраться, даёт ли специализированная модель Jev от TypeSafe преимущества перед обычными LLM в таких задачах. Для проверки подготовил комментарии на русском и английском и сравнил качество ответов, скорость и стоимость.Что такое Jev
