От толмачей до локальных нейросетей: как я собрал приложение для перевода книг
На днях хотел прочитать книгу, но она была только на английском языке. Всё бы ничего, только я не совсем дружу с английским.
Радар спроса: ловим «ищу разработчика» в чатах, а ИИ-классификатор держит потолок $30 в месяц
Я делаю сайты и телеграм-ботов на заказ. Заказчики пишут «ищу, кто сделает лендинг» в профильные чаты и в ленты соцсетей, и кто ответит первым, тот обычно и получает разговор. Читать все чаты глазами я не могу, поэтому собрал робота: он читает чаты и ленты, отсеивает мусор, оценивает каждую находку нейросетью и присылает мне в личку карточку с баллом и черновиком первого ответа. Отвечаю я сам, руками. Пишет робот только мне, и это правило я зашил прямо в код, на свою силу воли не полагаюсь.
Однобитная Bonsai по весам: что видно при сравнении с Qwen и как получить такую модель дистилляцией
Хотели бы вы запустить большую языковую модель на видеокарте с небольшим объёмом памяти? Модель с 27 миллиардами параметров, упакованными в 16 бит, занимает около 54 ГБ. Если хранить каждый вес одним битом и один общий масштаб на группу из 128 весов, те же параметры уместятся примерно в 4 ГБ (не считая таблицы словаря).
Как ИИ-агенты повторяют задачу: промпт, скилл, граф или код
В понедельник сотрудник отдела закупок просит агента сверить новый прайс-лист поставщика с рыночными ценами и собрать отчёт по позициям, где отклонение выше порога. Агент выполняет задачу за десяток шагов: читает Excel, ищет рыночные цены, считает отклонения, пишет выводы. Через неделю приходит следующий прайс-лист, и задачу нужно повторить.При повторном запуске агент заново выбирает инструменты и порядок шагов, и за это планирование каждый раз приходится платить токенами и временем. Отчёт приходит в другом формате, потому что модель пишет его с нуля, а иногда в нём пропущен шаг, который агент выполнил неделю назад.
Jev 1.14: ищем объекты, проверяем документы и находим кошку среди 96 фотографий
В предыдущей статье я проверял Jev на текстовых задачах: классификации, уверенности ответов, длинном контексте и грязном входе. 14 октября TypeSafe анонсировала Jev 1.14 и открыла экспериментальные возможности: изображения, новый тип вопроса box и расширенный контекст. Захотелось посмотреть, что с их помощью можно сделать на практике и где возникают ошибки.
Регрессионное тестирование промптов: ИИ‑модель в роли читателя пропустила три из четырёх текстов, которые я правил
Я правлю промпты агентов, которые пишут и проверяют тексты. Чтобы правка не сломала то, что раньше работало, я собрал набор примеров с известным ответом и прогнал по нему проверку, где ИИ‑модель играет читателя. Сильно правленые тексты она чаще пропускала, чем возвращала.В набор вошли тексты двух видов: одни я потом сильно переписывал руками, другие почти не тронул. Если принять правку промпта по такой проверке, брак уйдёт дальше, а проверка будет гореть зелёным.Из чего собрать набор для тестирования LLM
Чат, который ничего не сочиняет: 43 гипотезы, четыре ошибки замера и одна честная стена
Препринт этой работы пока не опубликован на arXiv: для подачи мне нужен endorsement в категории cs.CL (Computation and Language). Если у вас есть право выдавать endorsement в этой категории и вы готовы помочь, буду благодарен — напишите мне в личные сообщения на Хабре.Код, файлы результатов, meta прогонов и реестр гипотез целиком, включая отрицательные: https://github.com/ADanMan/elm-research. Репозиторий пока приватный. Планирую открыть исходники после публикации статей.
Выбирать цитаты в ELM и находить ошибки поиска
Если вы делаете поиск по документам, можно ли отвечать только словами из источника и отказываться, когда ответа нет? В ELM я проверил этот способ без дообучения. При заданном абзаце выбор цитаты дал близкий к генерации общий счёт на моей выборке. Если абзац надо найти, результат зависит от поиска и последующего выбора строки судьёй.Отделить поиск от формулирования ответа
Ответ цитатой вместо генерации: проверяю поиск по документам
Если вы делаете поиск по документам, можно ли отвечать только словами из источника и отказываться, когда ответа нет? Я решил проверить, насколько далеко можно зайти с таким ограничением.Для этих экспериментов я разрабатываю собственную систему и называю её ELM. Это рабочее название моего проекта. Его основная идея: код предлагает варианты, нейросеть выбирает и проверяет их, а код собирает результат. В этой статье результатом служит цитата из документа либо отказ, если подходящий ответ не найден.
