Маршрутизатор языковых моделей изнутри. От вектора задачи до судьи и обучения на отзывах
Ранее мы рассказывали о библиотеке FAIRouter, которая направляет запрос к наиболее подходящему исполнителю. Пока исполнителями могут быть только языковые модели (LLM), но в дальнейшем мы планируем добавить инструменты и агентов. В той статье вопрос о том, как именно маршрутизатор решает, кому отдать задачу, был затронут лишь вскользь. Поэтому было принято решение посвятить математике отдельную статью и разобрать ее по шагам: от признаков задачи до обучения на отзывах.
Флоу — это не число слогов: как я учил языковую модель писать рэп в такт бита
Я попытался сделать веб приложение, которое позволяет написать текст под бит. Механика следующая: загружаешь бит, задаешь характеристики текста - основная тема, настроение, форма рифмы и др - получаешь куплеты и припев, разложенные по тактам этого бита: строка на такт. Первая версия выдавала мягко говоря плохой результат. Ниже расскажу о том, что получилось докрутить, чтобы получить приемлемый результат.Сначала бит, потом слова
AI-менеджер для WB, Ozon и Маркета: отдали решения агенту и сразу его ограничили
Недавно мы рассказывали, как собрали AI-менеджера маркетплейсов на правилах : фраза проходит через регулярки, превращается в операцию из закрытого списка, операция идёт в API площадки. Модель там только помогала угадать операцию. Всё, что меняет кабинет, — только кнопкой владельца.Первые владельцы с ним поговорили. Ниже — что мы увидели в этих разговорах, почему переделали менеджера почти с нуля и почему новая версия получилась свободнее, но при этом вся в ограничителях.Что показали первые разговорыЛюди пишут не по списку.
Как я 2,5 года никому не нужный софт вайбкодил
По моим прошлым статьям «Искусство цифрового мазохизма: как я потратил сотни часов на обложки для сериалов, которые даже не смотрю» и «Как я сделал ремастер «Том и Джерри» в 4K за два года
AI-менеджер для WB, Ozon и Маркета: почему мы начали с регулярок, а не с агента
Селлер на маркетплейсах — это человек с тремя личными кабинетами и вечным долгом перед отзывами. Утром посмотреть заказы за ночь. Проверить, что ничего не кончилось на складе. Ответить на вопросы покупателей, пока их не увидел конкурент. Поднять цену на то, что уходит слишком быстро, и понять, почему реклама съела дневной бюджет к обеду. На Wildberries, Ozon и Яндекс Маркете это одна и та же работа в трёх разных интерфейсах.Мы делаем AI-сотрудников для бизнеса, и менеджер маркетплейсов среди них самый «рукастый». Ему мало написать текст: он лезет в кабинет продавца, где лежат цены, остатки и рекламные бюджеты, то есть чужие деньги.
Pydantic AI: типизированные агенты на своих моделях
У типового проекта с LLM-агентом судьба примерно одна. Сначала это милые сорок строк: промпт, вызов openai-совместимого API, json.loads — и всё работает. Через пару недель модель начинает вставлять перед JSON пояснительный текст в духе «Конечно! Вот ваш ответ:», одно из обязательных полей то появляется, то исчезает, а вложенный массив иногда приходит строкой. В код въезжают регулярки, ручные проверки и повторные запросы. Ещё через месяц вы владеете комом связующего кода на несколько сотен строк, который никто не хочет трогать — потому что непонятно, что именно отвалится.
