llm.
Языковая модель в поиске магазина: как подключить её так, чтобы её падение никто не заметил
В прошлой статье я рассказывал, как устроено ядро нашего поиска: триграммы, crc32, словарь болей и два сита. В конце был короткий раздел «А где же нейросеть?», и он заслуживает отдельного разговора. Сегодня про то, как модель встроена сверху и почему мы с самого начала исходили из того, что она когда-нибудь подведёт.
Почему JSON Schema не делает ответ LLM надёжным
После того как LLM начинает возвращать structured output, интеграция внезапно становится очень похожей на обычный backend.Больше не нужно вырезать JSON из Markdown, надеяться, что модель не добавит перед ним «Конечно, вот результат», чинить потерянные кавычки и повторять запрос из-за случайной запятой.Мы описываем схему, модель возвращает объект, десериализуем его в Go-структуру — и кажется, что самая неприятная часть интеграции закончилась.Например:type Invoice struct { Number string `json:"number"` Currency string `json:"currency"` Total int64 `json:"total"` }На выходе получаем:{ "number": "INV-2026-1842", "currency": "USD", "total": 148000 }JSON валиден.
Что ИИ поменял в моей схеме? Приращение вместо целого проекта
В прошлых статьях я раскладывал различные знания и сущности по листам и показывал, как сравнить две редакции регламента с помощью карты. Теперь расскажу, что происходит, когда карту дорабатывает LLM. В предыдущих версиях PlyLoom я как-то упустил момент с тем как реализовать взаимодействие без перезагрузки новой версии всего проекта целиком, равно как и отсутствие возможности сравнить различия 2-х файлов.Пример за минуту
Запустил собственный PII-фильтр перед облачными моделями и отказался от идеи селф-хостед LLM
За последние 2 месяца я протестировал RTX PRO 6000 96GB / RTX4090 48GB и даже H200, оценивая варианты для селф-хоста, купил RTX5070ti и V100 32GB и прогнал большое количество бенчей (в том числе искренне своих). Потом увидел бешеный рост цен на железо и череду утечек персональных данных к провайдерам LLM (и понимая чем это может грозить, если данные потом утекут во взломе/сливе) - начал искать актуальные варианты для себя. Нашел классный open-source вариант, настроил, переключил в enforce и считал вопрос закрытым. Перейдя чуть вперед - я ошибался, но ошибка позволила сделать прод решение и уйти от идеи полного селф-хоста к офлайн-бэкапу :)
Агент, который меня заменил, или открытия одного интернет‑маркетолога
У нас было 12 проектов и один человек, который отвечал за настройку всех email‑рассылок.Этим человеком был я. Директ‑маркетолог с 7 годами опыта, но только с двумя руками и одной головой.В какой‑то день нужно было запустить одну рассылку. В другой — три или четыре. Для одного проекта использовался старый шаблон, для другого приходил новый. Где‑то нужно было отправить письмо по всей активной базе, где‑то — только определённому сегменту.
Скам‑бот в Telegram выдал себя таймером: разбор юзербота с реконструкцией на Telethon
Что это юзербот, я понял почти сразу. Аккаунт без username, фото девушки на фоне моря, диалог, который за полчаса доходит до развода и «может на ты перейдём». Интереснее было понять, к чему меня ведут и как эта штука устроена внутри.Деньги и ссылки я никому не отправлял. Всё расследование уместилось в одну ночь и в один личный чат.11 сентября в 15:30 «Мария» написала первой. Увидела меня в группе про IT, хочет попробовать себя в этой сфере и просит посоветовать материалы для старта. Безобидный повод, на который трудно не ответить, особенно если сам работаешь в IT.
Младшая модель обыграла старших: как Claude Sonnet 5.5 победил Opus 5.5 и Fable 5.1 в пошаговой стратегии
Мы посадили модели Claude играть друг против друга в пошаговую стратегию, где нужно строить экономику, воевать, договариваться с соседями и решать, когда договор пора нарушить. Хотели понять две вещи: как топовые языковые модели справляются с такой игрой и совпадёт ли расстановка сил за игровым столом с той, что показывают общепризнанные бенчмарки.Я разработчик «Стратегикона», пошаговой онлайн‑стратегии на гексах. С конца августа по начало октября мы провели серию партий LLM‑агентов между собой
Decision-модели изнутри: как устроены Jev, Clef, pplx-decider, Strands Decider, Laya и GLiDE
15 сентября TypeSafe выпустила Jev и назвала её первой моделью класса System One. Jev получает состояние системы и набор типизированных вопросов, а возвращает распределение вероятностей по допустимым ответам. Весь ответ считается за один прямой проход, без генерации токенов.За 16 дней вышли ещё пять реализаций той же идеи: Clef и Clef-flash от Cloudflare, pplx-decider-v1-27b от Perplexity, Strands Decider 2B от AWS, Laya от Convai Innovations и GLiDE от Fastino. Интерфейс у них почти общий, а внутри пять разных решений: замороженная LLM с обучаемым выходным слоем, LLM с заменённой LM head, pointer-механизм, энкодер на 322 млн параметров и рассуждение, которое включается по требованию.
Задача 3SUM решена быстрее, чем за O(N²) — а именно за O(N¹·⁹⁹⁹²). Без нейронок не обошлось
вместо тысячи слов5 октября американские исследователи Вирджиния Василевска-Уильямс, известная своими быстрыми (и безумно сложными) алгоритмами перемножения матриц за

