Держите LLM подальше от тестов чат-бота
Держите LLM подальше от тестов чат-ботаКто тестировал чат-бота, знает: на одной реплике всё просто, а на третьей-четвёртой начинается боль. Бот должен помнить имя, которое вы назвали два хода назад, держать слоты и не сваливаться в «уточните ваш запрос» на ровном месте. И как только садишься это проверять, упираешься в развилку: чем, собственно, проверять ответы многоходового диалога.Если короткоLLM, которая оценивает ответы вашего бота, — это вторая недетерминированная система. Теперь перед зелёным CI должны договориться сразу две, и договариваются они не всегда.
Интеграция ИИ уровня предприятия: встраивание LLM в бизнес-процессы крупных компаний — redb.Route.Llm 3.1.1
redb.route llmСерия: redb ecosystem (часть 2 к LLM-анонсу) В предыдущей статье я анонсировал redb.Route.Llm как 24-й транспорт redb.Route
Эволюция клиента для Ollama: от PostgreSQL к MongoDB
«Код уже писать не надо, надо знать только цель, а код напишет себя сам». Виктор Пелевин «iPhuck 10»Привет. Меня зовут Николай Пискунов, я руководитель направления Big Data и эксперт курса Cloud DevSecOps по безопасной разработке от Академии вАЙТИ Beeline Cloud. Продолжаю цикл статей о клиенте для облачного сервиса Ollama. В первой части я рассказал, как родился этот клиент, с какими трудностями пришлось столкнуться при организации стриминга, и даже оставил пасхалку.
Runtime‑память для локальной LLM: слепки, паттерны и эффект Memento
Я пишу локальный runtime JIN для диагностики поведения LLM, а также как эксперимент по имплементации долговременной памяти. Изначально проект задумывался как альтернатива тому, что уже существует в большом количестве и постоянно обсуждается: RAG, пересылке всей пачки сообщений туда‑сюда и так далееПоэтому первый MVP был простым: строка ввода, чистый чат с WebSocket‑стримингом и локальная модель.Сейчас JIN выглядит так:
10 дней спустя: как мой бот дважды умирал незаметно, а метрика релевантности мне врала
10 дней спустя: как мой бот дважды умирал незаметно, а метрика релевантности мне вралаTL;DR — продолжение прошлого поста про @futur_e_news_bot (двуязычная лента новостей на sqlite-vec за ~$5/мес). За 10 дней в проде: два тихих многодневных простоя (бот поллил Telegram и казался живым, но не создавал ни одной новости), метрика релевантности, которую отравил один человек 106 дизлайками, и сигнал от реакций 78 юзеров, который заставил выкинуть половину источников. Плюс — я открыл код (MIT)
Accept-driven development или давайте снова понимать свой код
Наверное, через это уже прошёл каждый из нас :)
Как заставить AI-ассистента верстать премиальные интерфейсы вместо унылых серых шаблонов
Почему AI по умолчанию верстает плохоМногие фронтенд-разработчики замечают закономерность: какой бы современной ни была языковая модель, сгенерированный ею дизайн интерфейса обычно выглядит устаревшим. По умолчанию вы получаете серые кнопки, стандартный Tailwind и резкие переходы.Причина проста: нейросети обучались на гигантских массивах кода из открытых источников. В этих данных преобладают простые, утилитарные и зачастую серые интерфейсы. Модель выдает наиболее вероятный, то есть средний по качеству вариант.
От Naive RAG до ReAct-агента: как мы строили корпоративного AI-помощника на open-source моделях (часть 2)
Привет, Хабр! Меня зовут Саша, я — старший AI-инженер в Лаборатории искусственного интеллекта «Честного знака». Наша команда развивает «Честного помощника» — мультиагентную LLM-систему для обработки документов, поиска информации по Confluence, Jira, GitLab и генерации текстов. Главная цель команды — повышать эффективность и качество работы сотрудников за счёт расширения числа специализированных агентов в нашей мультиагентной системе.
redb.Route 3.1.0 — LLM как ещё один транспорт: .To(«llm:–claude») и .AsLlmTool()
redb.route llm AIСерия: redb ecosystem (анонс, разбор позже)В 3.1.0 у redb.Route вышло два новых транспорта: redb.Route.Llm (24-й) и redb.Route.Exec (25-й). LLM теперь — обычный endpoint наравне с Kafka, RabbitMQ и HTTP: вызов модели — это шаг .To("llm://claude")
