Как сделать RAG-чат для сайта, который не выдумывает цены: пять решений из моего бота
С июня я делаю AI-чат для сайтов, который не выдумывает цены и не соглашается с клиентом во всём подряд. К пяти решениям из статьи я пришёл через ошибки.Зачем вообще ещё один чат-ботПо
ИИ-секретарь за $77 в месяц: 88% ответов даёт DeepSeek, а три четверти денег съедают 7% запросов к Opus
Я делаю ИИ-секретаря Лизу Петровну. Это бот в Telegram и MAX: пишешь ему как человеку, текстом, голосом или фото, а он решает задачу сам или отдаёт её одному из внутренних агентов. С 30 мая ей написали 8568 запросов 118 человек.За последние 30 дней языковые модели для всех агентов обошлись в $77 (это только LLM, без генерации картинок и видео). Расскажу, как устроен выбор модели, почему почти все ответы даёт дешёвая модель, как работает память, что люди на самом деле просят у ИИ-секретаря и где он до сих пор ошибается. Всё с цифрами с прода.Задача
Не начинать с LangChain: как спроектировать корпоративную GenAI платформу до реализации
GenAI проект легко начать с технологий: выбрать LangChain, vector database, Kubernetes, Kafka, модель и сразу писать RAG пайплайн.Для корпоративной платформы это почти всегда слишком ранний шаг.Основные архитектурные вопросы возникают не в момент вызова LLM, а вокруг неё: кто может получить доступ к данным, где проверяются права, какие компоненты нужно масштабировать независимо, как система ведёт себя при недоступности внешнего провайдера и что действительно необходимо включить в первую версию.## Начать не со стека, а с условийЕсли сразу обсуждать технологии, очень быстро появляются вопросы:LangChain или LlamaIndex;
Зачем нужны векторные БД в эпоху LLM
Не открою секрет, если скажу, что обычный поиск по ключевым словам уже не особо помогает. Чтобы нейросети могли отвечать точно, опираясь на ваши корпоративные базы знаний, им нужно «понимать» смысл текста. А это уже сложнее, чем просто искать точные совпадения букв.
1823 коммита за четыре месяца в четыре руки с LLM: что получилось, а что чуть не убило проект
Главный экран приложения: экран учёбы с питомцем-котом и карточкой
