Как я заменил BI-дашборд на AI-чат: архитектура RAG-системы для 600K записей
После 10 лет внедрения BI-систем (Qlik Sense, Power BI, Data Lens) я понял одну вещь: дашборд — это не решение. Это данные для решения. А между данными и решением — пропасть, которую преодолевает человек.В этой статье покажу, как построил RAG-систему с чат-интерфейсом для базы из 600 000 записей техники из Федресурса. Без философии — только архитектура, код и грабли.Проблема: почему дашборды не работаютТипичный сценарий. Аналитик открывает дашборд с данными о технике в лизинге. Нужно найти топ-10 компаний с бензовозами в Московской области.Что происходит:Ищет нужный дашборд (их 15 штук)
Обучение эмбеддингов GitHub репозиториев
Анализ и сравнение профиля из демоИсходные коды, эмбединги и датасетДемо, 100% client-side для получения рекомендаций по вашим GitHub StarsTL;DRИдея:
- Оставлено в
Базовый RAG-компонент для локального семантического поиска на Питоне
quad_rag_core — лёгкое Python-ядро для локального RAG, которое автоматически отслеживает изменения в папках, индексирует их в Qdrant и поддерживает эмбеддинги в актуальном состоянии. Изначально проект задумывался как плагин для MCP (Model Context Protocol), но стал универсальной основой для любой системы локального семантического поиска.Зачем это нужно
Prompt Caching: токены LLM в 10 раз дешевле — но за счёт чего?
Команда AI for Devs подготовила перевод и разбор статьи о Prompt Caching — технологии, которая делает входные токены LLM в разы дешевле и заметно снижает задержки. Внутри — подробное объяснение, что именно кэшируют OpenAI и Anthropic, как KV-кэш связан с attention в трансформерах и почему это не имеет ничего общего с повторным использованием ответов.На момент, когда я пишу эту статью, закэшированные входные токены стоят в долларах за токен примерно в 10 раз дешевле обычных входных токенов — как в API OpenAI, так и Anthropic.
Личное облако на Proxmox: нейронки, LLM и embedding
В прошлой статье я описывал как построить сетевую часть самодержавного сервера, пора принести в него что-то отдаленно разумное. Это руководство описывает весь процесс: от подготовки хоста Proxmox и настройки LXC-контейнера до поиска, конвертации и запуска embedding-моделей (на примере BAAI/bge-large-en-v1.5) с использованием встроенного Intel iGPU для работы модели. Но будет легко запустить не одну модель или полноценного чатбота на этой основе. Главное, что будет ясно как использовать даже простое имеющееся железо домашнего сервера для этого.
- Оставлено в
La Perf — бенчмарк локального ИИ, или M-серия наносит ответный удар
ИнтроЕсли вам интересен мир ИИ и вы хотите не просто делать fit, predict на удаленной ВМ, а изучать что-то локально, экспериментировать и упрощать себе жизнь, запуская модели прямо на своем девайсе — скорее всего, вам понадобится достаточно мощное железо.Эта статья - попытка ответить на вопрос эффективности железа для популярных AI задач: LLM, VLM, эмбэддинги.Она будет полезна как ML/AI Инженерам, так и просто Энтузиастам, которые выбирают себе железо для локального инференса gpt-oss.TL;DR:M4 Max - лучший по эффективности энергопотребления
- Оставлено в
Собираем простейшую RAG-систему на PHP с фреймворком Neuron AI за вечер
RAG (Retrieval-Augmented Generation или генерация, дополненная поиском) - это метод искусственного интеллекта, сочетающий генеративную большую языковую модель (LLM) с внешней базой знаний для создания более точных, контекстно-зависимых и актуальных ответов. Принцип его работы заключается в том, что сначала извлекается релевантная информация из набора документов или источников данных, а затем эта информация передается в LLM для формирования окончательного ответа. Этот процесс позволяет модели выдавать более точные ответы, менее подверженные “галлюцинациям”, и ее можно обновлять без дорогостоящего переобучения.
Как открытые веса раскрыли секреты обучения GPT-5
Команда AI for Devs перевела статью, показывающую, что открытые веса — это не только про прозрачность, но и про утечку тайн обучения.На примере модели GPT-oss автор показывает, как можно восстановить части обучающего пайплайна и даже выявить, что GPT-5 видела фразы с сайтов для взрослых.Недавно OpenAI выпустила модель с открытыми весами. В этой статье разберём, как этот релиз неизбежно раскрывает часть информации об их обучающем пайплайне — и заодно покажем, что GPT-5 действительно обучалась на фразах с сайтов для взрослых.
Что такое эмбеддинги и как с ними работать. Вводная для начинающих
Всем привет! Меня зовут Максимов Максим, я — NLP‑инженер в компании red_mad_robot. В этой статье я хотел бы рассказать о подходах в работе с векторными представлениями данных, а именно — эмбеддингами. Сегодня в меню: Что такое эмбеддинг? Освежим свои знания, и вспомним что это такое формально.Из чего можно получить эмбеддинги? Рассмотрим популярные форматы данных, которые мы можем представить в векторном виде. Также рассмотрим способы, которым мы можем преобразовать эти данные в эмбеддинг.
- Оставлено в
