локальная LLM.

Как я чуть не спалил MacBook, пытаясь развернуть ИИ-агента локально

Знаете это чувство, когда читаешь статью про локальные LLM и думаешь: «А, ну это же просто. Поставлю Ollama, тяну модель, и у меня уже свой ИИ-агент, который знает весь код»?Я думал именно так.Меня зовут Егор Лаптев, я QA Fullstack Java в SENSE на проекте крупного российского банка. У меня MacBook Pro M2 Pro с 32 ГБ RAM: не topical машина, но для разработки рабочая лошадка. Даже не подозревал, что через 20 минут после запуска модели ноутбук будет звучать как истребитель на взлёте, а температура процессора будет такой, что можно было бы варить яичницу на крышке.

продолжить чтение

РобоСобака Unitree Go2: локальная LLM, шумоподавление и ускорение голосовых ответов

Запустить языковую модель на Unitree Go2 оказалось проще, чем организовать нормальный разговор. Собака должна расслышать человека рядом с собственными вентиляторами, определить конец вопроса, сгенерировать ответ и произнести его. Если каждое звено работает «довольно быстро», вместе они всё равно могут дать неприятную паузу.

продолжить чтение

Локальный ИИ-ассистент по базе знаний компании: RAG поверх вики, файлов, 1С и Битрикс24

Зачем это вообще нужноВ любой компании старше пары лет знания размазаны по вики, папкам с регламентами, почтовым перепискам, 1С и Битрикс24. Новичок ищет нужный документ полчаса или идёт спрашивать коллегу, и коллега отвлекается.Очевидный ответ — «давайте сделаем ChatGPT по нашим документам». Но почти всегда тут же звучит требование: данные не должны уходить в чужое облако. Значит, модель, поиск и хранилище должны жить на своём железе.

продолжить чтение

Собираем приватный RAG-стек на pgvector

Приватный RAG-стек на pgvector помогает отвечать на вопросы по внутренним документам. Поиск подбирает отрывки, а языковая модель составляет по ним ответ. Например, сотрудник узнаёт порядок восстановления доступа и проверяет его по исходной инструкции.

продолжить чтение

Где заканчивается вызов LLM и начинается backend система: локальный RAG на FastAPI и Ollama

На практике хотел понять где заканчивается простой вызов локальной LLM и начинается backend система: с API контрактом, логированием, request_id, источниками, индексом документов, диагностикой и честными ограничениями.Сначала проект выглядел просто: frontend отправляет вопрос, FastAPI принимает POST /ask, backend вызывает локальную модель через Ollama и возвращает ответ. Это уже работало, но стало понятно такой вариант ещё нельзя назвать системой по документации. Модель отвечает, но непонятно на что она опирается, откуда взяла ответ, сколько времени занял каждый этап и что делать если документы изменились.

продолжить чтение

Локальный RAG без магии: sources, timings, request_id и отказ от генерации

На практике было интересно не просто вызвать локальную LLM из Python а понять, в какой момент такой вызов превращается в backend-систему: с API-контрактом, логами, request_id, источниками ответа, индексом документов, диагностикой и честным отказом отвечать, если данных в документах нет.В этой статье показываю не теорию RAG, а небольшой локальный проект, где хорошо видно, какие инженерные проблемы появляются вокруг LLM:что попадает в prompt;какие sources были найдены;сколько заняли retrieval и generation;когда backend должен не вызывать LLM;почему stale index может давать странное поведение;

продолжить чтение

Как я установил в свой игровой ПК серверный GPU за £200

У меня уже была установлена RTX 4080 с 16 ГБ VRAM. Её вполне достаточно для гейминга, но не для моделей, которые я хотел запускать локально. Так что следующим шагом было либо приобретение дорогущей карточки с бо

продолжить чтение

Внедрение ИИ‑агента в бизнес‑процесс за один день: от развертывания до прототипа

Меня зовут Андрей Коптелов, я долгие годы работаю с бизнес‑процессами и корпоративной архитектурой, теперь волею судеб мне приходится погружаться в тему искусственного интеллекта. По мере возможностей пытаюсь делиться своим скромным опытом в этой теме.Представьте: вам поручили «внедрить искусственный интеллект (ИИ)», но без бюджета, и с требованием сохранить данные внутри периметра организации. Результат нужен вчера. Ваши подчиненные не умеют программировать, и используют большие языковые модели только в режиме чата.Результат

продолжить чтение

Наливатор произносит тост «за Родину», поддерживает дружественный разговор в компании с подружкой, что дальше

Почему домашний бар перестал быть просто набором бутылок и что можно пересмотреть с 2020 года в данном устройстве, с чем идти дальшеАлександр Котов, Евгений РычковНаливатор в действии

продолжить чтение

Как устроен Meshtastic, зачем он нужен и как я подключил его к локальной модели на ноутбуке

Я давно хотел попробовать не просто LoRa-модули как отдельные радиожелезки, а именно Meshtastic - готовую систему для обмена сообщениями без сотовой сети, Wi-Fi и интернета.Идея Meshtastic выглядит очень привлекательно: берём несколько маленьких устройств с LoRa, прошиваем их, настраиваем общий канал - и получаем автономную mesh-сеть для коротких сообщений. Без SIM-карт, без роутеров, без облаков и без базовых станций оператора.

продолжить чтение

12