llm. - страница 6

llm.

Мой RAG спалил, что я сижу в ролках

Атрибуция фактов в персональной памяти LLM: гибридный поиск на Postgres + pgvector, эвалы и вопрос «чей это факт»Я загрузила в RAG свои переписки за несколько лет, чтобы мой ИИ‑агент знал меня и моих друзей. Он действительно узнал меня. А еще Клайда и Крейга из Южного Парка, Афелия из Лиги Легенд и человека, в которого я впервые влюбилась в интернете (это был ролевик за Кайто). А заодно он решил, что я айтишник, не жмот и зожник (конечно, все в мужском роде).Это статья про то, как устроена персональная память для LLM‑ассистента, и почему самое сложное в ней это не векторы и не реранкинг, а вопрос «чей это вообще факт».

продолжить чтение

У нас есть Claude дома — заметка о том, как я делал быструю и дешёвую локальную LLM

продолжить чтение

Нужен ли собственный шлюз поверх OpenAI API BotHub

Если вы пользуетесь API моделей, то могли столкнуться с вопросом — прямой вызов API через OpenAI-совместимый шлюз или создать свою прослойку? Если у вас один агент или один разработчик — то тут, понятное дело, лучше не городить лишний шлюз.

продолжить чтение

AI‑агент для разработки интеграций на DATAREON Platform: практика внедрения dtrn‑mcp в «УралАгроГрупп»

Покажем, как получить в команду разработчика интеграций, который работает 24/7, помнит всю историю проекта и не выходит за пределы закрытого контура.

продолжить чтение

Нейросеть на железе со свалки, или Как Bonsai 2 27B проиграла Qwen3 8B

продолжить чтение

sd.cpp вместо Forge Neo: что умеют девять моделей на 16 и 8 ГБ

Мне нравится экспериментировать с локальными моделями, и не только для генерации картинок. Эта статья — что-то вроде чекпойнта для себя: что попробовал, что намерил, что заменил и почему. Может, кому-то тоже будет интересно или найдётся что-то полезное.

продолжить чтение

Opencode v2: браузер для агента, фоновые субагенты и реальная стоимость моделей

Я использую Opencode как рабочую среду: снимаю позиции, собираю дайджесты, проверяю страницы, отвечаю на комментарии. На прошлой неделе инструмент трижды обновился, и обновления затрагивают не косметику, а то, как строятся сценарии.Ниже разбор трёх релизов, список моделей и цифры из моих логов: сколько стоит одна длинная сессия и почему дешёвая модель делает больше вызовов, чем дорогая.Что это за штукаOpencode это открытый агент с четырьмя точками входа: терминал, десктоп, мобильное приложение и SDK. Моделей больше 200 через Models.dev, включая локальные через Ollama, LM Studio и vLLM. По данным проекта

продолжить чтение

Дообучать LLM или дать ей документы: сначала выясните, что сломалось

«Давайте дообучим модель на наших данных» — эту фразу я слышу почти в каждом разговоре о внедрении LLM. Обычно к этому моменту лечение уже выбрано, а диагноза ещё нет.Допустим, агент ошибся в условиях возврата товара. Ему вообще передали актуальный регламент? Поиск нашёл нужный пункт? В базе одна версия правил или три, и все помечены как действующие? Пока это не выяснено, говорить об обучении рано: у плохого ответа часто вполне административная причина.

продолжить чтение

Хватит жечь токены на поиск файлов: как QMD помогает кодинг-агентам экономить до 40%

Я заметил что кодинг агенты перед выполнением задачи запускают "find, rg --files, glob" для поиска файлов и нужных классов и модулей. Потом поиск по содержимому файлов через "rg, grep". И на это сжигается много токенов. И я решил проверить можно ли сэкономить на токенах используя семантический поиск вместо всего выше перечисленного. Если локальный GPU простаивает, почему бы тогда на нем семантический поиск не гонять.

продолжить чтение

Массовая декомпиляция игр и ПО

Проект AnyPS5 ставит целью автоматически конвертировать любую игру с PlayStation 5 в бинарники под Linux и Windows

продолжить чтение

1...456789...2030...421