llm. - страница 40

llm.

Tool calling в Go: почему вызов модели ещё не разрешение выполнить команду

С tool calling у LLM появляется возможность не только отвечать на вопросы, но и вызывать функции нашего приложения. Можно дать модели доступ к поиску заказов, проверке платежей, созданию документов или изменению настроек.Интеграция на первый взгляд довольно простая. Передаём модели описание функций, получаем название инструмента и аргументы, проверяем JSON и вызываем нужный обработчик.Но здесь есть проблема. Валидный tool call ещё не означает, что операцию вообще разрешено выполнять.

продолжить чтение

Радар спроса: ловим «ищу разработчика» в чатах, а ИИ-классификатор держит потолок $30 в месяц

Я делаю сайты и телеграм-ботов на заказ. Заказчики пишут «ищу, кто сделает лендинг» в профильные чаты и в ленты соцсетей, и кто ответит первым, тот обычно и получает разговор. Читать все чаты глазами я не могу, поэтому собрал робота: он читает чаты и ленты, отсеивает мусор, оценивает каждую находку нейросетью и присылает мне в личку карточку с баллом и черновиком первого ответа. Отвечаю я сам, руками. Пишет робот только мне, и это правило я зашил прямо в код, на свою силу воли не полагаюсь.

продолжить чтение

Ouroboros, очередной инструмент для вашего harness

Harness - построение инфры вокруг LLM таким образом, чтобы man in the loop (человек в процессе поддержки LLM) отсутствовал.Я решил поэкспериментировать некоторое время назад, идея была очень простой - дать агенту возможность дебажить и исследовать написанный код через логгирование до того, как он попадет в чистовик.Дисклеймер: инструмент пилил для себя, результатом доволен, для локальных моделей буст получил, для агентов клода тоже, если есть идеи как дотюнить - добро пожаловать в комментарии.

продолжить чтение

Синтетическая эмпатия: как RAG, системные промпты и TTS инженерят привязанность к LLM-агентам

Это адаптированная версия моего исследования «Синтетическая эмпатия: эмоциональная привязанность к автономным LLM-агентам и коммерциализация одиночества». Здесь — техническая выжимка: разберём, как именно архитектура современных компаньон-агентов производит эмоциональную привязанность, и почему это не побочный эффект, а прямое следствие инженерных решений. Полная версия с приложением по железу и библиографией — в моём блоге.От ELIZA к агентам: три этапа

продолжить чтение

Ваши секреты не должны уходить в облако: знакомьтесь, Obscura

Obscura: свой on-prem шлюз, который не даёт секретам утечь в ИИ и не ломает ответы моделиЛетом я писал, что будет, если сливать рабочие данные в ChatGPT: логи SOC, конфиги Cisco и FortiGate, внутренние IP, почты сотрудников. Тогда я сделал офлайн-инструмент, который чистит конфиг руками инженера до отправки. Он решает проблему для того, кто помнит им воспользоваться. Но компания не может полагаться на то, что все всегда вспомнят.

продолжить чтение

Интерпретируемость LLM доказана?

Опубликовано исследовательское эссе о том, что сложность интерпретации нейросетей переоценена. Автор Nick Cammarata в своей статье на сайте goodfire.com утверждает, что полисемантичность нейронов вызвана не суперпозицией, а исправимыми причинами, и что большинство нейронов даже в огромных моделях выполняют одну понятную задачу. Сам автор называет текст рабочей гипотезой, техническая статья с полным описанием экспериментов пока не вышла. Но, как обычно, громкий заголовок и сильные утверждения привели к множеству пересказов, где гипотеза превратилась в факт.

продолжить чтение

ИИ‑мастер для настольной RPG: один запрос на ход, кубик до ответа и баг, который удваивал здоровье

Я делаю браузерную текстовую ролевую игру, где ведущим работает языковая модель. Игрок пишет любое действие своими словами, мастер отвечает рассказом, а игра ведёт механику: здоровье, деньги, характеристики, инвентарь, броски d20. Кажется, что всё просто: отправь модели историю и лист персонажа, получи ответ. На практике самые интересные задачи оказались не в промптах вида «напиши смешно», а на стыке вероятностной модели и детерминированной игровой механики. Ниже — четыре таких места и то, как я их решил.Стек: Node.js 24, Express, встроенный node:sqlite, модели через OpenRouter и общий для сервера и браузера модуль движка.

продолжить чтение

Однобитная Bonsai по весам: что видно при сравнении с Qwen и как получить такую модель дистилляцией

Хотели бы вы запустить большую языковую модель на видеокарте с небольшим объёмом памяти? Модель с 27 миллиардами параметров, упакованными в 16 бит, занимает около 54 ГБ. Если хранить каждый вес одним битом и один общий масштаб на группу из 128 весов, те же параметры уместятся примерно в 4 ГБ (не считая таблицы словаря).

продолжить чтение

Локальный ИИ-ассистент по базе знаний компании: RAG поверх вики, файлов, 1С и Битрикс24

Зачем это вообще нужноВ любой компании старше пары лет знания размазаны по вики, папкам с регламентами, почтовым перепискам, 1С и Битрикс24. Новичок ищет нужный документ полчаса или идёт спрашивать коллегу, и коллега отвлекается.Очевидный ответ — «давайте сделаем ChatGPT по нашим документам». Но почти всегда тут же звучит требование: данные не должны уходить в чужое облако. Значит, модель, поиск и хранилище должны жить на своём железе.

продолжить чтение

Сжатие, красота и Шмидхубер: умеют ли нейросети выдумывать новое

Юрген Шмидхубер (справа)В ноябре 2025 года Юрген Шмидхубер, которого половина индустрии считает настоящим отцом современного ИИ, в ответ Илону Маску опубликовал ссылку

продолжить чтение