llm. - страница 98

llm.

TrueForge: открытая обвязка, которая превращает LLM в полноценного агента

Собрать демо-агента сегодня несложно. Подключаешь модель, добавляешь пару инструментов — и она уже читает файлы, вызывает API и бодро обещает выполнить любую задачу.Сложности начинаются, когда такого агента нужно запустить в проде.Кто будет хранить состояние между запросами? Как пережить перезапуск? Где выполнять сгенерированный код? Как не передать ему секреты? Когда запрашивать подтверждение пользователя? Что делать, когда контекст разрастается до сотен тысяч токенов?Обычно каждая команда собирает эту обвязку самостоятельно. TrueFoundry решила открыть свою реализацию — TrueForge.

продолжить чтение

Как научить ИИ разгребать метрики, пока дежурный допивает чай

Конспект доклада про ИИ-агента для разбора инцидентов с первого занятия «Вечерней школы. ИИ для инженеров: польза и риски» от Слёрма

продолжить чтение

Почему мы не нашли готового PII-детектора для русского языка: грабли боевого контура перед LLM

Меня зовут Андрей Непряхин, я технический директор AGIMA. Этот текст — разбор контура, который мы построили и держим в бою: что в нём устроено так, а не иначе, и чем мы за это заплатили.

продолжить чтение

Новинка от Cerebras: система CS-4 с тремя чипами WSE-3 Turbo

продолжить чтение

Мой опыт с Hermes Agent: ненависть, любовь, ненависть, любовь

Началось все с установки. Я пошёл почти по самому простому пути — установил его на Mac, в Docker. Потому что это агент, который работает автономно, и также автономно может сделать атата: выполнить rm -rf или выбраться из клетки и начать всё взламывать:)В рамках настройки я сразу выдал доступ к части файлов только на чтение, и только к Obsidian — на чтение и запись (потому что писать он в данном случае должен), но файлы были под Git.

продолжить чтение

Корпоративный мозг на одной видеокарте: что на самом деле умеет локальная модель

Есть компании, где вопрос «какую модель выбрать» отходит на второй план, а первым встаёт другой: выйдут ли данные за периметр. Банк, госкорпорация, оборонный подрядчик, медицинский холдинг. И если ответ «выйдут, но мы всё обезличим» — начинается тяжёлый разговор. Обезличивание не даёт технической гарантии: достаточно одного не вычищенного поля в выгрузке или сочетания признаков, по которому человек восстанавливается. А отвечать за это решение будет конкретный человек — и чем выше цена ошибки, тем охотнее он выбирает вариант, где данные просто никуда не уходят.

продолжить чтение

Нарисованный очаг LLM: почему красивые схемы без предметной модели не греют

У Алексея Толстого в «Золотом ключике, или Приключениях Буратино» есть сцена, которая неожиданно хорошо описывает значительную часть того, что сегодня происходит вокруг больших языковых моделей.В каморке папы Карло висит старый холст с нарисованным очагом. Огонь выглядит убедительно, котёл на месте, сама картинка создаёт ощущение домашнего тепла и порядка. На такой очаг можно смотреть и почти верить, что перед тобой настоящая печь.

продолжить чтение

Не крутил с агентом циклы — жизни не видал

TL;DR: Циклы — это просто, как два пальца, всё, что крутится вокруг них, — немного сложнее…Как-то так теперь и живемПривет, Хабр! Меня зовут Альберт, и я программист

продолжить чтение

Почему токенайзер реж ет сло ва не там, где нужно

Заголовок этой статьи, частично, наглядная демонстрация того, как его видит языковая модель. Куски слов, нарезанные по логике, которая к русскому языку не имеет вообще никакого отношения.

продолжить чтение

Удобный VRAM‑калькулятор для быстрого подбора GPU‑серверов

продолжить чтение