on-premise.

NER для юристов, у которых нет A100: как мы догнали Ministral 14B моделью почти в 10 раз меньше

Юристы не могут отправлять материалы дел во внешние API, а держать A100 ради одного лишь разбора документов дорого. Мы обучили Qwen2.5-1.5B извлекать сущности из судебных документов на уровне Ministral 3 14B: макро-F1 0.70 против 0.71 на 145 реальных документах. На A5000 она работает в 2.2 раза быстрее, чем Ministral на A100. Рассказываем, почему балансировка классов синтетикой не сработала и что сработало вместо неё.Всем привет! Меня зовут Даниил Шеремет, я AI-инженер в Agentic Lab. В компании делаем Агату — ИИ-ассистента и рабочую среду для юристов.

продолжить чтение

Контур вокруг LLM: как AI Gateway снижает риск утечек и prompt injection

Зачем вокруг модели нужен контурСама по себе модель не отличает инструкцию от данных. Системный промпт, вопрос пользователя, абзац из базы знаний, текст страницы, которую только что притащил веб‑поиск: для неё это один поток токенов.Разметка и разделители помогают ей понять, где заканчивается задание и начинается чужой текст, и долю удачных атак это заметно сбивает. Но это подсказка, а не граница: достаточно убедительная строчка внутри данных всё равно срабатывает как команда. Из этого свойства и выросли две верхние позиции OWASP Top 10 for LLM Applications 2026:LLM01 Prompt InjectionLLM02 Sensitive Information Disclosure.

продолжить чтение

Локальный ИИ-ассистент по базе знаний компании: RAG поверх вики, файлов, 1С и Битрикс24

Зачем это вообще нужноВ любой компании старше пары лет знания размазаны по вики, папкам с регламентами, почтовым перепискам, 1С и Битрикс24. Новичок ищет нужный документ полчаса или идёт спрашивать коллегу, и коллега отвлекается.Очевидный ответ — «давайте сделаем ChatGPT по нашим документам». Но почти всегда тут же звучит требование: данные не должны уходить в чужое облако. Значит, модель, поиск и хранилище должны жить на своём железе.

продолжить чтение

Хватит сливать данные в Claude и GPT: как поднять свой on‑prem LLM

Да, вы абсолютно правы ✅ Это изображение подходит в вашу статью ✅ Будут еще вопросы, обращайтесь 😊

продолжить чтение

К2 НейроТех запустил калькулятор ИИ-зрелости для оценки инфраструктурной готовности бизнеса

К2 НейроТех запустил калькулятор ИИ-зрелости для оценки инфраструктурной готовности бизнеса

продолжить чтение

Коробка с нейросетями: готовая ИИ-инфраструктура, которая просто работает

Коробка с нейросетями: готовая ИИ-инфраструктура, которая просто работает

продолжить чтение

Как мы вынесли семантический поиск на обычный сервер без видеокарты, облака и выделенной поисковой системы

Когда мы занялись поисковым слоем AI-ассистента в «Первой Форме», договорились на входе: языковую модель, которая отвечает пользователю, не трогаем. Вся эта история — о том, что происходит на шаг раньше: как система решает, что именно показать модели, прежде чем та начнёт отвечать.Планку себе поставили простую на словах и сложную на деле: семантический поиск промышленного уровня, но без специализированной инфраструктуры, целиком внутри изолированной сети, на том же оборудовании, что и само приложение.

продолжить чтение

EventRAG: как научить RAG искать первопричину во времени, а не в тексте

On-prem RCA-ассистент для цеха + AR-HUD. Полный разбор: архитектура, формулы, расчёты, живой инцидент на роботе-паллетайзере Hyundai Hi5-N00 и что мы везём на международную конференциюTL;DR. Обычный RAG отлично отвечает по инструкциям, но проваливается на root-cause-анализе (RCA) в цеху: косинусная близость по эмбеддингам выбрасывает время и причинность — ровно то, без чего нельзя связать «наряд, отложенный 67 дней назад» с «алармом, который встал сегодня». EventRAG — архитектура, которая нормализует каждое событие в Temporal Event Unit, хранит его в двойном индексе (вектор + причинный граф), ищет по времени, обходит граф

продолжить чтение

Контекстная инженерия для слабой локальной модели: как мы делаем среднюю модель надёжной

Принято думать, что качество ИИ-агента упирается в размер модели. Но когда модель работает локально, в закрытом контуре и на ограниченном железе, брать «побольше» особо некуда. И оказывается, что главный рычаг не модель, а контекст: что вы ей показываете, в каком порядке и как фильтруете. Причём «контекст» здесь — это сборка под то, кто спрашивает, откуда и о чём, плюс честный порог релевантности и продуманный порядок секций. На сильной облачной модели небрежный контекст прощается запасом по reasoning; на средней локальной — нет. Об этом и статья.Почему на локальной модели контекст важнее самой модели

продолжить чтение

К2Тех запускает RuClaw — платформу для безопасного развертывания ИИ-агентов в корпоративном контуре on-premise

Компания К2Тех объявила о запуске RuClaw — платформы для развертывания ИИ-агентов внутри защищенного периметра корпоративных систем. Решение ориентировано на организации с высокими требованиями к контролю и защите данных и полностью соответствует 152-ФЗ и отраслевым стандартам.

продолжить чтение

123