Не еще один чат-бот: как ИИ-агентов встраивают в корпоративные процессы
Корпоративный ИИ постепенно выходит за пределы диалогового окна. Чтобы языковая модель приносила пользу бизнесу, ей недостаточно уметь отвечать на вопросы. Она должна получать разрешенные данные из информационных систем, работать по заданному сценарию и выдавать результат, который сотрудник может использовать в конкретном процессе.Такой подход лежит в основе платформы ИИ-агентов, которую развивает Инфостарт. Ее ключевая идея - создавать не универсального цифрового помощника, а отдельных агентов с определенной ролью, источниками данных, правилами и форматом результата. Об этом появилась
RAG в медицинской аналитике: как построить управляемый контур вместо очередного чат‑бота
Эта публикация подготовлена на основе моей ВАК‑статьи «Методологический подход к применению Retrieval‑Augmented Generation в медицинской аналитике для развития интеллектуальной поддержки деятельности медицинской организации». Для Хабра я убрал академическое оформление, сократил обзор литературы и подробнее объяснил практическую архитектуру, ограничения и способ оценки такого решения.
Как отправить данные из 1С в нейросеть и получить ответ обратно с настоящими именами и суммами
Почему обычной маскировки недостаточно, зачем нужна обратимость, как сохранить смысл чисел и почему суммы нельзя просто заменить случайными? Написали обработку, которая действительно заменяет персональные и платёжные реквизиты перед отправкой в модель и затем умеет расшифровать ответ обратно.В прошлой статье мы разбирали, как передать копию базы 1С подрядчику без реальных персональных данных.Но есть более локальный сценарий: базу передавать не нужно, а вот отдельную выгрузку хочется отдать нейросети на анализ.Например, попросить:
Масштабирование LLM: от одного чипа до ЦОДа. Глава 5. Инференс
Предыдущая главаНу и наконец рассмотрим, как нам применить обученный трансформер. И применение уже обученной модели сильно отличается от тренировки, потому что теперь приходится учитывать еще один фактор - задержку. Так что давайте разбираться, как устроен инференс LLM и как его правильно масштабировать.Основы инференсаИтак, мы натренировали трансофрмер и теперь хотим использовать его по назначению - принимать на вход промпт и генерировать в ответ всякие разные новые последовательности токенов/букв.
Свой инференс для 25 разработчиков: 452:1, KV‑пул и почему это не экономит денег
Все цифры сняты с работающего стенда: потребление токенов — за календарную неделю по данным шлюза, метрики движка — кумулятивно за период аптайма (11 426 обработанных запросов). Продолжение — про выбор модели по замерам, а не по бенчмаркам — будет отдельной статьёй.Для кого эта статьяДля тех, кто держит или собирается держать LLM внутри контура: тимлидов, DevOps, архитекторов. Здесь конфиги, цифры и грабли, а не введение в трансформеры.
TrueForge: открытая обвязка, которая превращает LLM в полноценного агента
Собрать демо-агента сегодня несложно. Подключаешь модель, добавляешь пару инструментов — и она уже читает файлы, вызывает API и бодро обещает выполнить любую задачу.Сложности начинаются, когда такого агента нужно запустить в проде.Кто будет хранить состояние между запросами? Как пережить перезапуск? Где выполнять сгенерированный код? Как не передать ему секреты? Когда запрашивать подтверждение пользователя? Что делать, когда контекст разрастается до сотен тысяч токенов?Обычно каждая команда собирает эту обвязку самостоятельно. TrueFoundry решила открыть свою реализацию — TrueForge.
Экономика 5G в России: где может окупиться сеть и почему ставка идет на промышленность
Привет, Хабр! На снова команда Research & Insights Центра стратегии цифровых продуктов МТС. Мы уже разобрали мировой рынок 5G и объяснили, почему в России нельзя взять и «включить» эту технологию. В этой статье поговорим о том, кто и за что будет платить…
Мой опыт с Hermes Agent: ненависть, любовь, ненависть, любовь
Началось все с установки. Я пошёл почти по самому простому пути — установил его на Mac, в Docker. Потому что это агент, который работает автономно, и также автономно может сделать атата: выполнить rm -rf или выбраться из клетки и начать всё взламывать:)В рамках настройки я сразу выдал доступ к части файлов только на чтение, и только к Obsidian — на чтение и запись (потому что писать он в данном случае должен), но файлы были под Git.
Нарисованный очаг LLM: почему красивые схемы без предметной модели не греют
У Алексея Толстого в «Золотом ключике, или Приключениях Буратино» есть сцена, которая неожиданно хорошо описывает значительную часть того, что сегодня происходит вокруг больших языковых моделей.В каморке папы Карло висит старый холст с нарисованным очагом. Огонь выглядит убедительно, котёл на месте, сама картинка создаёт ощущение домашнего тепла и порядка. На такой очаг можно смотреть и почти верить, что перед тобой настоящая печь.
