infrastructure.

TrueForge: открытая обвязка, которая превращает LLM в полноценного агента

Собрать демо-агента сегодня несложно. Подключаешь модель, добавляешь пару инструментов — и она уже читает файлы, вызывает API и бодро обещает выполнить любую задачу.Сложности начинаются, когда такого агента нужно запустить в проде.Кто будет хранить состояние между запросами? Как пережить перезапуск? Где выполнять сгенерированный код? Как не передать ему секреты? Когда запрашивать подтверждение пользователя? Что делать, когда контекст разрастается до сотен тысяч токенов?Обычно каждая команда собирает эту обвязку самостоятельно. TrueFoundry решила открыть свою реализацию — TrueForge.

продолжить чтение

Эволюция Kafka as a Service: от факапа до чилаута

Привет, Хабр!

продолжить чтение

Сколько стоит внедрить AI?Отвечаем с LCOAI

продолжить чтение

AI КОМП-АС — разбор фреймворка. М: Можем ли дойти?

Мы подошли к этапу, где наконец перекинем мостик от анализа текущего состояния организации и бизнес-целей к технологиям и имплементации процесса AI трансформации. Ниже я опишу 

продолжить чтение

Kubernetes 1.29 → 1.33 за 30 минут: реальный апгрейд кластера с помощью ИИ под контролем инженера

Кратко о сути экспериментаМы проверили, способен ли ИИ участвовать в реальной инфраструктурной операции повышенного риска — обновлении Kubernetes-кластера сразу через несколько minor-версий.

продолжить чтение

Как мы случайно сделали стартап, пока учили ИИ работать с реальной инфраструктурой

Когда мы впервые увидели AI-чаты, это выглядело впечатляюще. Они писали код, помогали с документацией, объясняли архитектурные решения.Это было хорошо. Но довольно быстро стало понятно главное:Для реальной работы этого недостаточно.ИИ умеет говорить, но не видит, что происходит в системе

продолжить чтение

Чат-бот с LLM в облаке: опыт Новосибирского государственного университета и инструкция по запуску

Сейчас мало кого удивишь чат-ботом в Telegram, даже если он на базе LLM. Но, согласитесь, таким умным решением может похвастаться не каждый университет.На связи Роман Дерунец и Иван Бондаренко (@bond005) — научные сотрудники лаборатории прикладных цифровых технологий механико-математического факультета НГУ. В статье поделимся опытом разработки нашего университетского чат-бота: расскажем, зачем он понадобился НГУ, почему мы решили создать его с нуля и что важно знать тем, кто хочет такой же. А еще — поделимся инструкцией, как запустить похожее решение в облаке.

продолжить чтение

To Docker or not to Docker? Вот в чём JupyterLab

Локальная работа в Jupyter-ноутбуках – неотъемлемая часть исследований и экспериментов нашего ML-отдела. Но из какой среды эти ноутбуки лучше запускать? Мы пользуемся двумя вариантами: запуском из Docker-контейнера и запуском в изолированном локальном Poetry-окружении.О чем и для кого эта статья

продолжить чтение