Обучаем LLM по клику: платформа распределённого обучения на HGX
Привет, Хабр! Меня зовут Павел, я старший разработчик ML-платформы в Авито и последние полтора года занимаюсь MLOps. На прошедшей Kuber Conf от АОТ я выступал с докладом про нашу платформу распределённого обучения, а теперь решил сделать на его основе статью для вас. Если вам комфортнее воспринимать такие материалы в формате видео — держите.
Централизуем использование ИИ при помощи Agentgateway
Всем привет! Меня зовут Ваня, по призванию системный архитектор в RED Security. Хочу познакомить вас с open-source-решением для контроля и централизации работы с ИИ — Agentgateway.
ИИ в DevOps или как мы слепо доверяем сгенерированным манифестам
Привет, Хабр!Меня зовут Андрей Бирюков. Я — независимый эксперт в области ИТ и ИБ, преподаю в учебных центрах и пишу статьи и книги.Искусственный интеллект у нас есть везде, и, конечно, в ИТ, а точнее в DevOps, он тоже имеется. Многие, особенно начинающие инженеры, часто просят ИИ сгенерировать, к примеру, манифест Kubernetes Deployment.И нейросеть послушно выполняет поставленную задачу, при этом не спрашивая, какая версия кластера у вас запущена, не проверяя, какие CRD установлены, и не интересуясь, что отклоняет ваш admission controller. Вместо этого, LLM просто сгенерирует YAML, который
Где сломался AI-агент? Как отлаживать многоэтапные воркфлоу по шагам
Расследование инцидента состоит из цепочки взаимосвязанных решений. Сначала нужно определить, когда началась проблема, затем понять, какие системы она затронула, проверить исходную гипотезу по метрикам, логам или трейсам и, наконец, свести все собранные данные воедино, чтобы установить наиболее вероятную первопричину.Мы построили агентный воркфлоу по той же схеме. Каждый этап отвечает за свою часть расследования и передаёт результат следующему.
Чем различаются способы установки приложений на сервер
Автор: Иван Богданов, Технический писательВопрос о том, как ставить софт на сервер, выглядит решенным примерно до момента, пока в команде не находится два человека с разными привычками. Один ставит apt install nginx и не понимает, зачем усложнять. Второй тянет тот же nginx контейнером, потому что через полгода придется откатываться, и делать это через apt он не хочет. Да и типичный это спор между олдскулами и сторонниками контейнеров везде и всюду.
Как мы создали и внедрили AI‑разработчика: опыт EXANTE
Ещё одна статья которая опубликована в канале EXANTE Technology, хочу поделиться с вами переводом.Меня зовут Алина, я Head направления веб‑приложений в EXANTE. Я отвечаю за техническую стратегию веб‑проектов, эффективность delivery и развитие инженерных процессов в командах, а также веду ряд инициатив, включая AI‑трансформацию.
Палеокомпьютинг, часть 2: Kubernetes на Обероне, радио Вирта вместо сети, кластер в браузере и преимущества перед K8s
Представьте кластер Kubernetes, в котором нет ни одной сетевой карты. Его узлы ничего не знают ни о TCP/IP, ни даже об Ethernet и перекликаются по радио короткими пакетами по 32 байта, как прорабы по рациям на стройке. Управляющий слой написан на языке конца восьмидесятых и вместе с сетевым протоколом занимает около 1250 строк. Чтобы запустить под, ничего не нужно скачивать: узел просто загружает модуль и вызывает в нём процедуру. А главное, всё это открывается во вкладке браузера: можно выдернуть узел из розетки, заглушить эфир, подсунуть кластеру поддельную команду и посмотреть, что из этого выйдет.
Как подключить Claude Code через шлюз и какие модели поддерживают агентный цикл
Привет, Хабр! На связи команда Just AI. Сегодня хотим поговорить про Claude Code. Он умеет работать не только с моделями Anthropic: если направить его запросы в совместимый API-шлюз, можно оставить привычный клиент, но при этом менять провайдера, модель и способ работы с API.В этой статье разберемся, что Claude Code отправляет в API, что от шлюза требуется для нормальной работы и какие проблемы возникают при подключении других моделей. На примере Caila посмотрим, какие модели можно использовать с Claude Code, сколько стоит сессия и как устроено подключение.Claude Code перестал быть экспериментом одного энтузиаста
Запустил собственный PII-фильтр перед облачными моделями и отказался от идеи селф-хостед LLM
За последние 2 месяца я протестировал RTX PRO 6000 96GB / RTX4090 48GB и даже H200, оценивая варианты для селф-хоста, купил RTX5070ti и V100 32GB и прогнал большое количество бенчей (в том числе искренне своих). Потом увидел бешеный рост цен на железо и череду утечек персональных данных к провайдерам LLM (и понимая чем это может грозить, если данные потом утекут во взломе/сливе) - начал искать актуальные варианты для себя. Нашел классный open-source вариант, настроил, переключил в enforce и считал вопрос закрытым. Перейдя чуть вперед - я ошибался, но ошибка позволила сделать прод решение и уйти от идеи полного селф-хоста к офлайн-бэкапу :)
Как я перенаправил Claude Desktop и Claude Code на свой VPS с CLIProxyAPI
За последние пару дней Anthropic забанило много аккаунтов. Точной причины компания не называет, апелляции, судя по постам в соц сетях, разбанивают крайне редко, и деньги за подписку не возвращают.Моя предположение: под бан попадали аккаунты, на которых периодически светился российский IP, плюс часовой пояс ПК. Поэтому я сделал так, чтобы запросы к Claude всегда уходили с одного IP сервера в поддерживаемой стране. Да, IP дата‑центра тоже можно детектить, но компании же как‑то работают из облаков:)
