Как готовить Triton: рецепты вашей собственной Inference-платформы
Привет, Хабр! Меня зовут Антон, я DevOps-инженер в команде Data/ML-продуктов Selectel. Если вам нужно запустить небольшой инференс одной ML-модели, можно взять команду бэкендеров, дать им эту модель, они обернут ее в эндпоинт — и готово. Достаточно короткого скрипта из нескольких строк на Python. Но что если нужно запускать несколько моделей, оптимизировать выполнение, работать с ансамблем моделей, задействовать CPU и GPU одновременно и т. д.? Все эти проблемы решает NVIDIA Triton Inference Server. Правда, он добавляет одну новую: разобраться с ним и его документацией — тот еще квест. В статье посмотрим, насколько сложной задачей может оказаться создание собственного инференса и какие аспекты нужно учитывать. Научимся запускать различные форматы моделей, посмотрим на основные фичи Inference-платформы Selectel, запустим несколько популярных LLM и моделей, а также познакомимся со способами оптимизации конфигурации и проектирования интерфейса для модели.
Эффективная стратегия мониторинга: ключевые метрики для успешного наблюдения
Современные решения, построенные на микросервисной архитектуре, напоминают сложный организм: сотни взаимосвязанных компонентов, распределенные базы данных, облачные сервисы. Без продуманного наблюдения даже мелкая ошибка в одном узле может спровоцировать цепную реакцию — например, падение конверсии из-за «зависшего» платежного шлюза или потерю данных из-за перегруженной очереди сообщений.Грамотная стратегия мониторинга решает три ключевые проблемы:Сбои: предсказывает и локализует инциденты до того, как они ударят по бизнесу.
GreenOps — ключ к успеху там, где FinOps терпит неудачу
По последним оценкам, в 2025 году глобальные расходы на информационные технологии вырастут на 9%. Этот стремительный рост связан с бурным развитием облачных вычислений и искусственного интеллекта, которые преображают целые отрасли, обеспечивая беспрецедентную масштабируемость и инновации. Внедрение облачных технологий
Какие же они тупые❢
В современном мире тема ИИ возникает чуть ли не везде. Что уж говорить про ИТ-сервисы, которые стремятся бежать впереди паровоза и пихают модную технологию где надо и где не надо. Меня это с самого начала стало раздражать, поскольку к теме ИИ отношусь с изрядной долей критического подхода и даже скепсиса. Я не вижу, что в нужных мне приложениях ИИ приносит хоть какую-то ощутимую пользу.Больше всего меня досадует то, что на волне увлечения ИИ как-то стали забывать про естественные
Доступные GPU для всех: знакомьтесь с PrimeWay
ВведениеВ последние годы искусственный интеллект и машинное обучение стали неотъемлемой частью многих отраслей. Однако доступ к высокопроизводительным GPU-ресурсам всё ещё остаётся серьёзным препятствием для многих разработчиков и компаний. Сложная инфраструктура, высокие затраты и ограниченная доступность мешают инновациям и замедляют прогресс.ПроблемаСложность инфраструктуры
Куда нас вынесут большие технологические волны DevOps
В 1995 году с легкой руки Gartner в умах многих аналитиков по всему миру поселился новый термин — Gartner Hype Cycle. Как только не называли эту кривую: и цикл хайпа, и цикл зрелости, и цикл ожиданий. Но мне больше всего нравится представлять её в виде волн. Тогда в ней появляется глубокий образ — множество волн, которые в нашем технологическом мире переплетаются и рождают нашу повседневность.Привет, Хабр! Меня зовут Антон Черноусов. Я Developer Advocate в Yandex Cloud и многие годы веду подкаст «The Art Of Programming».
Внедряем AI Code Review на GIthub: сомнительно, но окэй…
Код‑ревью — важная часть жизненного цикла разработки продукта, но давайте честно: никто не любит просматривать чужой код. Часто, разработчики делают ревью спустя рукава, но даже если это не так — человеческий фактор может сыграть злую шутку и уязвимость в коде может быть упущена. Пропущенные ошибки, уязвимости и нестабильный код могут привести к задержкам в релизе и росту технического долга. Более того, зачастую, компании имеют свои гайдлайны по оформлению code review, которые также необходимо проверять вручную.
Обучение моделей timm. Связка с fastai
Привет Хабр! Решал задачу поиска оптимальной модели для классификации собственного датасета изображений (в основном искал на HuggingFace) и столкнулся с моделями timm. Старый конвейер dvc не работал с этими моделями и пришлось искать решение. Вообще почему именно timm? Как сказано в руководстве:«timm` - это библиотека глубокого обучения, созданная Россом Уайтманом, и представляет собой коллекцию моделей компьютерного зрения SOTA, слоев, утилит, оптимизаторов, планировщиков, загружающих данных, а также обучающих / валидационных скриптов с возможностью воспроизведения результатов обучения ImageNet.
