ml.
Система мониторинга ML-моделей: что важно контролировать и почему
«Обучил, запустил и забыл» — плохая стратегия работы с ML‑моделями, но она часто встречается после удачного тестирования. Качество моделей может незаметно снижаться, и если пропустить этот момент — последствия могут дорого стоить. Когда мы начали задумываться о системе мониторинга, одна из наших моделей начала выдавать предсказания, которые требовали незамедлительного вмешательства в выстроенную работу. Но разум подсказывал, что проблема не в процессе, а в модели. О том, каким трудоемким оказалось наше расследование, и как мы восстанавливали и изучали каждую составляющую процесса почти вслепую, читайте по
Benchmark Driven Development: почему мы перестали верить чужим бенчмаркам
Каждый день появляются новые LLM, OCR, мультимодальные модели и агенты. В новостях — одни заголовки: «Модель X побила все бенчмарки». Руководство хочет «самое новое и передовое», команда — «самое лучшее по метрикам». А вот как понять, что конкретно для вашего кейса это действительно лучше — обычно не очень понятно.В этой статье расскажем, как мы пришли к подходу, который внутри называем Benchmark Driven Development (BDD) — разработка, движимая бенчмарками на своих данных. (Да, мы знаем, что BDD — это ещё и Behavior Driven Development, тут у нас своя расшифровка 🙂)Задача из практики: документы в одном длинном PDF
Нейросетевая модель интересов пользователя: как мы улучшили разнообразие и релевантность рекомендаций на главной Авито
Привет! С вами Ярослав Хныков — senior ML engineer в Авито. В статье расскажу, как мы повысили разнообразие и релевантность рекомендаций на главной странице. Покажу, как появляется выдача с однотипными рекомендациями, чем здесь помогает простой «блендер» категорий и как мы прокачали его с помощью модели интересов пользователя, основанной на трансформерах. В конце — результаты A/B-тестов, метрики и рекомендации, которые вы сможете забрать к себе в продукт.Статья будет особенно интересна специалистам, которые работают с рекомендательными системами.
Реализуем компьютерное зрение на практике
На тему компьютерного зрения есть множество различных публикаций, которые в основном рассказывают о применении этой технологии в разных отраслях. Однако, зачастую публикации содержат лишь общую информацию о том, что реализовано и для каких задач, но при этом отсутствует описание того, как это можно сделать.В нашей статье мы поговорим о том, как можно реализовать на Python навигационную систему на основе машинного зрения для автономных транспортных средств, проанализировать медицинские изображения и выполнить генерацию новых изображений из набора данных уже существующих.
Изоляция контекста через субагенты: архитектурный паттерн для долгосрочной работы с Claude Code
Как превратить Claude Code из мощного ассистента в профессиональную платформу оркестрации с 33+ специализированными агентамиКонтекст: кто пишет и почему это важноИгорь Масленников. В IT с 2013 года. Много лет управлял классической IT-компанией DNA IT. Последние два года активно развиваю подразделение AI Dev Team — и вижу интересную тенденцию: всё больше клиентов выбирают именно это подразделение. Не потому что модно, а потому что быстрее (1-2 недели вместо 2-3 месяцев), дешевле (минус 80% от стоимости), и, как ни странно, качественнее благодаря автоматическим проверкам.
Как я программирую с помощью агентов
TL;DRАгент в контексте LLM — это не магия, а цикл, в котором модель по шагам вызывает инструменты (bash, git, тесты, web) и получает от них обратную связь.Такой агент умеет ориентироваться в живой кодовой базе, запускать компилятор и тесты, читать логи и документацию, поэтому генерирует и правит код куда надёжнее, чем «голая» модель в чате.
Неопределённость как часть модели
Привет, Хабр! Сегодня рассмотрим тему неопределённости в моделях. Классические ML-модели детерминированы: на вход получили – на выход выдали одно число или метку. Но жизнь полна неопределённости, и игнорировать её плохая идея. Представьте, у вас мало данных, модель предсказывает конверсию 15%. Но насколько она уверена? Может, разброс от 5% до 30%. Обычная модель этого не скажет, а вот вероятностная модель скажет.
AlphaXiv запустила веб-симулятор алгоритмов машинного обучения
На сайте AlphaXiv появился раздел RL Playground, в котором можно наглядно изучить работу алгоритмов машинного обучения. Весь процесс показывают на примере обучения модели для прохождения лабиринта.
Как превратить хаотичный ML-проект в систему: пошаговый гайд по DVC + GitHub Actions
Если ваш эксперимент нельзя воспроизвести командой git checkout && dvc pull, а model_final_v2_new.pth - норма, у вас проблема с ML-инженерией. Дело в воспроизводимости, которую вы теряете уже сегодня. Никакой сложной инфраструктуры (всего два инструмента). Что нужно: DVC для контроля версий данных и моделей + GitHub Actions для автоматизации. В связке они дадут вам полноценный ML-пайплайн бесплатно и за один вечер :)⠀⠀Почему это важно СЕЙЧАС? (даже для сольного проекта)?Проблема без пайплайна
Дифференциальная приватность в ML
Привет, Хабр! Сегодня поговорим в коротком формате о защите данных при обучении моделей, а именно в процессе обучения. Никому не понравится, если ваша нейросеть вдруг выдаст чужие паспортные данные или медицинские записи, правда? А ведь модели машинного обучения иногда склонны запоминать кусочки обучающего набора. Бывали случчаи, где из языковой модели вытаскивали строки с номерами телефонов и email тех людей, чьи данные были в тренировочном датасете. Стоит ли нам вообще кормить модель конфиденциальной информацией
