TAPe+ML v3 на arXiv: превосходим SOTA в классификации, детекции и сегментации при <100 тыс. параметров

Мы опубликовали на arXiv статью TAPe+ML: A Compact Structured Representation for Multi‑Task Computer Vision. В ней собраны результаты TAPe+ML v3 на задачах классификации, object detection, instance segmentation, индексации и поиска сцен в видео, а также в промышленном OOD‑пилоте.

Статья на arXiv: TAPe+ML: A Compact Structured Representation for Multi‑Task Computer Vision ^[1]

Если вы впервые читаете о TAPe, можно начать с наших предыдущих материалов:

• TAPe + ML: универсальная архитектура компьютерного зрения ^[2]

• TAPe‑дневник: эксперименты с детекцией на COCO ^[3]

• TAPe+ML v2: модель распознавания с числом параметров менее 100 тысяч ^[4]

Ключевые результаты TAPe+ML v3

88,1% Top-1 на ImageNet-1k, 65,3 mAP50–95 в детекции COCO, 58,4 Mask mAP50–95 в COCO instance segmentation, 98,2% покрытия объектов масками на LVIS — при размере ядра модели менее 100 тыс. параметров.

TAPe+ML v3 объединяет классификацию, детекцию и сегментацию в одном компактном ядре. В представленных в статье сравнениях она превосходит крупные SOTA‑модели по ключевым метрикам: RF‑DETR и YOLO в детекции, RF‑DETR‑Seg и YOLO26-X‑Seg в сегментации; на ImageNet-1k достигает уровня крупнейших foundation‑моделей при разнице в параметрах на несколько порядков.

Что проверяли в статье

В статье собраны результаты на нескольких типах задач и наборах данных:

• классификация: ImageNet-1k, ImageNet‑ReaL, ImageNet‑v2, ImageNet‑R, ImageNet‑Sketch, ObjectNet, Imagenette и MNIST;

• object detection: COCO и RF100-VL;

• instance segmentation: LVIS и COCO;

• индексация и поиск смысловых сцен в видео;

• промышленная OOD‑задача: распознавание засорений руды на изображениях конвейерной ленты;

• самообучение: эксперимент с DINO/iBOT на TAPe‑данных;

• автоаннотация и адаптация модели к новому домену;

• локальное и edge‑развёртывание компактного CV‑контура.

В статье также есть прямое сравнение TAPe‑данных с сырыми пикселями при одной и той же архитектуре и одинаковых условиях обучения ^[5].

Классификация: TAPe+ML v3 обходит SOTA‑модели с миллиардами параметров

На ImageNet-1k TAPe+ML v3 получила 88,1% Top-1 accuracy при числе параметров менее 100 тысяч.

На наборах со сдвигом распределения результаты следующие:

В Imagenette мы сравнивали TAPe‑данные и сырые пиксели на одной и той же трехслойной CNN с примерно 516 тысячами параметров. Обучение проводилось на 10% набора без аугментации в течение 25 эпох.

В задаче iBOT стандартная DINO на 9 тысячах и 120 тысячах изображений не сошлась: loss оставался примерно на уровне 2,7 и 2,46 соответственно. Та же архитектура на TAPe‑данных достигла loss 0,406 уже на 9 тысячах примеров.

Детекция: выше RF‑DETR и YOLO на COCO при <100 тыс. параметров

Для object detection использовали стандартный COCO train2017 / val2017 с 80 классами.

Финальная конфигурация TAPe+ML v3:

• mAP50: 84,7%;

• mAP50–95: 65,3%;

• менее 100 тысяч параметров.

Для ориентира в статье приведены публичные результаты внешних моделей:

Время inference TAPe+ML v3 на NVIDIA GTX 1070 Ti 8 GB в детекционном измерении составило 10,8 мс на кадр. В той же конфигурации для сравнения: YOLO26s — 12,3 мс, RF‑DETR‑Small — 41,0 мс.

Внешние результаты в таблице приведены для контекста. Они могут быть получены при отличающихся training и inference protocol; это отдельно отмечено в статье.

Сегментация: выше специализированных SOTA‑сегментаторов в едином ядре

В TAPe+ML v3 сегментация встроена в общий контур. Модель сначала выделяет потенциальные границы, затем собирает их в замкнутые контуры, после чего объединяет внутренние области в итоговые сегменты.

Для COCO instance segmentation результаты следующие:

Для оценки качества масок на LVIS в статье используются отдельные показатели: покрытие объектов масками и AP@75. Эти метрики нельзя напрямую сравнивать с COCO Mask AP, поэтому приводим их отдельно.

Итоговый показатель TAPe+ML по методологии LVIS составил 82,5 AP.

Видео и поиск сцен: TAPe разгромила DINOv2, HOG и optical flow по скорости, памяти и стабильности

В статье есть и наш эксперимент по разбиению видео на смысловые сцены. Для одного и того же фрагмента использовались одинаковый кластеризатор HDBSCAN и одинаковые параметры — менялось только представление данных.

TAPe индексирует один час видео за 10–11 секунд, занимает в индексе менее 1 МБ, а кластеризация занимает около 1 секунды.

В эксперименте с одинаковым HDBSCAN‑кластеризатором и одинаковыми параметрами TAPe сравнивали с DINOv2, HOG, optical flow, гистограммами и другими методами. TAPe не только дала наиболее устойчивое разбиение на сцены с минимальным числом шумовых кластеров, но и радикально превзошла альтернативы по скорости и компактности.

Для сравнения, DINOv2 ViT‑B/14 индексировала тот же час видео примерно за 5 220 секунд — примерно в 475 раз дольше, чем TAPe; кластеризация занимала около 21,5 секунды, то есть примерно в 21 раз дольше. HOG строил индекс около 530 секунд, а затем кластеризовал его примерно 2 226 секунд; optical flow требовал около 2 959 секунд на индексацию и до 8 739 секунд на кластеризацию. При этом HOG создавал индекс около 1,7 ГБ, а optical flow — до 3,2 ГБ, тогда как TAPe укладывалась менее чем в 1 МБ.

SOTA на каждой камере: TAPe+ML переносит компьютерное зрение на edge

TAPe+ML v3 рассчитана не только на benchmark’ы и серверный inference. Компактная архитектура позволяет переносить распознавание ближе к источнику данных: на локальный сервер, промышленный компьютер, камеру, робота, БПЛА или в изолированный корпоративный контур.

• <32 КБ — сырые веса TAPe+ML v3;

• ~10 МБ — текущий исполняемый on‑premise‑пакет со всеми библиотеками;

• ~20 МБ — пиковая память ^[6] всего pipeline при обработке кадра;

• 10,8 мс на кадр — детекционный inference;

• около 12 мс на изображение — полный pipeline: detection, classification, segmentation, post‑processing

Текущая упаковка и расход рабочей памяти не являются для нас пределом оптимизации. Отдельный цикл работы по минимизации размера бинарника, зависимостей, буферов и активаций пока не проводился. То есть сама модель уже занимает десятки килобайт, а размер полного решения может быть дополнительно уменьшен при необходимости конкретного edge‑сценария.

Итого:

• не требуется отправлять весь видеопоток в облако;

• решение можно принимать рядом с камерой или производственной линией;

• уменьшаются задержка, сетевые затраты и зависимость от соединения;

• проще развертывать систему в закрытом on‑premise‑контуре;

• появляется возможность масштабировать CV по множеству физических точек: камерам, роботам, БПЛА и локальным серверам.

Параметры модели обычно указываются отдельно от рабочих активаций и размера программного пакета. Поэтому «модель меньше 100 КБ» не означает, что готовое приложение вместе с зависимостями обязано занимать столько же. Но даже с текущей упаковкой TAPe+ML остается компактным решением для локального и edge‑развертывания.

Промышленный пилот: TAPe+ML более чем вдвое превзошла YOLO

Отдельный раздел статьи на arXiv мы посвятили задаче распознавания засорений руды на изображениях конвейерной ленты.

Исходный набор состоял из 30 изображений и двух классов. Это OOD‑сценарий: объекты, освещение, фон и структура данных существенно отличаются от COCO.

Этот пилот показывает кратное превосходство даже базовой TAPe+ML над YOLO в сложной промышленной OOD‑задаче. На тех же 30 изображениях TAPe+ML с адаптацией backbone достигла около 65% accuracy против 28% у YOLO26s — более чем вдвое выше. При 85 изображениях результат вырос примерно до 85%, а при расширении выборки до 500 изображений и использовании NMS — до 85,7–96%.

В процессе мы также поняли, что для OOD‑задач недостаточно просто подключить новую классификационную голову к уже готовой модели. Если исходный backbone сформирован на COCO‑подобных объектах, он может быть смещен в сторону привычных классов — людей, автомобилей, животных и бытовых предметов. Для промышленного домена нужна адаптация самого представления и backbone.

Автоаннотация: от 20 кадров к рабочему датасету

Автоаннотация — отдельный режим работы TAPe+ML и часть ML‑стенда. Она нужна, чтобы не размечать весь датасет вручную до начала обучения.

После ручной разметки упрощенную версию TAPe+ML можно быстро обучить на этом стартовом наборе. Затем модель проходит по остальным неразмеченным данным и предлагает детекции выше заданного порога уверенности.

Пользователь не обязан создавать всю разметку с нуля. Он может:

• подтвердить предложенный объект;

• исправить bounding box или маску;

• изменить класс;

• удалить ложное срабатывание;

• добавить пропущенный объект.

Исправления используются в следующем цикле обучения. Модель получает больше примеров именно в сложных и неуверенных случаях, а эксперт постепенно переходит от ручного рисования аннотаций к проверке и корректировке результатов.

Нужный объем начальной разметки зависит от числа классов, вариативности объектов, условий съемки и требований к ошибкам. Но для прикладных пилотов такой режим позволяет получить первую рабочую версию без полного ручного датасета.

Автоаннотация особенно важна в промышленности. Там ручная разметка требует не только времени аннотатора, но и участия предметного эксперта, который может отличить дефект, засорение или критичное отклонение от допустимого состояния оборудования.

Вместо линейного процесса «сначала полностью размечаем датасет, потом начинаем ML‑проект» получается итеративный путь. Это снижает стоимость подготовки данных и ускоряет переход от первых изображений заказчика к пилоту.

Где TAPe+ML заменяет тяжелый computer vision — от камер до производства, роботов и БПЛА (то есть везде)

TAPe+ML можно применять в задачах, где требуется находить, классифицировать, сегментировать или анализировать объекты и события на изображениях и видео:

• робототехника: навигация, захват объектов, визуальная инспекция;

• БПЛА и спутниковые данные: поиск аномалий, мониторинг и инспекция инфраструктуры;

• промышленность: дефекты, комплектация, конвейеры, контроль качества и безопасности;

• транспорт и логистика: грузы, парковки, дорожная ситуация, маркировка и сортировка;

• видеоаналитика: периметр, доступ, поиск событий, видеоархивы;

• ритейл и e‑commerce: полки, наличие товара, ценники, выкладка, предотвращение потерь;

• агро: мониторинг полей, болезни растений, контроль техники;

• медицина: поиск патологий и сегментация анатомических структур;

• городская инфраструктура: дороги, повреждения, стройки, парковки и контроль требований безопасности.

Если вы работаете с классификацией, детекцией, сегментацией, видеоаналитикой, edge‑развертыванием или разметкой данных — пишите в комментариях, личные сообщения или на почту tape@comexp.net.

Статья: TAPe+ML: A Compact Structured Representation for Multi‑Task Computer Vision ^[1]

Проект: ml.comexp.net ^[7]