Мы не приверженцы теории марксизма-ленинизма (у нас своя теория), но иначе нашу разработку не назовешь. Вы можете к ней (к революции) присоединиться – просто начав пользоваться нашей моделью.
Мы разработали TAPe+ML v2 — модель распознавания, которая решает любые задачи компьютерного зрения с точностью на уровне моделей SOTA, но с количеством параметров значительно меньше 100 тысяч, тогда как у конкурентов их миллионы и даже сотни миллионов.
Такой размер позволяет запускать модель не только на серверных GPU, но и на массовом железе — от обычных CPU и ноутбуков до встраиваемых устройств и одноплатных компьютеров, где тяжелые модели с сотнями миллионов параметров обычно не помещаются или требуют отдельной оптимизации.
Дисклеймер (для тех, кто впервые про TAPe или всё забыл)
TAPe – это новый способ обработки информации, который мы “подсмотрели” у человеческого мозга и эмулирующий его работу. Мы смогли формально описать – хотя бы частично – как именно мозг воспринимает и обрабатывает реальность: какими первичными элементами он оперирует и по каким законам соединяет их в образы, символы и смыслы. Мы уже написали с десяток статей о тех или иных результатах и достижениях в области TAPe: вот три статьи на выбор:
Мы можем решать задачи компьютерного зрения без видеокарт. И вам советуем
Как мы обошли RF‑DETR и YOLO, с легкостью уложившись в 100k параметров (вместо 100M)
Наш «домашний» НИИ обошел DINOv2, ViT и десятки ML‑моделей в сегментации видео
В системах компьютерного зрения под каждую задачу собирают отдельный стек: один backbone для классификации, другой для детекции, третий для сегментации, а потом все это отдельно обучают, поддерживают и масштабируют.
У нас – иначе. TAPe переводит изображение в структурированное TAPe‑пространство признаков: система сначала «видит» кадр/изображение и строит представление, не зная заранее, какой ответ от неё потребуется. Модель организует работу нескольких простых подмоделей над этим представлением, а уже постановка задачи и датасет определяют, каким будет ответ — детекция, классификация, сегментация, авторазметка, поиск похожих объектов или другой сценарий.
За счёт этого одна и та же архитектура восприятия и координатор подмоделей используются для разных задач, без отдельного набора backbone‑моделей под каждую из них.
Рассказываем подробней.
Детекция (COCO)
Практический эффект TAPe+ML v2 сейчас лучше всего видно в object detection. Так, TAPe+ML v2 на конкретной практической задаче рудозасорения (см главу про промышленный пилот), без COCO-головы, на новом backbone, основанном на данных клиента, дает точность детекции 96%, по mAP50 – точность 90% и по mAP50–95 – 85%. То есть TAPe‑детекция выходит на уровень RF‑DETR по mAP50 при числе параметров меньше 100 тысяч против порядка 127 миллионов у RF‑DETR 2XL.
Мы применили последовательность улучшений, которые не раскрываем публично как ноу‑хау, но их итоговые эффекты можно зафиксировать на COCO. На разных этапах получались следующие значения:
При этом количество параметров модели осталось меньше 100 тысяч, а время инференса — порядка 8 мс на изображение.
В качестве ориентира по рынку мы также используем RF‑DETR 2XL — одну из первых детекционных моделей, превысивших 60% по mAP50–95 на COCO и при этом работающих в реальном времени (~17.2 мс на изображение).
Для TAPe+ML v2 в финальной конфигурации получаем:
-
mAP50–95 — 62.0% против ≈60% у RF‑DETR 2XL;
-
скорость — ~8 мс против ~17.2 мс;
-
число параметров — <100k против сотен миллионов у крупных трансформерных детекторов.
Итоговая сравнительная таблица COCO-детекции
Классификация (ImageNet-1k / COCO oracle)
Как видно, точность классификации нашей модели сопоставима с SOTA, но нашей модели нужно меньше 100 тыс параметров, а DINOv2 – больше миллиарда, чтобы показать приличный результат. Что уж говорить о DINOv3, которая, чтобы улучшить точность на полтора процента, увеличила в семь раз число параметров, доведя их до страшных 7 млрд. А 7 млрд – это в 70 тыс. раз больше, чем 100 тыс.
Если вы думаете, что нам, чтобы “догнать” DINOv3, придется тоже хотя бы в семь раз увеличить число параметров, вы ошибаетесь. Мы получили точность классификации 86,6% top-1 сходу. Классификация для нас — контрольная задача, а не отдельный продукт. Мы не оптимизировали модель под максимальный топ‑1, а проверяли, как распознавательное TAPe‑ядро ведет себя в ImageNet‑подобной постановке.
Целенаправленно догонять и перегонять SOTA по классификации мы пока не пытались: задача TAPe+ML — устойчивое распознавание с малым числом параметров, а не рекорд по одной метрике. Как только появится прикладная задача, требующая максимизации именно классификационного качества, архитектура позволяет шагнуть в эту сторону без смены ядра модели. В целом же, просто двигаясь в сторону распознавания, мы улучшаем бенчмарки конкретных задач/датасетов, без усилий в одну конкретную сторону.
ML‑стенд: обучение головы и backbone под задачу
В процессе разговоров и пилотов мы уперлись в необходимость собственного ML‑стенда, который решает задачи детекции на COCO с результатами уровня сильных моделей и доступен заказчикам. Стенд мы сделали: его можно взять «в руки», чтобы прогонять свои сценарии и сверять цифры и заявления с реальными результатами.
Стенд поддерживает несколько режимов обучения на базе одной и той же TAPe+ML‑архитектуры:
-
Обучение только головы. Используется модель, предобученная на COCO; дообучается голова под новые классы и задачи, а backbone остается фиксированным. Такой режим позволяет голове быстро тренироваться задач в доменах, близких к COCO — обычные «3D‑объекты» в хорошем освещении. Backbone в этом случае дает голове описания и свойства предметов, которые были натренированы из решения датасета COCO: формы, текстуры, цвета и т.д.
-
Обучение с адаптацией backbone. Используется та же предобученная модель, но дообучение затрагивает и backbone, добавляя туда свойства, которые необходимы для новой задачи клиента, если свойств из COCO недостаточно. Лучше всего такой метод подходит для задач НЕ-похожих на задачи датасета COCO – так называемых задач OOD, Out Of Distribution. Наш промышленный пилот, о результатах которого мы расскажем в конце, использовал именно этот метод для тренировки.
-
Обучение с нуля. Механически это тот же режим с обучением backbone, но веса инициализируются случайно и модель не опирается на знания из COCO. Такой подход требует больше данных и времени, но позволяет не тянуть в модель не относящиеся к задаче свойства и строить еще более легкие конфигурации, то есть сохранять модель с меньшим количеством слоев, а также получить еще более высокий потолок точности.
Стенд явно разделяет эти режимы и объясняет, как они соотносятся с задачей и данными, что упрощает диалог с ML‑командами по выбору стратегии обучения.
Автоматическая разметка (мы и ее сделали)
В классическом пайплайне разметки датасет сначала размечают вручную (часто через отдельные label‑сервисы и тулзы), а затем по этим данным обучают модель. В TAPe+ML поверх обычного графического интерфейса разметки есть режим авторазметки, где основную работу берет на себя модель. Пользователь загружает небольшой фрагмент данных, вручную размечает 10–15 изображений, а система сразу же (в реальном времени) дообучает модель на этом минимальном наборе, и дальше она сама обводит остальные объекты соответствующего класса; при необходимости пользователь вносит поправки, а модель дообучается на этих исправлениях. Все это работает в рамках того же ML‑стенда и TAPe+ML‑стека: разметка, обучение и авторазметка находятся в одной системе, доступны из браузера и не требуют отдельного ПО или внешних label‑платформ.
Координатор подмоделей: от отдельных моделей к единой архитектуре распознавания
Гипотетически, в TAPe+ML одна архитектура может применяться везде: для Image Classification, Object Detection, Image Segmentation, Clustering & Similarity Search и Feature Extraction и других задач компьютерного распознавания; модель зависит не от конкретного датасета, а от класса задачи. Пока мы проверили работоспособность на задачах в области первых двух пунктов – детекции и классификации, сейчас работаем с другими задачами.
Мы ушли от монолитного детектора к системе из нескольких маленьких моделей, каждая из которых отвечает за свою часть задачи. Модель TAPe+ML v2 является по сути координатором нескольких маленьких моделей. В зависимости от поставленной задачи и сложности датасета (а не просто его размеров), модель автоматически разворачивает несколько подмоделей, для адаптации к конкретному решению, позволяя иметь гибкую систему решения любой задачи, не волнуясь при этом о количестве параметров, или же конечном результате. Таким образом, модели в нашей системе автоматически разворачиваются для нахождения заднего фона, для наведения на объект, для разделения объектов на прототипы, и так далее. Каждая задачка работает с простейшим “узким” датасетом и алгоритмом для решения большой и сложной общей задачи.
Итого: TAPe+ML v2 — это единая модель распознавания. Одна и та же архитектура сначала воспринимает изображение и строит его структурированное представление независимо от конкретной задачи, а затем на этом же представлении, в зависимости от постановки и датасета, дает ответ в задачах детекции, классификации, сегментации, авторазметки и пр. За счет этого одна и та же система используется для разных задач распознавания без смены базовой архитектуры.
Результаты промышленного пилота
В одном из пилотных проектов TAPe+ML использовалась для задачи: по изображениям конвейерной ленты находить засорения руды.
Исходные данные
30 изображений, два класса:
-
класс 1 — обширные объекты постоянной формы (12 фотографий);
-
класс 2 — маленькие узкие объекты без стабильной формы и размера, где похожесть внутри класса скорее концептуальная, чем визуальная (18 фотографий).
По информации заказчика, baseline‑модель YOLO 26s на этом датасете не справлялась с задачей.
Шаги и результаты
-
Проверка базового YOLO 26s: около 28% точности на исходном датасете.
-
Обучение только головы TAPe+ML: ≈45%.
-
Обучение с адаптацией backbone: ≈65%.
После внедрения улучшений классификации и новой модели: около 85% на исходных 30 изображениях; на расширенном датасете (500 изображений) — 85.7% с детальным разбором ошибок.
Ключевые сложности
-
ложные срабатывания по изображениям класса 1, где минимальные отличия делают задачу сложной даже визуально;
-
ошибки NMS в виде дублирующихся боксов на один объект класса 2;
-
около 5% оверфита из‑за низкой вариативности данных.
Финальный результат после интеграции TAPe-координатора и улучшений
-
отсутствие ложных срабатываний на рабочих уровнях порога уверенности;
-
исправленный NMS — нет случаев многократного обвода одного и того же объекта;
-
точность детекции — 96%;
-
mAP50 — 90%;
-
mAP50–95 — 85%.
-
по классам: класс 1 — 100% точности, класс 2 — ≈90% (89.97%).
Для сравнения: YOLO 12s с 9.3 млн параметров на том же датасете показывает точность maP50 – 84%, maP50-95 – 68%, требует 400 изображений на класс против <100k параметров у TAPe+ML v2 и до 50 изображений на класс.
Итоги на сегодня: в результатах на COCO и в промышленном кейсе TAPe+ML v2 ожидаемо (для нас) показала уровень и даже выше сильных моделей, оставаясь в классе «меньше 100 тысяч параметров и единицы миллисекунд на инференс».
TAPe+ML v2 можно проверить/потестить самостоятельно на стенде. Или приобрести тариф для своих задач.
Тут должна быть какая-то мораль или вывод или месседж или что там принято еще, но у нас всего этого нет.
Автор: oopatow
