Сегментация и классификация патологий лёгких на КТ: сравнение UNet 3+, nnU‑Net, EfficientNet и Swin Transformer. efficientnet.. efficientnet. swin transformer.. efficientnet. swin transformer. Unet.. efficientnet. swin transformer. Unet. глубокое обучение.. efficientnet. swin transformer. Unet. глубокое обучение. здоровье.. efficientnet. swin transformer. Unet. глубокое обучение. здоровье. искусственный интеллект.. efficientnet. swin transformer. Unet. глубокое обучение. здоровье. искусственный интеллект. классификация изображений.. efficientnet. swin transformer. Unet. глубокое обучение. здоровье. искусственный интеллект. классификация изображений. компьютерное зрение.. efficientnet. swin transformer. Unet. глубокое обучение. здоровье. искусственный интеллект. классификация изображений. компьютерное зрение. Машинное обучение.. efficientnet. swin transformer. Unet. глубокое обучение. здоровье. искусственный интеллект. классификация изображений. компьютерное зрение. Машинное обучение. Обработка изображений.. efficientnet. swin transformer. Unet. глубокое обучение. здоровье. искусственный интеллект. классификация изображений. компьютерное зрение. Машинное обучение. Обработка изображений. сегментация изображений.

TL;DR. Я сравнила четыре архитектуры на КТ грудной клетки: UNet 3+ и nnU‑Net v2 для сегментации узлов (LIDC‑IDRI), EfficientNet‑B0 и Swin‑Tiny для классификации срезов. В классификации Swin‑Tiny точнее (accuracy 0,924 против 0,832, один запуск). В сегментации честного сравнения не получилось: на подвыборке из 113 обучающих узлов ни одна из самописных сетей не обобщилась (Dice на тесте 0,01–0,02), и я разбираю, почему.

Введение

Рак лёгкого остаётся одной из главных причин смерти от онкологии, а на ранних стадиях проявляется слабо. Радиологу приходится просматривать сотни срезов одного исследования, и небольшой узел легко пропустить. Помочь могут две автоматические задачи: сегментация узлов (разметка вокселей, которые принадлежат очагу) и классификация среза по типу патологии.

Для этих задач применяют свёрточные сети (UNet 3+, nnU‑Net, EfficientNet) и трансформеры (Swin). Авторы обучают их на разных данных с разной предобработкой, поэтому цифры из разных статей напрямую сравнивать нельзя. Я поставила цель сравнить UNet 3+ и nnU‑Net в сегментации узлов, а EfficientNet‑B0 и Swin Transformer в классификации КТ‑срезов в одинаковых условиях. Гипотезы были такими: Swin окажется точнее EfficientNet‑B0, а на малой выборке nnU‑Net обучится стабильнее самописного UNet 3+.

Данные

Сегментация. Я взяла LIDC‑IDRI: КТ грудной клетки, где узлы разметили четыре рентгенолога. Весь набор занимает около 124 ГБ, а на бесплатном Kaggle диск и время сессии ограничены, поэтому я собрала подвыборку lidc-148: 148 пациентов, у 48 есть узлы. Делила по пациентам, чтобы срезы одного человека не попали в обучение и тест одновременно: 103 / 22 / 23 пациента. Эталоном служила консенсусная маска.

Рисунок 1. Срезы КТ из LIDC-IDRI с контурами разметки узлов.

Рисунок 1. Срезы КТ из LIDC‑IDRI с контурами разметки узлов.

Классификация. Открытый набор Chest CT‑Scan Images с Kaggle: четыре класса (аденокарцинома, крупноклеточная и плоскоклеточная карциномы, норма), 1226 / 148 / 630 изображений для обучения, валидации и теста. Все изображения приведены к размеру 224×224.

Методы

Модели. Для сегментации: 3D UNet 3+ (полномасштабные связи по Huang et al., 2020; я реализовала 3D‑вариант самостоятельно) и nnU‑Net v2 в конфигурации 3 d_fullres, который сам подбирает предобработку, патч и параметры обучения. Для классификации: EfficientNet‑B0 (4,0 млн параметров) и Swin‑Tiny (27,5 млн), обе с предобучением на ImageNet.

Обучение. Классификаторы обучались одинаково: Adam, lr 1 e-4, batch 16, 20 эпох. Для сегментации в итоговом эксперименте я написала обе сети (3D UNet и 3D UNet 3+) и обучала их одним кодом на вырезках 48³ вокруг узлов и случайных пустых вырезках: SGD с momentum 0,99 и lr 1 e-2, лосс BCE, затем BCE + Dice. Порог и эпоху выбирала по валидации при доле ложных срабатываний на пустых вырезках не выше 30%.

Метрики. Dice, IoU, чувствительность и точность для сегментации; accuracy и macro‑F1 для классификации. Для сегментации также считала доверительные интервалы (bootstrap по узлам) и парный критерий Вилкоксона.

Результаты

Классификация

Рисунок 3. Accuracy и macro-F1 на тесте из 630 изображений, один запуск.

Рисунок 3. Accuracy и macro‑F1 на тесте из 630 изображений, один запуск.

Показатель

EfficientNet‑B0

Swin‑Tiny

Accuracy

0,8317

0,9238

Macro‑F1

0,8412

0,9358

Параметры, млн

4,0

27,5

Время обучения, мин

44,4

85,6

Когда я впервые сравнила результаты, преимущество Swin‑Tiny оказалось заметным: разница по accuracy составила 0,092, по macro‑F1 — 0,095. Но вместе с точностью выросли и вычислительные затраты. Обучение заняло 85,6 минуты вместо 44,4 у EfficientNet‑B0. Количество параметров тоже существенно различается — 27,5 млн против 4 млн.

Поэтому результат оказался не таким однозначным, как может показаться по одной только accuracy. Swin‑Tiny лучше справилась с классификацией в этом эксперименте, но EfficientNet‑B0 значительно легче и быстрее.

Сложнее всего обеим моделям далась аденокарцинома, которую они путали с плоскоклеточной (в 17% случаев у EfficientNet и в 15% у Swin). Крупноклеточную карциному Swin находит с полнотой 1,00, а EfficientNet только 0,73.

Сегментация

В первых запусках (подвыборки по 103–114 томов, 30 эпох) на валидации nnU‑Net v2 дошёл до Dice 0,4825, а 3D UNet 3+ — до 0,3241; на тесте UNet 3+ показал почти ноль. Я не стала опираться на эти числа: подвыборки менялись между запусками, nnU‑Net учился 30 эпох вместо стандартных 1000 [проверь, что валидация шла вне обучения], а нулевой результат оказался следствием ошибок в данных и обучении (см. «Обсуждение»).

После исправлений я провела единый эксперимент на вырезках. Узлы оказались мелкими: медианный эквивалентный диаметр около 6 вокселей. В обучении было 113 узлов у 33 пациентов, в тесте — 27 узлов.

Модель

Dice на тесте

95% ДИ

3D UNet

0,013

0,002–0,026

3D UNet 3+

0,017

0,009–0,026

Различие между сетями незначимо (критерий Вилкоксона, p = 0,53). Dice на обучении растёт, а на валидации падает почти до нуля: сеть запоминает обучающие узлы и не обобщается.

Рисунок 2. Dice на обучении (зелёная линия) и на валидации (оранжевая) по эпохам.

Рисунок 2. Dice на обучении (зелёная линия) и на валидации (оранжевая) по эпохам.

Что пошло не так с сегментацией

Классификация. Гипотеза подтвердилась: Swin точнее EfficientNet‑B0 примерно на 9 п. п. Возможно, помогают иерархические признаки и внимание в сдвигаемых окнах, но без абляций и повторных запусков это только предположение. На практике выбор зависит от ресурсов: EfficientNet быстрее и легче.

Сегментация. Я ожидала, что после настройки моделей качество сегментации будет постепенно улучшаться. Но оказалось, что некоторые проблемы находились гораздо раньше — ещё до начала обучения. Когда я стала проверять данные и промежуточные результаты, обнаружилось несколько ошибок, которые напрямую влияли на работу сетей:

  1. Двойная нормировка. NIfTI из lidc-148 уже хранятся в диапазоне [0, 1] (перцентили 1/25/50/75/99 = 0 / 0,234 / 0,3 / 0,861 / 1,0). Я применила к ним окно в единицах Хаунсфилда, и изображение стало почти константным (около 0,714): сети нечему было учиться.

  2. Дисбаланс патчей. При случайной выборке только 8–10% патчей содержали узел. Выбор положительного пациента и центрирование патча на узле со сдвигом подняли долю до половины.

  3. Лосс на пустых батчах. Dice с ε = 1 на батчах без узла выглядит хорошо и толкает вероятности к нулю; с ε = 1 e-5 поведение нормализовалось.

Полезным оказался и тест «переобучиться на двух патчах»: AdamW с lr 1 e-3 дал Dice 0,000, а SGD с momentum 0,99 и lr 1 e-2 — 0,852 за 200 шагов.

Ограничения

  1. Подвыборка мала: 113 обучающих узлов у 33 пациентов, 27 тестовых узлов, одно разбиение.

  2. Узлы мелкие, а для таких объектов Dice по каждому узлу получается низким даже у хороших моделей.

  3. Каждая модель запускалась один раз, а nnU‑Net обучался 30 эпох вместо 1000.

  4. В классификации не проверялись дубликаты между выборками и нет доверительных интервалов.

Заключение

В классификации Swin‑Tiny превзошёл EfficientNet‑B0 (accuracy 0,9238 против 0,8317), хотя обучался почти вдвое дольше. В сегментации узлов на небольшой подвыборке LIDC‑IDRI ни UNet 3+, ни обычный 3D UNet не обобщились (Dice 0,01–0,02 на тесте), и сравнивать архитектуры рано: главная проблема — объём данных. Прежде чем сравнивать архитектуры, нужно проверить, что именно получает сеть на вход, как устроена выборка патчей и ведёт ли себя лосс на пустых батчах. Я продолжу обучать модель на более больших данных и посмотрю результаты там.

Источники

  1. Armato S. G. et al. The Lung Image Database Consortium (LIDC) and Image Database Resource Initiative (IDRI): a completed reference database of lung nodules on CT scans. Medical Physics, 2011, 38(2), 915–931. DOI 10.1118/1.3528204.

  2. Huang H. et al. UNet 3+: A Full‑Scale Connected UNet for Medical Image Segmentation. ICASSP 2020. arXiv:2004.08790.

  3. Isensee F. et al. nnU‑Net: a self‑configuring method for deep learning‑based biomedical image segmentation. Nature Methods, 2021, 18(2), 203–211. PubMed.

  4. Tan M., Le Q. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. ICML 2019. arXiv:1905.11946.

  5. Liu Z. et al. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows. ICCV 2021. arXiv:2103.14030.

  6. Достовалова А. М., Горшенин А. К., Старичкова Ю. В., Арзамасов К. М. Сравнительный анализ модификаций нейросетевых архитектур U‑Net в задаче сегментации медицинских изображений. 2024. Ссылка. [дополни: название журнала, том, номер, страницы]

  7. Пашина Т. А., Гайдель А. В., Зельтер П. М., Капишников А. В., Никоноров А. В. Сравнение алгоритмов выделения области интереса на компьютерных томограммах лёгких. Компьютерная оптика, 2020, т. 44, № 1, с. 74–81. PDF.

  8. Семёнов А. В. Сравнение методов сегментации зубов на снимках рентгеновской микротомографии // Искусственный интеллект в промышленных, коммерческих, медицинских и финансовых приложениях, 2026: сб. ст. науч.‑техн. семинара студентов. Вып. 6 / под ред. А. Р. Ефимова. М.: НИТУ «МИСИС», 2026. С. 113. EDN QTUZKL. eLIBRARY.

  9. Исаченко М. К., Парчиев Р. Б. Сегментация медицинских изображений с помощью DUCK‑Net // Искусственный интеллект в промышленных, коммерческих, медицинских и финансовых приложениях, 2024: сб. ст. науч.‑техн. семинара студентов. Вып. 2 / под ред. А. Р. Ефимова. М.: НИТУ «МИСИС», 2024. С. 54–60. EDN TESNHV. eLIBRARY.

  10. Блинов К., Курочкин И. И. Подбор гиперпараметров для синхронного метода распределённого глубокого обучения при решении задач классификации изображений // International Workshop on Information, Computation, and Control Systems for Distributed Environments (ICCS‑DE), 2025. С. 55–60. DOI.

Автор: DARIMAYA

Источник