Часть 1: ResNet-18 — Архитектура, покорившая глубину
Пролог: Парадокс глубиныПредставьте, что вы строите небоскрёб. Каждый новый этаж — это слой нейросети. Но после 20 этажей здание вдруг начинает... рушиться. Так было в компьютерном зрении до 2015 года: чем глубже сеть, тем хуже она работала.ResNet решил это гениально просто: добавил "лифты" между этажами — остаточные связи (skip-connections). Теперь, если новый слой бесполезен, сеть просто "пропускает" его через эти лифты.Разберём на простом примереКак ResNet из картинки делает предсказание? Допустим у нас есть задача предсказать, что в данном изображении будет "человек" класс (0) или "машина" класс (1).
Три икса: новый уровень работы с большими свертками в PyTorch для обучения моделей
Привет, Хабр! Продолжим разговор про свертки в ML-обучении на C++. Мы уже обсудили, какие есть подходы к реализации сверток, — ссылку на первую часть ищите в конце статьи. Теперь поговорим, как в одном моем проекте нужно было расширить функциональность PyTorch для работы со свертками размерностью больше трех, а потом использовать их в обучении моделей. Сначала рассмотрим, какие ограничения на выбор алгоритма накладывает возможность обучения моделей, а затем изучим два подхода к реализации свертки и адаптируем их к нашей задаче. Откуда берутся большие ядра свертки
