LeJEPA: новый метод self-supervised обучения без сложных эвристик

Ян Лекун представил LeJEPA – простой и эффективный подход к self-supervised обучению ^[1], который избавляется от большинства традиционных сложных трюков. Ранее для предотвращения коллапса признаков в обучении моделей использовались stop-gradient, сети «учитель-студент» и другие эвристики. LeJEPA заменяет их одним регуляризатором – SIGReg (Sketched Isotropic Gaussian Regularization).

Задача SIGReg – равномерно распределять векторы признаков в пространстве, формируя изотропное сферическое облако. Лекун доказал, что такая структура математически ^[2] оптимальна для минимизации ошибок на будущих задачах, обеспечивая стабильность обучения и более предсказуемые результаты.

На практике LeJEPA упрощает масштабирование моделей и оценку их качества. В тестах модель с 1.8 млрд параметров достигла 79% точности на ImageNet-1K, показывая конкурентоспособные результаты без сложных эвристических приёмов.

Исследователи отмечают, что подход LeJEPA открывает возможности для более стабильного и универсального self-supervised обучения, сокращая время и ресурсы на настройку моделей. Код доступен для изучения и внедрения на GitHub, что делает метод привлекательным для академических и индустриальных команд.

Делегируйте часть рутинных задач вместе с BotHub! ^[3] Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке ^[4] вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

Источник ^[5]