ML Q & AI. Глава 9. Генеративные ИИ модели
← Предыдущая глава | Какие существуют популярные категории глубоких генеративных моделей (также известных как генеративные ИИ) в области глубинного обучения, и какие у них недостатки?
ML Q & AI. Глава 8. Успех трансформеров
← Предыдущая глава | В чём секрет успеха трансформеров?В последние годы трансформеры стали самой успешной архитектурой нейронных сетей, особенно в задачах обработки естественного языка. Теперь они близки к тому, чтобы стать SOTA для задач компьютерного зрения тоже. Успех трансформеров обусловлен несколькими ключевыми факторами: их механизм внимания, возможность легкой параллелизации, предварительное обучение без учителя и большое количество параметров.Механизм внимания
ML Q & AI. Глава 7. Парадигмы обучения на нескольких GPU
← Предыдущая глава | Какие существуют подходы к обучению на нескольких GPU и в чем их сильные и слабые стороны?Подходы к обучению на нескольких GPU можно разделить на две группы: разделение данных для параллельной обработки несколькими GPU и разделение модели по нескольким GPU для преодоления ограничений памяти, когда размер модели превышает возможности одной видеокарты. Параллелизм данных попадает в первую категорию, в то время как тензорный параллелизм и параллелизм моделей попадают во вторую. Такие подходы как
ML Q & AI. Глава 6. Уменьшение переобучения при помощи настройки моделей
← Предыдущая глава |Допустим, мы обучаем классификатор при помощи обучения с учителем и уже применили к датасету различные методы для уменьшения переобучения. Как можно улучшить модель или цикл обучения, чтобы добиться еще более заметного эффекта?Наиболее эффективные методы борьбы с переобучением включают в себя различные техники регуляризации, такие как
ML Q & AI. Глава 5. Уменьшение переобучения при помощи данных
← Предыдущая глава |Предположим, что мы обучаем классификатор при помощи обучения с учителем и замечаем, что он страдает от переобучения. Какие существуют основные подходы для уменьшения переобучения путем модификации или дополнения данных?Переобучение
ML Q & AI. Глава 4. Гипотеза о лотерейном билете
← Предыдущая глава |О чем говорит гипотеза о лотерейном билете, и чем она полезна на практике, если оказывается верной?Гипотеза о лотерейном билете — это идея, которая появилась в 2018 году в контексте обучения нейронных сетей. Она утверждает, что в случайно инициализированной нейронной сети существует подсеть (или «выигрышный билет»), которая, если ее обучить независимо, сможет достичь такой же точности на тестовом датасете, как и полная сеть после такого же количества шагов обучения. Авторы гипотезы — Джонатан Франкл и Майкл Карбин.
ML Q & AI. Глава 3. Few-Shot Learning
Что такое few-shot learning (обучение, FSL)? Чем оно отличается от традиционной процедуры обучения с учителем?
ML Q & AI. Глава 2. Self-Supervised Learning
Предыдущая главаЧто такое self-supervised learning (обучение) (SSL), чем оно полезно и какие существуют подходы к его реализации?Self-supervised обучение - это процедура предварительного обучения, которая позволяет нейронным сетям использовать большие объемы неразмеченных данных в
ML Q & AI. Глава 1. Эмбеддинги, латентные пространства и представления
Известный эксперт в области машинного обучения и ИИ Себастьян Рашка был добр бесплатно поделиться с миром своей уникальной книгой о фундаментальных вопросах в области современного машинного обучения. В ней он рассматривает вопросы создания эффективных архитектур для глубинного обучения. Книга охватывает 30 важных аспектов этой сферы в максимально доступной и понятной форме: каждый вопрос рассмотрен как небольшая, но интересная статья, подобно тем, что мы читаем здесь, на Хабре. Отсутствие такой книги в русскоязычном сегменте - большое упущение, поэтому верю, что серия переводов этой книги будет полезна сообществу Хабра.
