Обратное распространение ошибки: от интуиции до кода
Введение.Современные нейросети часто воспринимаются как черная магия. Вы закидываете в черный ящик датасет, ждете пару часов, и вот уже модель пишет за вас код, генерирует картины и безошибочно отличает собаку от выпечки. Но под капотом нет никаких заклинаний. Вся эта вычислительная мощь держится на одном элегантном алгоритме, основы которого были заложены еще в 1970-х годах — обратном распространении ошибки (Backpropagation).Сейчас порог входа в машинное обучение низок как никогда. Чтобы заставить сеть учиться, достаточно написать loss.backward() в PyTorch или вызвать model.fit()
Математические основы рекуррентных нейросетей (детские вопросы и ответы, о которых не принято говорить)
Зачем всё это?Сейчас в сети можно встретить огромное количество разной литературы и курсов, которые предлагают разобраться в основах нейросетей, так зачем же нужна ещё одна подобная статья? И почему именно рекуррентные нейросети?
Обратное распространение ошибки… на пальцах… без формул
Все эти игры не для нас....Хотелось быпоказать «суть» метода обратного распространения ошибки (Backpropagation) в нейросетях. Ведь ее сложно увидеть за нагромождением формул. Статья, конечно, не для профессионалов индустрии и математиков... Но знать производные нужно.
Глубокое обучение: Алгоритм обратного распространения ошибки. Теория и реализация. С нуля
Всем привет. Меня зовут Алмаз Хуснутдинов. В этой статье я рассказываю про алгоритм обратного распространения ошибки, который используется для обучения нейросетей.Содержание: архитектура простой нейросети и инициализация переменных, прямое распространение ручной расчет, вывод производных, вывод алгоритма, обратное распространение ручной расчет, реализация простой архитектуры нейросети и задача «логическое или», реализация класса для многослойной нейросети и изображения MNIST.Архитектура нейронной сети
Возможно, в мозге найден эквивалент обратного распространения
Давно известно, что биологические нейроны действуют подобно битам: либо отправляют сигнал соседнему нейрону, либо не делают этого; поэтому исследователи построили модель, где роль обучающих сигналов выполняют всплески нейронной активности.
