LSWM 2.0 is all you need
Снова всем привет!Прошло всего несколько дней с того момента как я выложил LSWM .В общем я протестировал и поэкспериментировал эту сеть ещё раз и нашёл СТОЛЬКО проблем, сколько даже ванильный RNN не видел.В этой статье я попытаюсь их исправить.Содержание.В этой статье будет:Теория.Бенчмарки.Плюсы и минусы.Вывод.Теория.Начнем с теории.Хочу сказать - тут будут те же softsign и scaled softsign .И так... Начнём с первой формулы:Что такое
Моя собственная Gated RNN: как работает? (и бенчмарки, конечно же)
Всем привет!Не давно сделал свою Gated RNN, то есть с другой математикой, ни как у LSTM, GRU и подобного.Я хочу (для вас) разобрать её теоретически, практически, замерить (я не умею замерять так что буду замерять как могу), ну и конечно же расскажу плюсы и минусы.То, что будет в статье.Э-э-э, плохое название для заголовка, но вот те заголовки которые вы сейчас будете встречать (в правильном порядке):Теория.Практика (без замеров).Бенчмаркинг.Плюсы и минусы моей сети.Вывод.Это моя первая статья похожая на реально научную, так что могут быть недочёты.Теория.
