Параллельность RNN?
Смотрели итоги прошедшего ICLR? Меня заинтересовала довольно провокационная, на первый взгляд, статья от Эплов — ParaRNN. Казалось бы, параллельность РНН — это их главный недостаток, благодаря которому их заменили трансформеры (в большинстве задач).Так вот, давайте разберемся со всем, на максимально низком уровне, если знаете, что такое RNN и производная — то эта статья для вас.1. Алгоритм DEERDEER = Deep Equilibrium Evaluation of Recurrence (Lim et al., 2024). Базовый алгоритм, на котором строится ParaRNN.1.1. Постановка как задача нахождения корня
ИИ генерирует длинные видео: возможное решение проблемы вычислительных требований
Исследователи разработали метод создания более длинных и связных видеороликов с искусственным интеллектом, которые рассказывают сложные истории.
