NoPE.
Какие слои что знают: сравниваем RWKV-7 и трансформеры послойными пробами
Где языковая модель хранит порядок слов, грамматику и смысл — и зависит ли это от архитектуры? Я обучил 12 небольших моделей, которые отличаются только архитектурой, и проверил линейными пробами каждый слой каждого чекпоинта. Короткий вывод: на этом масштабе заметнее всего различается то, как хранится позиция токена, а для синтаксиса и смысла модели при равном loss выглядят похоже.Сравнивал RWKV-7, трансформер с RoPE и трансформер без позиционного кодирования (NoPE)
