Модель отредактировала веса другой модели без обучения. Часть 2: почему петля рвётся, а навык не добавить
Обложка сгенерирована с помощью ИИСтатья получилась большой, поэтому я разбил её на две части. Это часть 2 из 2.
GPT-6 Astra поправила 131 072 веса в Qwen руками. Я сравнил чекпойнты и нашёл множитель −5. Часть 1
Обложка сгенерирована с помощью ИИ Я студент РТУ МИРЭА, и мне показалась интересной эта тема, поэтому решил разобрать её подробно.
Эпизод 1. Трансформер идёт в Atari Frostbite
Какие информационные процессы протекают в нашем мозгу? Какие цели он преследует? Какой моделью данных и какой алгеброй можно передать его работу? Почему мы подвержены разным когнитивным искажениям? Зачем нам сон и можно ли без него? Как использовать наш мозг на полную катушку?
Я встроил процессор RISC-V в веса Qwen 3.5, а памятью ему стали слои DeltaNet
Это правда не кремнийQwenputer — довольно забавная экспериментальная модель. Это обычная Qwen 3.5 4B с одним дополнением: в её весах живёт процессор RISC-V, а оперативной памятью ему служат собственные слои внимания модели, Gated DeltaNet. (Как устроен GDN, я объяснял в отдельном руководстве.) Этот «процессор» работает целиком внутри прямых проходов модели и умеет выполнять арифметику, код на C и MicroPython без всякой внешней среды исполнения и без вызова инструментов.
Мы могли бы изобрести трансформеры из памяти
Извлечение символа из памяти. Извлечение ухудшается с ростом количества воспоминаний.
LLM-беседы: эпистемный класс элементов и форм в исследованиях пространств активаций
Аннотация. В рамках теории LLM-бесед как лумановских операционных систем нового типа рассматриваются экспериментальные свидетельства из литературы о существовании элементов и форм из эпистемного класса среды развертывания таких систем – и-слоя LLM. Проанализированы результаты сторонних исследований пространств активаций, связанных с LLM-беседами, которые затрагивали элементы/формы: знакомо, незнакомо, истинно, ответ известен, не могу ответить, а также правдивость порождаемых ответов, угодливость LLM и семантическую энтропию
Асинхронное ротационное сжатие, или Как сделать бесшовной беседу с вашим локальным агентом
Издревле (вот уже целый год) человечество пытается примириться со сжатием контекста.Вот вы мило беседовали с чубриком, и дзинь…Он замолкает на несколько десятков секунд, потом вроде отдупляется, бросается перечитывать доки и вроде бы с горем пополам продолжает беседу, но вы-то видите, что он не помнит шутку, которую вы только что пошутили.К спонтанной амнезии мы уже привыкли, она воспринимается как неизбежное зло, сидящее чуть ли не в архитектуре трансформера. Контекст-то конечен, говорите вы себе, но…Неужели с этим действительно ничего нельзя сделать?Кое-что об устройстве трансформера
