Эмерджентность: Инструкция по сборке (если повезет)
Всем привет, меня зовут Артем Гроза, я Data Scientist в SimpleWine. Я хотел бы поделиться с вами рассказом о таком важном и малоизученном эффекте, как эмерджентность. На написание данной статьи меня вдохновило выступление директора Института перспективных исследований мозга МГУ Константина Анохина на конференции Data Fusion.Что общего между муравейником и нейронной сетью?
Даже если случайно переставить буквы в словах, GPT-4 понимает текст
Цветом выделена токенизация Для представления внутри трансформеров слова или их небольшие части преобразуются в токены. Кажется, что если перемешать в каждом слове буквы, то языковая модель на трансформерах потеряет всякую способность понимать текст. Авторы научной работы «Unnatural Error Correction: GPT-4 Can Almost Perfectly Handle Unnatural Scrambled Text» (arXiv:2311.18805) показали, что это не так. Как выяснилось, GPT-4 без проблем оперирует текстом, где в каждом слове все буквы случайно переставлены.
