12 июня 2017 года группой битломанов из Google была опубликована статья под названием “Attention Is All You Need”, в которой миру впервые были представлены трансформеры — новый тип нейронных сетей, которые обрабатывали всё, везде и сразу.
Эту дату можно считать началом ИИ-революции, которую мы сейчас наблюдаем. Нам кажется, что все произошло практически мгновенно — однако девять лет уже пролетело!
Вся фишка была в механизме внимания. С математической точки зрения это матрица весов связности между элементами данных. Для каждого слова, пикселя или другого объекта модель вычисляет, насколько сильно он должен учитывать остальные объекты, и затем строит свое представление на основе этих весов. Именно поэтому трансформер способен выявлять сложные зависимости независимо от расстояния между элементами и даже от типа данных.
Иначе говоря, механизм внимания — это способ не хранить весь мир в памяти, а быстро находить в нем именно то, что нужно сейчас.
Авторы показали, что можно полностью отказаться от рекуррентных сетей (RNN) и использовать только внимание — и модель работает быстрее, лучше и параллелится намного эффективнее.
![[Submitted on 12 Jun 2017 (v1), last revised 2 Aug 2023 (this version, v7)]](https://www.braintools.ru/images/2026/06/12/devyat-let-kak-bitlomany-zapustili-ii-revolyuciyu.png "[Submitted on 12 Jun 2017 (v1), last revised 2 Aug 2023 (this version, v7)]")
Attention Is All You Need, Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin
А дальше вы все сами знаете!
Кстати, если вы думаете, что трансформерами эти нейросети названы в честь Оптимуса Прайма и его друзей, то не факт — подтверждений этому не нашлось.
Подпишитесь на канал Agentic Enterprise — о жизни агентов в кровавом энтерпрайзе
Автор: stas_makarov
