Механизмы внимания в современных LLM
Прежде чем разбирать оптимизации, зафиксируем базовые понятия:Токен — минимальный фрагмент последовательности, с которым работает модель. Из hidden state каждого токена attention строит query, key и value. Query отвечает на вопрос «что я ищу», Key — “что я содержу”,
