Transformer² от Sakana AI — это новый подход, помогающий языковым моделям обучаться

Японская компания Sakana AI представила новый метод Transformer², который помогает языковым моделям адаптироваться к различным задачам. В отличие от традиционных систем AI, которые обучаются один раз для выполнения разных задач, Transformer² предлагает непрерывное обучение ^[1], что позволяет моделям справляться с неожиданными трудностями.

Система использует двухэтапное обучение с помощью “экспертных векторов”, основанных на методе тонкой настройки сингулярных значений (SVF). Эти векторы позволяют моделям специализироваться на конкретных задачах, таких как математика ^[2] или программирование, без необходимости обновления всех весов сети, что часто приводит к забыванию ранее выученного.

SVF требует меньше параметров по сравнению с альтернативами, такими как LoRA, и помогает модели адаптироваться к новым задачам, сохраняя при этом ранее полученные знания. Обучение с подкреплением ^[3] используется, чтобы улучшить векторы, позволяя модели предлагать решения и корректировать их на основе обратной связи.

Transformer² предлагает три стратегии для применения экспертных знаний: использование подсказок, классификатор для выбора эксперта и адаптация с помощью нескольких примеров. Последний метод позволяет модели комбинировать векторы экспертов для оптимального решения задач.

При тестировании Transformer² показал значительное улучшение в решении задач по сравнению с LoRA, особенно в математике и программировании. Модель также может делиться векторами знаний между различными моделями, что открывает новые возможности для обмена знаниями.

Однако Transformer² имеет ограничения. Он не может добавлять новые навыки, а только улучшает уже существующие. Также остаётся вопрос о масштабируемости метода для очень больших моделей.

Источник ^[4]