«Темпоральные головы» в языковых моделях: новые возможности для AI

Исследование ученых из Korea University, Upstage AI и AIGEN Sciences выявило специализированные компоненты в больших языковых моделях, которые обрабатывают информацию, зависящую от времени. Эти «темпоральные головы» играют решающую роль в том, как системы AI обрабатывают факты, которые меняются со временем.

Исследователи обнаружили, что эти темпоральные головы существуют в нескольких языковых моделях, хотя их точное расположение может различаться в разных системах. Их ответы также различаются в зависимости от типа обрабатываемых знаний и конкретного рассматриваемого года.

Эти специализированные компоненты не просто понимают простые ссылки на даты, такие как «В 2004 году», они также могут обрабатывать более сложные временные фразы, такие как «Год, когда в Афинах проводились Олимпийские игры». Это говорит о том, что модели развили более тонкое понимание времени, которое выходит за рамки базовой обработки чисел.

Когда исследователи отключили их, модели потеряли способность вспоминать ^[1] информацию, связанную со временем, сохранив при этом другие свои возможности. Это избирательное нарушение не повлияло на то, насколько хорошо модели справлялись с независимыми от времени знаниями или отвечали на общие вопросы.

Команда также обнаружила, что они могут изменять временные знания, корректируя их значение. Это может снизить стоимость поддержания систем AI в актуальном состоянии. Вместо того, чтобы переобучать целые модели — дорогостоящий и трудоемкий процесс — разработчики могли бы обновлять чувствительную ко времени информацию, ориентируясь только на эти “темпоральные головы”.

Однако исследователи признают важные ограничения в своей работе. Меньшие модели, такие как Phi-3-mini, с всего 3,8 миллиардами параметров, не так хорошо реагируют на целенаправленную манипуляцию “темпоральные головами” . Эти модели, вероятно, требуют более сложных механизмов, которые еще предстоит открыть и понять.

Источник ^[2]