Институт Аллена запускает OLMoTrace: инструмент для отслеживания источников ответов языковых моделей в обучающих данных

Институт Аллена намерен декодировать поведение ^[1] языковой модели с помощью своего нового инструмента OLMoTrace. Институт Аллена по искусственному интеллекту ^[2] (Ai2) запустил OLMoTrace — новую функцию, которая позволяет исследователям отслеживать выходные данные языковой модели вплоть до их обучающих данных. В настоящее время инструмент доступен через Ai2 Playground и работает с несколькими моделями OLMo.

OLMoTrace стремится сделать операции с большими языковыми моделями более прозрачными. Пользователи могут определить, исходит ли ответ модели из запомненных знаний, творческих комбинаций или чистой галлюцинации. Ai2 утверждает, что этот подход может как продвинуть исследования, так и укрепить общественное доверие к генеративному AI, подкрепленное приверженностью команды полностью открытым моделям, наборам данных и исходному коду.

Инструмент ищет длинные уникальные последовательности слов, которые дословно встречаются в обучающих данных. Эти разделы выделяются разными цветами и ссылаются на соответствующие фрагменты документов на боковой панели. Пользователи могут щелкнуть любой текстовый отрывок или документ, чтобы сфокусировать просмотр, а цветовые вариации указывают на релевантность каждого совпадения.

Процесс выбора состоит из нескольких этапов. Во-первых, OLMoTrace учитывает только те последовательности слов, которые полностью появляются в обучающих данных без предложений или переносов строк. Затем он оценивает редкость токенов, чтобы выделить особенно конкретные отрывки. Для каждой последовательности слов отображается до десяти документов, а перекрывающиеся последовательности объединяются для поддержания чистоты отображения.

Примеры команды демонстрируют несколько практических приложений: в одном случае OLMoTrace показал, как неверная информация о пределе знаний модели исходила из примеров в данных тонкой настройки. В другом случае он показал, что математическое решение задачи было запомнено. Пользователи также могут проверить, исходят ли ответы из творческих комбинаций или общих знаний. Инструмент черпает данные обучения ^[3], содержащие приблизительно 4,6 триллиона токенов в пяти наборах данных.

Инструмент можно опробовать на игровой площадке Ai2 ^[4].

Источник ^[5]