Новое исследование: LLM используются для обучения и оценки автономных агентов

Новые результаты ^[1]исследований указывают на то, что большие языковые модели (LLM) способны выступать в роли мировых моделей – абстрактных репрезентаций среды, которые могут использоваться для обучения ^[2] и оценки ИИ-агентов. В традиционной робототехнике и обучении с подкреплением ^[3] мировые модели создаются вручную или путем симуляции, чтобы агенты могли мысленно планировать действия. Но LLM, по мнению авторов исследования, могут выполнять аналогичную функцию на основе текстовых описаний, логических взаимосвязей и причинно-следственных закономерностей, которые они уже усвоили в процессе предобучения.

Идея мировых моделей заключается в создании внутреннего представления среды, которое позволяет агенту предсказывать последствия своих действий и строить планы без непосредственного взаимодействия с реальным миром. По мнению исследователей, LLM уже содержат такую структурированную информацию о мире, поскольку они моделируют вероятности последовательностей слов и сценариев, отражающих причинно-следственные связи, выявленные в огромных обучающих данных. Таким образом, язык становится не только коммуникационным инструментом, но и универсальным средством моделирования ситуаций.

В экспериментальных условиях модели использовались для имитации среды, в которой агент получает описания текущего состояния, выбирает действия и получает текстовый отклик о последствиях. Это позволяет LLM выполнять задачи, которые традиционно решаются симуляторами с реальными физическими моделями. Такой подход уже демонстрирует способность к многослойному планированию, последовательному рассуждению и адаптации к динамичному контексту – качествам, важным для автономных агентов в робототехнике, играх и сложных симуляциях.

Авторы отмечают, что LLM как мировая модель может быть особенно полезна там, где создание полноценного симулятора физического мира сложно или дорого. Например, в социальных симуляциях, экономическом моделировании или взаимодействиях с пользователем, где «окружающая среда» описывается через символы, правила и взаимоотношения, а не через физические уравнения.

Несмотря на перспективы, исследователи предупреждают о ограничениях подхода. LLM могут моделировать абстрактные сценарии, но их точность в задачах, требующих физической правдоподобности или точных измерений, остаётся ограниченной. Кроме того, они уязвимы к ошибкам рассуждения и могут производить неверные выводы, если исходный контекст неоднозначен или противоречив.

Делегируйте часть рутинных задач вместе с BotHub! ^[4] Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке ^[5] вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

Источник ^[6]