Представлена ИИ-модель, вдохновлённая нейронными колебаниями в мозге человека

Исследователи из Лаборатории компьютерных наук и искусственного интеллекта ^[1] Массачусетского технологического института (CSAIL) разработали ^[2] новую модель искусственного интеллекта, вдохновлённую нейронными колебаниями в мозге ^[3]. Цель работы — усовершенствовать процессы обработки длинных последовательностей данных алгоритмами машинного обучения ^[4].

ИИ часто испытывает трудности с анализом сложной информации, которая получает апдейты в течение длительных периодов времени, например климатических изменений или финансовых данных. Один новый тип модели ИИ — «модель пространства состояний» (state-space model) — был разработан специально для более эффективного понимания этих последовательных закономерностей. 

Существующие модели пространства состояний часто сталкиваются с трудностями — они могут быть нестабильными или требовать значительного количества вычислительных ресурсов. Чтобы решить эти проблемы, исследователи CSAIL Константин Раш и Даниэла Рус разработали «линейные колебательные модели пространства состояний» (LinOSS), которые используют принципы вынужденных гармонических осцилляторов — концепцию, глубоко укоренившуюся в физике и наблюдаемую в биологических нейронных сетях. Этот подход обеспечивает стабильные и вычислительно эффективные прогнозы без чрезмерно ограничивающих условий для параметров модели.

«Наша цель состояла в том, чтобы зафиксировать стабильность и эффективность, наблюдаемые в биологических нейронных системах, и перевести эти принципы в структуру машинного обучения. С LinOSS мы можем изучать дальние взаимодействия, даже в последовательностях, охватывающих сотни тысяч точек данных или больше», — объясняет Раш. 

Более того, исследователи доказали универсальную аппроксимирующую способность модели, то есть она может аппроксимировать любую непрерывную причинно-следственную функцию, связывающую входные и выходные последовательности.

Эмпирическое тестирование показало, что LinOSS последовательно превосходит существующие современные модели в различных сложных задачах классификации и прогнозирования последовательностей. В частности, она обошла широко используемую модель Mamba почти в два раза в задачах, связанных с последовательностями данных чрезвычайной длины.

Исследователи ожидают, что LinOSS может существенно повлиять на любые области, которые выиграют от точного и эффективного долгосрочного прогнозирования и классификации, включая аналитику здравоохранения, климатологию, автономное вождение и финансовое прогнозирование.

«Эта работа является примером того, как математическая строгость может привести к прорывам в производительности и широкому применению. С LinOSS мы предоставляем научному сообществу мощный инструмент для понимания и прогнозирования сложных систем, сокращая разрыв между биологическим вдохновением и вычислительными инновациями», — говорит Рас.

Исследователи планируют применить свою модель к ещё более широкому диапазону различных модальностей данных. Более того, они предполагают, что LinOSS может предоставить ценные идеи в области нейронауки, потенциально углубив понимание мозга.

Ранее, чтобы повысить надёжность моделей обучения с подкреплением ^[5] для сложных задач с вариативностью, исследователи Массачусетского технологического института представили ^[6] более эффективный алгоритм. Он стратегически выбирает лучшие задачи для обучения агента ИИ, чтобы он мог эффективно выполнять все таски из одного набора.