Новое открытие в области нейробиологии: природа тоже занимается оптимизацией нейросетей с помощью прунинга

Метод повышения эффективности искусственных нейросетей путем удаления лишних межнейронных связей, имеющих после обучения ^[1] близкие к нулю значения весов (так называемый прунинг ^[2]) неожиданно оказался одним из способов настройки и обучения также для их биологических “собратьев”.

В недавно опубликованной в Nature Communications статье ^[3] рассказывается о последних результатах исследования группой ученых из австрийского Института Науки и Технологий перестроек межнейронных связей при обучении. Они изучали, как так называемые пирамидальные нейроны ^[4] в гиппокампе ^[5] учатся настраивать связи межу собой таким образом, что бы обрабатывать входящую информацию наиболее эффективным образом. Вплоть до последнего времени была популярна теория, что млекопитающие рождаются с минимальным количеством связей между нейронами в головном мозгу ^[6], а потом, по мере взросления, постепенно их образовывают в процессе обучения. Но реальность, по крайней мере, для пирамидальных нейронов гиппокампа ^[7], оказалась практически прямо противоположной. Но, давайте обо всем по порядку.

Гиппокамп служит для сортировки приходящей из коры головного мозга информации и определения той ее составляющей, которую имеет смысл запомнить. Изначально информация поступает в него, в основном, из так называемой энторинальной коры ^[8] (Entorhinal cortrex), расположенной в височной ^[9] доле головного мозга. Указанный участок коры играет ключевую роль в навигации и ориентации в пространстве. Из него данные поступают в зубчатую извилину ^[10] (Dentate gyrus), в которой происходит предобработка информации, в частности, определяется, насколько поступившая информация является новой по отношению к уже “виденной” мозгом. Наконец, информация доходит до очень важного района гиппокампа, имеющего название CA3 ^[11].

Это весьма сложно устроенная область с большим количеством пирамидальных нейронов с густыми дендритными ветвями. Данная структура участвует в кодировании новых эпизодических воспоминаний. В ее функции входит так же поддержка ассоциативной ^[12] памяти ^[13]. Область CA3 считается ключевым узлом для процесса обработки паттернов, позволяющим находить в них как общие, так и отличительные признаки. Благодаря обширным рекуррентным межнейронным связям внутри области CA3 она может формировать устойчивые ансамбли нейронной активности, которые кодируют конкретные эпизоды из жизни животного и места, которые оно уже посещало. Это позволяет данному району гиппокампа восстанавливать целостные воспоминания даже по частичным и фрагментарным входным данным.

Наконец, после обработки в области CA3, информация поступает в область CA1, ответственную за обучение и память. Она играет решающую роль в формировании итоговых воспоминаний, отправляя уже обработанную и разложенную по полочкам информацию в другие области мозга. Вся эта конструкция в целом называется трисинаптическая сеть ^[14] (Trisynaptic circuit) гиппокампа.

Как показали исследования авторов статьи, межнейронные связи в рекуррентной сети пирамидных нейронов области CA3 сразу после рождения мышонка выглядят почти полностью хаотичными, с практически случайными межнейронными связями. Но по мере его развития большая часть связей исчезает в результате их целенаправленного подавления, и примерно через полтора – два месяца структура стабилизируется с количеством связей на уровне в несколько раз меньшем того, который наблюдался при рождении. Меняется и характер отклика нейронов, если изначально они, как правило, бурно возбуждались даже от слабого сигнала, поступившего на какой-то из их синапсов, то теперь они реагируют достаточно редко и избирательно, активно откликаясь лишь на определенные сочетания сигналов, поступающих на вход.

Как показали дополнительные исследования, количество связей уменьшается именно из-за подавления “лишних” аксонов ^[15], а суммарная длина дендритов ^[16] по мере взросления мышей даже росла. Другими словами – повысилась избирательность передачи информации между нейронами, усилилась их специализация. В общем и целом это похоже на дополнительную настройку нейросети после ее первичного обучения путем удаления малоинформативных связей, которая нередко применяется для ускорения работы, уменьшения объема памяти и понижения итогового энергопотребления “кремниевых” нейросетей.