Метод повышения эффективности искусственных нейросетей путем удаления лишних межнейронных связей, имеющих после обучения близкие к нулю значения весов (так называемый прунинг) неожиданно оказался одним из способов настройки и обучения также для их биологических “собратьев”.
В недавно опубликованной в Nature Communications статье рассказывается о последних результатах исследования группой ученых из австрийского Института Науки и Технологий перестроек межнейронных связей при обучении. Они изучали, как так называемые пирамидальные нейроны в гиппокампе учатся настраивать связи межу собой таким образом, что бы обрабатывать входящую информацию наиболее эффективным образом. Вплоть до последнего времени была популярна теория, что млекопитающие рождаются с минимальным количеством связей между нейронами в головном мозгу, а потом, по мере взросления, постепенно их образовывают в процессе обучения. Но реальность, по крайней мере, для пирамидальных нейронов гиппокампа, оказалась практически прямо противоположной. Но, давайте обо всем по порядку.
Гиппокамп служит для сортировки приходящей из коры головного мозга информации и определения той ее составляющей, которую имеет смысл запомнить. Изначально информация поступает в него, в основном, из так называемой энторинальной коры (Entorhinal cortrex), расположенной в височной доле головного мозга. Указанный участок коры играет ключевую роль в навигации и ориентации в пространстве. Из него данные поступают в зубчатую извилину (Dentate gyrus), в которой происходит предобработка информации, в частности, определяется, насколько поступившая информация является новой по отношению к уже “виденной” мозгом. Наконец, информация доходит до очень важного района гиппокампа, имеющего название CA3.
Это весьма сложно устроенная область с большим количеством пирамидальных нейронов с густыми дендритными ветвями. Данная структура участвует в кодировании новых эпизодических воспоминаний. В ее функции входит так же поддержка ассоциативной памяти. Область CA3 считается ключевым узлом для процесса обработки паттернов, позволяющим находить в них как общие, так и отличительные признаки. Благодаря обширным рекуррентным межнейронным связям внутри области CA3 она может формировать устойчивые ансамбли нейронной активности, которые кодируют конкретные эпизоды из жизни животного и места, которые оно уже посещало. Это позволяет данному району гиппокампа восстанавливать целостные воспоминания даже по частичным и фрагментарным входным данным.
Наконец, после обработки в области CA3, информация поступает в область CA1, ответственную за обучение и память. Она играет решающую роль в формировании итоговых воспоминаний, отправляя уже обработанную и разложенную по полочкам информацию в другие области мозга. Вся эта конструкция в целом называется трисинаптическая сеть (Trisynaptic circuit) гиппокампа.
Как показали исследования авторов статьи, межнейронные связи в рекуррентной сети пирамидных нейронов области CA3 сразу после рождения мышонка выглядят почти полностью хаотичными, с практически случайными межнейронными связями. Но по мере его развития большая часть связей исчезает в результате их целенаправленного подавления, и примерно через полтора – два месяца структура стабилизируется с количеством связей на уровне в несколько раз меньшем того, который наблюдался при рождении. Меняется и характер отклика нейронов, если изначально они, как правило, бурно возбуждались даже от слабого сигнала, поступившего на какой-то из их синапсов, то теперь они реагируют достаточно редко и избирательно, активно откликаясь лишь на определенные сочетания сигналов, поступающих на вход.
Как показали дополнительные исследования, количество связей уменьшается именно из-за подавления “лишних” аксонов, а суммарная длина дендритов по мере взросления мышей даже росла. Другими словами – повысилась избирательность передачи информации между нейронами, усилилась их специализация. В общем и целом это похоже на дополнительную настройку нейросети после ее первичного обучения путем удаления малоинформативных связей, которая нередко применяется для ускорения работы, уменьшения объема памяти и понижения итогового энергопотребления “кремниевых” нейросетей.
Автор: Combinator_30
