Нейросети учат людей, а люди — нейросети: кто у кого списал алгоритмы?

 

Нейробиология все больше сосредотачивается на прогнозировании, а машинное обучение — на причинно-следственном объяснении, при этом каждая область заимствует методы из другой. Я попросил восемь экспертов высказать свое мнение о том, чему мы можем научиться из этого обмена. 

Как и большинство наук, нейронаука исторически стремилась к причинно-следственным объяснениям эмпирических явлений. Машинное обучение, напротив, исторически стремилось к созданию систем, способных к прогнозированию. Однако в последнее время эти различия размываются: нейронаука все больше сосредотачивается на прогнозировании, все чаще используя методы машинного обучения. А машинное обучение все больше сосредотачивается на причинно-следственных объяснениях, все чаще используя методы нейронауки.

Прежде чем обсуждать последствия этой замены, рассмотрим несколько примеров. Brain-Score , проект по оценке моделей на основе их способности прогнозировать нейронные реакции, иллюстрирует эволюцию нейронауки в прогностическую дисциплину. Платформа включает в себя набор количественных показателей, таких как нейронные записи, а также таблицу лидеров моделей. Параллельно с этим, вдохновленная машинным обучением, разрабатываются «базовые модели» для нейронауки , обученные на огромных массивах нейронных данных и протестированные на их прогностическую способность. 

 В области машинного обучения и его превращения в объяснительную дисциплину возникло механистическое интерпретируемое исследование, направленное на выявление «схемных» механизмов внутри систем машинного обучения, обученных прогнозированию. В отличие от более ранних исследований интерпретируемости, которые фокусировались на выявлении взаимосвязей между входными и выходными данными — например, почему система отказала одному человеку в кредите, а другому нет, — механистическое интерпретируемое исследование ищет взаимосвязи между вычислительными элементами внутри системы. Его связь с нейробиологией очевидна, предлагая своего рода коннектомику в искусственных системах. 

 Нейробиологи с энтузиазмом откликнулись на этот призыв, предложив свои инструменты, идеи и объяснительные концепции. Это включает в себя анализ настройки отдельных нейронов и сходства представлений на уровне популяции, а также характеристику нелинейной динамики и абляции цепей, среди прочих подходов. Даже когда исследователи в области машинного обучения не заимствуют инструменты из нейробиологии, они часто заново изобретают аналогичные инструменты. 

Однако я утверждаю, что эти тенденции сами по себе могут не приблизить нас к пониманию нейронных систем; предсказание не может полностью заменить объяснение в нейробиологии без потери важных результатов. А объяснение в машинном обучении неизбежно сталкивается с теми же проблемами, что и объяснение в нейробиологии, а именно с тем, что сложные системы нелегко поддаются инструментам, обычно используемым в нейробиологии. Как ни парадоксально, это было признано исследователями машинного обучения (и некоторыми философами), но до сих пор не проникло в нейробиологический дискурс. 

Напряжение между предсказанием и объяснением — повторяющаяся тема в философии , статистике и социальных науках . Исторически наука стремилась к причинно-механистическим объяснениям природных явлений — например, к объяснению того, почему L-ДОФА облегчает симптомы болезни Паркинсона за счет повышения уровня дофамина. В системной нейробиологии причинно-механистическое объяснение часто понимается с точки зрения механизмов нейронных цепей (что послужило вдохновением для механистической интерпретируемости в машинном обучении): модулей нейронов, которые вычисляют определенные функции посредством возбуждающих и тормозящих взаимодействий. Например, считается, что причинный механизм, лежащий в основе стабильности положения глаз, представляет собой сеть рекуррентно связанных нейронов, реализующих линейный аттрактор. 

 

В нейробиологии, как и в других науках, причинно-следственные объяснения пытаются отбросить «ложные корреляции», которые, тем не менее, могут быть полезны для прогнозирования. Например, L-ДОФА может вызывать побочные эффекты, такие как непроизвольные движения и головные боли, которые коррелируют с её смягчающим действием на симптомы болезни Паркинсона. Алгоритм машинного обучения может предсказать смягчающее действие на основе побочных эффектов, но в целом считается, что побочные эффекты не являются причиной смягчающего действия. Лечение побочных эффектов — например, приём парацетамола от головной боли — без воздействия на гипотетический причинно-следственный механизм, или дофамин, должно оставить симптомы без изменений.

Хотя это, казалось бы, создает серьезный разрыв между прогнозированием и причинно-механистическим объяснением, современные представления в машинном обучении и статистике связывают их: причинно-механистическое объяснение — это инвариантное прогнозирование . Алгоритм прогнозирования может использовать ложные корреляции в наблюдательных данных, но это потерпит неудачу при определенных воздействиях, таких как пример с парацетамолом, приведенный выше. Причинно-следственные механизмы — это прогностические связи, которые сохраняются даже после удаления ложных корреляций. 

 Инвариантное предсказание может быть необходимым условием причинно-следственной связи, но само по себе оно не проливает свет на причинно-следственные механизмы. Для этого требуется измерение и манипулирование компонентными процессами системы, чтобы узнать, какие прогностические связи сохраняются при каких вмешательствах. Подходы, которые фокусируются исключительно на предсказании, такие как Brain-Score и модели нейронных основ, сами по себе не могут заменить объяснение, если предположить, что нейробиологи будут и дальше рассматривать объяснение как эпистемологическую цель.  

Исследователи в области машинного обучения признали важность более интервенционистского подхода к причинно-механистическому объяснению, мотивированного различными соображениями, включая согласование, безопасность и отладку. Наиболее влиятельный подход основан на « гипотезе цепей », согласно которой определенные подсети искусственной сети управляют определенным поведением. Нейробиология, кажется, предлагает идеальный набор инструментов для выявления таких цепей: анализ настройки на уровне отдельных нейронов и популяции, стимуляция мозга и абляция/подавление. Однако ряд пессимистичных результатов указывает на непреодолимые « барьеры сложности» для сокращения цепей. Например, всестороннее понимание цепей требует, в худшем случае, ряда вмешательств (подмножества нейронов, подавляющих активность), который экспоненциально возрастает с числом нейронов. Такая непреодолимая сложность препятствует даже приблизительному пониманию цепей . 

 

Еще одно распространенное предположение в нейробиологии заключается в том, что вмешательства могут быть использованы для установления функциональной локализации: если стимуляция или подавление активности определенных нейронов изменяет поведение системы определенным образом, исследователи обычно приходят к выводу, что эти нейроны функционально ответственны за изменение. Однако данные машинного обучения показывают, что такие процедуры могут приводить к иллюзиям локализации, когда вмешательство ошибочно связывает подсеть с определенной функцией. Также возможно изменение выходных данных системы определенным образом путем модификации синаптических весов, находящихся за пределами подсети, идентифицированной функциональной локализацией. Другой пессимистичный результат показывает, что стандартные методы уменьшения размерности, широко используемые в нейробиологии, могут приводить к иллюзиям интерпретируемости : даже когда низкоразмерные представления обеспечивают адекватное описание поведения модели на обучающих данных, они могут дать сбой при тестировании модели на новом распределении данных. 

 Эти наблюдения должны заставить задуматься тех, кто надеется, что инструменты нейронауки станут мощным инструментом для машинного обучения. Они также должны заставить задуматься тех, кто надеется, что инструменты нейронауки станут мощным инструментом для нейронауки! Действительно, уже почти десять лет известно, что инструменты нейронауки могут оказаться неспособными расшифровать даже относительно сложные вычислительные схемы. Тем не менее, эти инструменты продолжают использоваться в нейронауке, в основном потому, что мы еще не разработали лучшие альтернативы.  

 В заключение, хочу сказать на более позитивной ноте, что, на мой взгляд, взаимодействие между машинным обучением и нейробиологией оказалось очень ценным, хотя бы потому, что оно выявило ограничения наших инструментов и хрупкость наших предположений. Я надеюсь, что продолжение этого диалога станет отправной точкой для новых подходов.

Чтобы понять, как более широкое нейробиологическое сообщество относится к этим вопросам, я попросил восемь нейробиологов высказать свое мнение по нескольким вопросам: Можно ли заменить объяснение предсказанием в нейробиологии? Является ли картирование нейронных цепей адекватной объяснительной основой для глубокого обучения? Является ли оно адекватной объяснительной основой для нейробиологии?