MIT сообщает, что в громком исследовании производительности ИИ использовались данные, которым нельзя доверять

Недавняя научная статья об искусственном интеллекте ^[1], в которой говорится о значительном повышении производительности, подверглась критике из-за сомнительных данных и непроверенных утверждений. Это побудило Массачусетский технологический институт публично дистанцироваться от исследования.

Статья под названием «Искусственный интеллект, научные открытия и инновации в продуктах» ^[2], опубликованная в ноябре 2024 года на сайте arXiv, была отправлена в «Ежеквартальный журнал экономики». Её автор, Эйдан Тонер-Роджерс, в то время был аспирантом экономического факультета Массачусетского технологического института.

В исследовании утверждалось, что инструмент ИИ, используемый в американской компании, в которой работают более 1000 исследователей, привёл к ощутимым результатам. Согласно статье, команды, использующие ИИ, на 44% чаще создавали новые материалы, на 39% чаще подавали заявки на патенты и на 17% чаще внедряли инновации по сравнению с командами, работающими без ИИ. Результаты получили широкое освещение в СМИ, в том числе в Nature ^[3] и The Decoder ^[4].

Но теперь Массачусетский технологический институт ставит эти результаты под сомнение.

16 мая 2025 года Массачусетский технологический институт опубликовал публичное заявление ^[5] после конфиденциальной внутренней проверки, инициированной жалобами на исследование. Комитет по дисциплине института заявил, что «не уверен в происхождении, надёжности или достоверности данных» и «не уверен в правдивости исследования, изложенного в статье». Тонер-Роджерс больше не работает в Массачусетском технологическом институте.

Также добавили о том, что пришлось вмешаться, потому что статья уже влияла на общественные дебаты о роли ИИ в науке ^[6], несмотря на то, что она никогда не проходила экспертную оценку. 

«Целостность исследований в Массачусетском технологическом институте имеет первостепенное значение — она лежит в основе того, что мы делаем, и занимает центральное место в миссии института», — написали в институте.

Массачусетский технологический институт официально попросил Тонер-Роджерс отозвать статью с arXiv. «Мы направили автору запрос на отзыв статьи, но на сегодняшний день автор этого не сделал», — говорится в заявлении. Поскольку arXiv позволяет авторам отзывать только свои собственные работы, Массачусетский технологический институт направил в arXiv собственный запрос с просьбой как можно скорее пометить статью как отозванную. Редакторы Quarterly Journal of Economics также были уведомлены.

Споры указывают на более серьёзные проблемы в научных исследованиях, где коммерческие интересы, разрастающиеся корпоративные исследовательские группы и растущее давление с целью быстрой публикации и привлечения внимания ^[7] в социальных сетях и прессе для получения более высокооплачиваемой работы могут подрывать устоявшиеся стандарты рецензирования и проверки.

Источник ^[8]