- BrainTools - https://www.braintools.ru -
Попалась на глаза статья «2,1 миллиард белых цапель» о разоблачении итогов исследования. Сразу спойлер: ИИ в деле не замешан, и все ошибки [1] исследования принадлежат человеку. Если коротко, то в августе 2026 года журнал Science опубликовал статью о том, что политика Китая по расширению солнечной энергетики снижает разнообразие птиц. Внимательные читатели заметили, что цифра 2,1 миллиард цапель превышает мировую популяцию этих птиц раз так в тысячу. Начали перепроверять данные — выяснилось, что в 2015 году кто-то в провинции Гуандун внёс запись: «белая цапля — 2 147 483 647 особей». А это число само по себе в точности равно максимальному значению 32-битного целого числа со знаком в информатике (2³¹ − 1). То есть, скорее всего, это результат сбоя при вводе данных или ошибки в системе, а не реальный подсчёт птиц. Ошибки заметили уже после публикации: внимательные читатели перепроверили цифры и методику исследования и разнесли результаты в пух и прах.
Вот тут возникла шальная мысль: смог бы ИИ заметить все эти несоответствия до публикации статьи и спасти горе-исследователей и научный [2] журнал от скандала? Кажется, что нет. Возможно, ИИ-проверяльщик зацепился бы за цифру в 2,1 млрд белых цапель и указал на то, что это во много раз больше всей мировой популяции. Но и тут многое зависело бы от постановки задачи.
Этот пример с цаплей прямо задел, создал целое облако идей и вопросов. Захотелось порассуждать вслух.
Фактически столь грубые ошибки говорят о том, что в процессе исследования не сработали контрольные точки. Данные собрали, проанализировали, написали статью, отправили в журнал. На каком этапе должна была случиться проверка, что исходные числа вообще имеют смысл? И вот тут возникла шальная мысль, что ИИ может вполне легитимно помогать не только с поиском литературы, переводом и составлением плана работы. Его можно использовать как инструмент контроля на определённых этапах исследования. Он может проверить, сходятся ли цифры, существуют ли ссылки, воспроизводится ли код. Но он не может решить, пригодны ли данные для метода, правильно ли выбраны переменные и что вообще считать «нормальным» в данной предметной области.
А ещё этот пример стал наглядным пособием того, что ИИ не заменит исследователя. Это хороший инструмент, который нужно правильно применять.
В силу того, что мы плотно работаем с академическим сообществом, вопросы полезности ИИ обсуждаем достаточно часто. А рядом всегда идёт вопрос о легитимности и этике его использования в образовании и науке. Где заканчивается помощь автору и начинается подмена его работы? Можно ли поручить нейросети проверку научного текста? И как пользоваться такими инструментами, чтобы в итоге получать более качественные исследования, а не просто более гладкие тексты?
От цапель — к контрольным точкам
Сначала снимем одну частую путаницу. Научная статья — это не «красивое оформление результатов в конце проведённого исследования». Это сам результат, доведённый до состояния, которое готов принять независимый рецензент. Аксиома.
И вот здесь, кажется, есть интересная задача для ИИ. Если, конечно, правильно организовать процесс и встроить его в работу в качестве дополнительного инструмента проверки.
Что-то мы уже сделали в своих инструментах для исследователей и авторов, а что-то только планируем сделать и вот тут можно пофантазировать о полезностях, которые можно добавить. Итак, у нас есть два инструмента, которые решают разные задачи на пути от идеи до готовой статьи.
Думейт: проверить и разобрать
Думейт [3] — система обнаружения заимствований и детекции ИИ-текста. Помимо результатов проверки, в ней есть развернутый отчёт по библиографии и ИИ-помощник, который помогает разобраться в найденных совпадениях, маркерах ИИ-текста и других выявленных ошибках.
При этом помощник — не просто инструмент для краткого пересказа отчёта. С ним можно работать по готовым пресетам, чтобы быстро начать разбор типовых ситуаций, или формулировать собственные запросы, а можно перейти в режим «агента» и поручить ему что-то поправить в самом отчете.
Мы недавно как раз проводили практический вебинар и разбирали разные кейсы работы с помощником от независимой верификации источников в списке литературы, обработки технических совпадений до разбора причин выделения конкретного фрагмента текста, как сгенерённого – все это можно делать «его руками» и это здорово помогает автору экономить время.
С появлением ИИ-помощника отчёт перестал быть просто набором индикаторов, которые автор должен самостоятельно расшифровать. Он фактически превратился в набор рекомендаций для дальнейшей работы.
Дутрейс [4] — система для подготовки академического или научного текста, в которой автор может вести всю работу с научным документом, LaTeX и ИИ-ассистентом в едином пространстве. Здесь можно редактировать текст с помощью команд на естественном языке, анализировать отдельные фрагменты и получать помощь с формулировками для придания тексту академичности, можно подбирать и анализировать актуальность литературы и т.п.
Причем Дутрейс сохраняет историю взаимодействия с ИИ, научный руководитель при необходимости может увидеть не только итоговый текст, но и то, как он создавался: какие задачи автор ставил перед ассистентом, какие изменения вносил и как дорабатывал результат. Для нас при проектировании продукта это было принципиально. В сфере науки и образования применение ИИ должно оставаться прозрачным. Автор может делегировать нейросети часть рутинных операций, но должен понимать, что именно получил и отвечать за содержание своей работы.
Систему Дутрейс используют в некоторых вузах, где студенты проходят путь от выбора темы и обзора литературы до экспериментов, подготовки текста, рецензирования и подачи статьи в журнал. В такой модели обучения [5] научная статья становится результатом последовательной работы над проектом, где студент учится искать и анализировать публикации, формулировать задачу, выбирать метод, интерпретировать результаты и представлять выводы. Дутрейс здесь становится рабочей средой, в которой можно применять ИИ на разных этапах этого процесса, не выпадая из самого исследования.
Сохранение истории работы с ИИ в этом смысле преподавателю полезно не только для контроля. Это позволяет понять, где студенту потребовалась помощь, как он оценил предложенные изменения, что исправил и какие решения принял самостоятельно. В центре внимания [6] оказывается формирование исследовательских компетенций.
Мы делали систему по принципу «не можешь запретить, возглавь». Здесь можно использовать ИИ и, главное, можно научиться использовать его правильно, осознанно, ответственно. Как бы громко сейчас не звучали эти слова. Таким образом, Дутрейс может быть одним из инструментов быстрого внедрения ИИ в образовательный процесс.
Получается, что Дутрейс помогает автору работать над текстом, а Думейт — проверять его по нескольким направлениям. Если посмотреть на процесс целиком, становится понятно, что можно добавить тех самых контрольных точек в помощь автору.
Вы просто не умеете их готовить или где ИИ действительно полезен
Здесь начинается самое интересное. Например, в системе Дутрейс пользователь работает с ИИ по запросу: открыли чат, задали вопрос, получили ответ. Но научная работа — процесс последовательный. У каждого этапа свои задачи и свои критерии качества. Кажется, что можно заложить готовые сценарии проверки, которые будут, во-первых, автору напоминать о необходимости провести проверку, а во-вторых, и тут экономить время на написание таких промтов. Да, идея в создании правильного облака пресетов и подсказок о его существовании.
Например:
Проверка библиографии. Существуют ли все источники? Совпадают ли авторы, названия и годы публикации? Действительно ли источник подтверждает тезис, рядом с которым стоит ссылка?
Арифметический контроль. Сходятся ли числа в таблицах и тексте? Соответствуют ли проценты абсолютным значениям? Нет ли аномалий, которые могут указывать на ошибку ввода или обработки данных? Возможно, именно такой сценарий помог бы вовремя заметить наших 21 миллиард цапель.
Логика [7] исследования. Соответствуют ли выводы поставленным задачам? Все ли ключевые утверждения подкреплены аргументами? Нет ли скачков в рассуждении или противоречий между разделами?
Рецензент-скептик. Попробуй найти альтернативные объяснения полученных результатов. Какие допущения автор принимает без достаточных оснований? Какие вопросы может задать критически настроенный рецензент?
Воспроизводимость. Можно ли повторить описанный эксперимент по представленным данным, коду и инструкции? Какие параметры не указаны? Какие шаги требуют уточнения?
Причём пресеты можно сделать настраиваемыми. Исследователь выбирает предметную область, тип работы, методологию и требования конкретного журнала, а затем собирает собственный набор проверок. Университет или научная лаборатория могли бы публиковать свои наборы сценариев для студентов тем самым приучая их к проверке своей работы.
Конечно, ИИ-ассистент и сейчас все это сделает, но основная идея в том, что пресеты напомнят о необходимости такого действия и сэкономят время автору. Сейчас выглядит, как вполне реализуемая и не суперсложная задача.
У этого подхода видится и следующий уровень развития, а именно адаптация работы ИИ-ассистента под разные области и типы данных. Например, для подготовки обзора литературы можно настроить проверку существования источников и соответствия ссылок используемым цитатам. Для экспериментального исследования можно ввести проверку данных в таблицах и воспроизводимости указанных вычислений. Для математической статьи можно проверять согласованность формул. Понятно, что реальные примеры могут быть много сложнее приводимых здесь. Но идея в том, что исследователь или преподаватель могли бы собирать собственные наборы таких проверок и использовать или распространять их для определенных дисциплин или методик.
В разработке ИИ-систем такой процесс описывается термином harness engineering. Звучит сложно, но по сути это просто проектирование или описание той среды, в которой работает нейросеть. Harness может описывать какие инструменты она использует, в каком порядке она действует, есть ли ограничения и где проходят границы. Собственно, на этом держится успех и надежность работы модели, а не на её «умности».
Если возвращаться к нашей задаче, то можно пойти дальше в этих фантазиях построения специализированных сценариев работы под разные дисциплины. Система могла бы учитывать тип исследования и методологию, подключать профильные базы данных и вычислительные инструменты, применять правила конкретной лаборатории, вести журнал проверок и т.п. Для Дутрейс это направление интересно ещё и с образовательной стороны. Преподаватель задаёт сценарии под свой курс, лаборатория подгоняет их под свои исследовательские задачи, а студент по ходу дела осваивает не только то, как пишется статья, но и учится работать с «контрольными точками», учится проверять свою работу.
Кажется, получается интересный трек развития специализированного продукта для академической среды.
Ответственность автоматизировать не получится
Одним из главных вопросов в использовании ИИ в науке и образовании в том, какие решения мы готовы делегировать, а какие должны оставаться на человеке.
История с 21 миллиардом цапель — хороший повод задуматься не только о качестве данных, но и об устройстве самого исследовательского процесса. Ошибка не обязательно становится катастрофой в момент своего появления. Критическим моментом она становится тогда, когда проходит все этапы работы и превращается в опубликованный вывод, которому начинают доверять другие.
ИИ может помочь заметить такую ошибку раньше, а для этого нужны понятные контрольные точки и с этим уже интересно работать. А вот делегировать ответственность по-прежнему не получится.
Автор: addomate
Источник [8]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/38145
URLs in this post:
[1] ошибки: http://www.braintools.ru/article/4192
[2] научный: http://www.braintools.ru/article/7634
[3] Думейт: https://domate.ru/
[4] Дутрейс: https://domate.ru/dotrace
[5] обучения: http://www.braintools.ru/article/5125
[6] внимания: http://www.braintools.ru/article/7595
[7] Логика: http://www.braintools.ru/article/7640
[8] Источник: https://habr.com/ru/companies/domate/articles/1104700/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1104700
Нажмите здесь для печати.