Большие языковые модели как ChatGPT ускоряют выпуск статей, особенно для ученых без родного английского. Но статьи, написанные ИИ, реже проходят рецензирование.
По мере того как учёные всё чаще полагаются на искусственный интеллект при написании текстов, программировании и даже генерации идей, новое исследование изучает, как ИИ меняет академические исследования.
То, что раньше звучало как академические слухи, теперь отражает реальный и измеримый сдвиг в научных публикациях.
Исследователи из Корнеллского университета, США, установили, что большие языковые модели (LLM), такие как ChatGPT, увеличивают выпуск научных статей, особенно у учёных, не являющихся носителями английского языка.
Однако в исследовании предупреждают, что растущий объём статей с участием ИИ делает рецензентам, грантодателям и лицам, принимающим решения, всё труднее отличать значимые научные результаты от низкокачественных работ.
«Это очень распространённая тенденция в разных областях науки: от физики и информатики до биологии и социальных наук», сказал Ян Инь, ответственный автор исследования и доцент кафедры информационных наук Колледжа вычислительной техники и информационных наук имени Энн С. Бауэрс при Корнеллском университете.
«В нашей нынешней экосистеме происходит большой сдвиг, который требует очень серьёзного внимания, особенно со стороны тех, кто решает, какую науку следует поддерживать и финансировать», добавил Инь.
Как учёные изучали появление статей, написанных с помощью ИИ?
Исследование, опубликованное в журнале Science, проанализировало более двух миллионов научных работ, размещённых в период с 2018 по 2024 год на трёх крупных онлайн-серверах препринтов.
Эти платформы размещают ранние версии научных статей до формального рецензирования, позволяя увидеть, как учёные работают в реальном времени.
Чтобы оценить влияние ИИ на научное письмо, исследователи обучили систему искусственного интеллекта выявлять текст, вероятно сгенерированный LLM. Они сравнили статьи, написанные до 2023 года, когда такие инструменты, как ChatGPT, стали широко использоваться, с более поздними работами, в которых ясно прослеживается помощь ИИ.
Используя этот подход, команда выявила исследователей, вероятно применяющих инструменты ИИ, измерила, как изменилось их количество публикаций, и отследила, принимались ли эти работы затем научными журналами.
Помощь ИИ ведёт к всплеску продуктивности
Их анализ показал значительный рост продуктивности благодаря ИИ.
Учёные, которые, судя по всему, использовали инструменты ИИ, публиковали гораздо больше статей, чем те, кто их не использовал.
На одном крупном сервере препринтов, ориентированном на физику и информатику, пользователи ИИ выпускали примерно на треть больше работ. В биологии и социальных науках прирост был ещё выше, более 50 процентов.
Самые большие прибавки наблюдались у исследователей, для которых английский не является родным языком.
В некоторых азиатских учреждениях учёные после внедрения инструментов ИИ для письма публиковали от 40 до почти 90 процентов больше статей, в зависимости от дисциплины.
Инструменты ИИ, по-видимому, также помогают учёным находить более удачные источники. Исследование показало, что поисковые системы на базе ИИ чаще выдают более новые научные статьи и релевантные книги, а не старые, часто цитируемые работы, к которым склонны обращаться традиционные методы поиска.
«Люди, использующие LLM, подключаются к более разнообразным знаниям, что может подталкивать к более креативным идеям», сказал Кэйго Кусумэги, первый автор исследования и аспирант кафедры информационных наук Корнеллского университета.
Опасения по поводу качества статей, написанных ИИ
Но у повышения продуктивности есть обратная сторона. Многие статьи, написанные ИИ, выглядят впечатляюще на первый взгляд, но реже проходят рецензирование.
На всех трёх сайтах препринтов работы, вероятно написанные людьми и получившие высокие баллы по тестам сложности письма, чаще принимались научными журналами.
А высоко оценённые по этим тестам статьи, вероятно написанные LLM, принимались реже, что говорит о том, что, несмотря на убедительный язык, рецензенты считали многие из них малоценными с научной точки зрения.
Авторы исследования считают, что влияние растущей зависимости от ИИ, вероятно, будет расширяться, и что политикам нужно выработать новые правила для регулирования стремительно меняющегося технологического ландшафта.
«Уже сейчас вопрос звучит не так: „Вы использовали ИИ?“ А так: „Как именно вы использовали ИИ и было ли это полезно или нет?“», сказал Инь.