Может ли ИИ анализировать научную литературу?

Искусственный интеллект делает большие успехи в области синтеза исследований, но эксперты не единодушны в отношении его способности полностью анализировать и резюмировать огромное количество научной литературы, как было отмечено в среду в обзоре литературы, опубликованном на Nature.

Статья, написанная Хелен Пирсон, исследует, какая огромная потенциальная возможность кажется открываться перед этой технологией в упрощении научных обзоров, однако значительные проблемы все еще остаются.

Сэм Родригес, бывший студент нейробиологии и директор стартапа FutureHouse из США, является одним из тех, кто настаивает на использовании ИИ для анализа научной литературы, как сообщалось в журнале Nature.

В сентябре его команда запустила систему на базе ИИ, которая в течение нескольких минут создала резюме по тысячам генов человека, дополнив детали, которые ранее оставались без внимания.

Этот инструмент, который называется PaperQA2, показал перспективу в создании резюме, которые иногда превосходят по точности контент, написанный человеком, согласно ранним тестам, как сообщается в Nature.

Привлекательность искусственного интеллекта для обзора литературы очевидна. Традиционные обзоры исследований, часто длинные и затратные по времени, могут занимать годы на выполнение и рискуют стать устаревшими к моменту их публикации.

Искусственный интеллект, особенно крупные языковые модели (LLMs), такие как ChatGPT, предлагают возможность быстрого сбора данных и суммирования информации из огромных баз данных, что облегчает работу исследователей, как отмечается в Nature.

Несмотря на эти достижения, обзоры на основе искусственного интеллекта все еще далеки от полной замены обзорам, проводимым человеком, которые включают строгие критерии для оценки исследований и синтеза результатов, отмечает Пирсон.
Инструменты, такие как Consensus и Elicit, поисковые системы на базе искусственного интеллекта, позволяют исследователям фильтровать и резюмировать академические статьи, предоставляя первый уровень понимания.

Однако их возможности в проведении тщательных проверок золотого стандарта ограничены. Пол Глазиу, специалист в области систематических обзоров из Университета Бонд, предполагает, что полная автоматизация таких обзоров все еще может занять десятилетия, как сообщает Pearson.

Статья рассказывает о том, как ограничения искусственного интеллекта вызывают опасения по поводу точности и прозрачности. Например, LLM могут генерировать контент, который не имеет контекста или искажает данные, часто используя ненадежные источники без оценки качества информации.

Кроме того, они подвержены «галлюцинациям» ошибок — созданию ссылок или данных, которые не существуют.

Чтобы смягчить это, некоторые системы позволяют пользователям загружать определенные статьи в LLM, который затем может основывать свой анализ только на загруженных источниках, уменьшая неточности, но не полностью их устраняя, говорит Пирсон.

Критики предупреждают, что ИИ может заполнить научный ландшафт низкокачественными или даже вводящими в заблуждение резюме. Джеймс Томас из Университетского колледжа Лондона предупреждает, что плохо выполненные обзоры могут подорвать годы практики, основанной на доказательствах, как отмечено в Nature.

В конечном итоге, несмотря на то что AI предлагает перспективный инструмент для ускорения процесса обзора, эксперты подчеркивают необходимость строгого контроля и прозрачности, если он действительно должен способствовать развитию научного понимания.