Исследование BBC показывает, что AI-ассистенты испытывают трудности с точностью новостного контента

BBC опубликовала новое исследование, которое показывает, что общедоступные AI-ассистенты испытывают трудности с точным ответом на вопросы экспертов о новостях, опубликованных на их сайте.

Согласно исследованию, опубликованному BBC, исследователи рассмотрели популярные генеративные AI чат-боты, такие как ChatGPT, Perplexity, Copilot и Gemini. Исследование проводилось в течение месяца с предоставлением доступа к веб-сайту BBC, и оно показало, что 51% ответов, даных AI инструментами, имели значительные проблемы.

Журналисты и эксперты оценивали точность, беспристрастность и анализ того, как технологии ИИ представляли предоставленный контент. Другие результаты исследования показали, что 13% цитат, предоставленных моделями ИИ, были либо искажены по сравнению с оригинальным источником, либо выдуманы, и что в 19% результатов, касающихся контента BBC, были фактические ошибки или неточности, связанные с числами, датами или утверждениями.

«Мы в восторге от будущего ИИ и ценности, которую он может принести аудитории», — сказал Пит Арчер, директор программы по генеративному ИИ в BBC, в общественном заявлении. «Но ИИ также представляет значительные вызовы для аудитории. Люди могут думать, что они могут доверять тому, что читают от этих помощников ИИ, но это исследование показывает, что они могут давать ответы на вопросы о ключевых новостных событиях, которые искажены, фактически неверны или вводят в заблуждение.»

Эксперты отметили, что информация, предоставленная ChatGPT и Copilot, была неактуальной. В качестве примера они упомянули, что оба чатбота утверждали, что Риши Сунак и Никола Стерджон все еще исполняют обязанности Премьер-министра и Первого министра соответственно, хотя они оба уже ушли с этих постов.

BBC также жаловалась на другие технологии, предоставляющие недостоверную информацию, например, на суммаризацию новостных оповещений Apple’s Intelligence, которая давала ложные утверждения. Недавно технологический гигант объявил о новом обновлении функции суммаризации новостей AI после того, как журнал подал жалобу.