Исследование показывает, что модели искусственного интеллекта искажают новостные события почти в половине случаев

Исследование показало, что модели искусственного интеллекта, такие как ChatGPT, регулярно искажают новостные события, давая неверные ответы на вопросы почти в половине случаев.

В исследовании, опубликованном в среду Европейским вещательным союзом (EBU) и BBC, оценивалась точность более 2700 ответов, предоставленных OpenAI ChatGPT, Google Gemini, Microsoft Copilot и Perplexity.

В рамках исследования 22 государственных средства массовой информации из 18 стран и 14 языков в период с конца мая по начало июня задали помощникам на основе искусственного интеллекта одинаковый набор вопросов.

В целом, согласно исследованию, в 45 процентах ответов упоминалась как минимум одна «значительная» проблема.

Наиболее распространенной проблемой были источники: в 31 проценте ответов, помимо прочих проблем, содержалась информация, не подтвержденная цитируемым источником, или указание неверного или непроверяемого источника.

Следующей по значимости причиной неверных ответов стала неточность — 20 процентов ответов, за ней следует отсутствие соответствующего контекста — 14 процентов.

По данным исследования, наиболее существенные проблемы были у Gemini, в основном связанные с поиском поставщиков: они затронули 76 процентов ответов.

Согласно исследованию, все изученные модели ИИ допускали элементарные фактические ошибки.

В число упомянутых ошибок входит утверждение Perplexity о том, что суррогатное материнство в Чехии является незаконным, и указание ChatGPT Папы Франциска действующим понтификом спустя несколько месяцев после его смерти.

OpenAI, Google, Microsoft и Perplexity пока не отреагировали на просьбы прокомментировать ситуацию.

В предисловии к отчету Жан Филип Де Тендер, заместитель генерального директора EBU, и Пит Арчер, руководитель отдела искусственного интеллекта в BBC, призвали технологические компании прилагать больше усилий для сокращения количества ошибок в своих продуктах.

«Они не считали этот вопрос приоритетным и должны сделать это сейчас», — заявили Де Тендер и Арчер.

«Им также необходимо быть прозрачными, регулярно публикуя свои результаты по языкам и рынкам».