Чат-бот на базе ИИ превзошел врачей в тестировании, но это не улучшило диагностическую эффективность

Клиническое испытание показало, что, хотя AI-чатбот превзошел врачей в точности диагностики, его использование вместе с традиционными ресурсами не улучшило результаты. Это подчеркивает необходимость более эффективного внедрения искусственного интеллекта в здравоохранение.

The Times сообщил в воскресенье о недавнем клиническом исследовании, изучающем влияние коммерчески доступной большой языковой модели (LLM) чат-бота на диагностическое мышление врачей.

Исследование показало, что, хотя инструмент искусственного интеллекта превзошел врачей, он не улучшил диагностическую эффективность при использовании вместе с традиционными ресурсами.

Это открытие подчеркивает необходимость лучшей интеграции искусственного интеллекта в клиническую практику, особенно учитывая, что многие здравоохранительные системы сейчас предлагают чат-боты на базе AI без обучения для врачей.

Рандомизированное исследование показало, что, хотя чат-бот превзошел обе группы врачей — тех, кто имел доступ к инструменту, и тех, у кого его не было, — врачи, использующие чат-бот, показали результаты только немного лучше, чем те, кто им не пользовался.

Исследование не показало значительного преимущества во времени при использовании LLM, что указывает на то, что простое присутствие инструмента искусственного интеллекта в клинической среде может не улучшить общий диагностический процесс. Неожиданным результатом стало превосходное представление LLM, с средней диагностической точностью 90% по сравнению с 74-76% у врачей.

Исследователи утверждают, что это подчеркивает важность тщательно продуманных подсказок при взаимодействии с LLM, при этом эксперты предполагают, что обучение врачей лучшим методам формулирования подсказок может улучшить их использование этого инструмента.

Статья утверждает, что медицинские организации могли бы инвестировать в заранее определенные подсказки, чтобы помочь преодолеть разрыв между ИИ-инструментами и опытом врачей.

Хотя AI обладает потенциалом быть ценным «помощником врача», предлагая вторые мнения и помогая в сложном принятии решений, авторы исследования предостерегают от использования AI для автономного диагноза.

Исследование было сосредоточено на клинических виньетках, отобранных человеческими клиницистами, но реальные диагнозы включают более сложные факторы, включая взаимодействие с пациентом и сбор данных.

Искусственный интеллект следует рассматривать как помощь врачам, а не как замену, особенно учитывая, что отсутствие у чатбота понимания контекста и эмоционального интеллекта ограничивает его применимость в различных клинических условиях.

В исследовании также был представлен новый структурированный инструмент для оценки клинического мышления, обеспечивающий более тонкую оценку диагностических навыков. Инструмент показал значительное согласие между оценщиками, что способствует дальнейшему развитию оценки диагностического мышления в исследованиях по ИИ.

Несмотря на многообещающие результаты ранних исследований способности ИИ собирать и обобщать данные пациентов, эксперты утверждают, что необходимы дополнительные исследования, прежде чем ИИ сможет полностью интегрироваться в процессы принятия клинических решений.

Этот вопрос важно решить, поскольку ИИ продолжает укреплять свои позиции в сфере здравоохранения. Например, NHS недавно объявила о своем использовании ИИ для ранней диагностики рака и обнаружения переломов. Кроме того, Всемирный экономический форум недавно предложил, что ИИ может помочь решить глобальный кризис в области психического здоровья.

В конечном итоге, для улучшения роли искусственного интеллекта в здравоохранении потребуется более осознанный дизайн взаимодействия человека и компьютера, а также понимание разнообразных проблем, с которыми сталкиваются в клинической среде.