Исследователи выявили: модели ИИ демонстрируют расовые и социально-экономические предубеждения в медицинских рекомендациях

Новое исследование, опубликованное в Nature Medicine в этот понедельник, показывает, что модели ИИ демонстрируют расовые и социально-экономические предрассудки в медицинских рекомендациях, когда предоставляются различные социодемографические данные о пациенте.

Исследование под названием «Социодемографические предубеждения в медицинском принятии решений крупными языковыми моделями» было проведено многими экспертами из различных учреждений под руководством Департамента генетики и геномных наук при Иканской медицинской школе при Горной Синай в Нью-Йорке.

Исследователи рассмотрели 9 Больших Языковых Моделей (БЯМ) — проприетарных и открытого источника — и проанализировали более 1,7 миллиона результатов от 1000 случаев в отделении скорой помощи — половина из них реальные, а другая половина вымышленные — включая 32 вариации.

Аннотация исследования гласит:

БЯМ проявляют перспективы в здравоохранении, но остаются опасения, что они могут давать медицински необоснованные рекомендации по клиническому уходу, отражающие влияние социодемографических характеристик пациентов.

В вариациях исследователи учли социодемографические и расовые идентификаторы, обнаружив, что результаты сильно зависят от них. Например, случаи с меткой подгруппы LGBTQIA+ или идентифицированные как черные пациенты были предложены для более глубокого анализа психического здоровья, получали более интенсивное лечение и им чаще рекомендовали посещать отделение неотложной помощи.

Исследователи написали:

Случаи, помеченные как принадлежащие к высокому доходному классу, получали значительно больше рекомендаций (P < 0.001) для проведения передовых обследований, таких как компьютерная томография и магнитно-резонансная томография, в то время как случаи с низким и средним уровнем дохода часто ограничивались базовыми или вообще без дальнейших тестов.

Исследователи утверждают, что это поведение не поддерживается клиническими руководствами или логикой, и предупреждают, что такой предвзятый подход может привести к неравенству в сфере здравоохранения. Эксперты отмечают, что необходимо больше стратегий для устранения этого предвзятия, и что ЛЛМ должны сфокусироваться на пациентах и сохранять справедливость.

Несколько учреждений и организаций выразили опасения по поводу использования ИИ и защиты данных в медицинской области в последние несколько дней. Несколько дней назад openSNP объявил о своем закрытии из-за проблем с конфиденциальностью данных, а еще одно исследование обратило внимание на недостаток образования в области ИИ среди медицинских специалистов.