ИИ-доктор не ошибается. Это вы неправильно поняли, когда он посоветовал не дышать пару часов

Люди всё чаще лечатся у чат-бота. Потому что живой врач — роскошь.

В Соединенных Штатах наблюдается рост популярности виртуальных медицинских консультаций: каждый шестой американец обращается к чат-ботам за советом по здоровью не реже одного раза в месяц. На фоне перегруженности медицинских учреждений и высоких затрат на лечение, цифровые консультанты, такие как ChatGPT, выглядят привлекательной альтернативой традиционной медицинской помощи.

Однако ученые из Оксфордского института интернета выражают обеспокоенность. Их масштабное исследование, представленное в работе “Клинические знания в LLM не преобразуются в человеческое взаимодействие”, выявило серьезные риски, связанные с использованием автоматизированных систем для консультаций. Пользователи часто испытывают трудности с формулировкой вопросов и получают противоречивые ответы, в которых полезные сведения смешаны с потенциально опасными рекомендациями.

В рамках исследования 1300 жителей Великобритании участвовали в различных сценариях, разработанных врачами. Участники принимали решения, касающиеся здоровья, с помощью ведущих нейросетей: GPT-4 (ChatGPT), Cohere Command R+ и Llama 3 от Meta. Они также могли использовать интернет-поиск или полагаться на собственные знания.

Результаты оказались неожиданными: несмотря на то, что современные языковые модели демонстрируют отличные результаты на медицинских экзаменах, их применение в реальных условиях не дало значительных преимуществ. Более того, после взаимодействия с цифровыми консультантами некоторые участники стали недооценивать серьезность своего состояния, а другие неверно интерпретировали рекомендации, что приводило к ошибочным решениям.

Аналогичная тенденция наблюдается и среди профессионалов. Исследования показали, что рентгенологи, использующие алгоритмы машинного обучения для анализа снимков грудной клетки, не показывают лучших результатов по сравнению с коллегами, работающими традиционным способом. Врачи, прибегающие к помощи интеллектуальных систем, лишь незначительно превосходят “неоснащенных” коллег в точности постановки диагноза.

Американская медицинская ассоциация еще в 2023 году предостерегла врачей от чрезмерного полагания на автоматические помощники, такие как ChatGPT, при принятии клинических решений. Отдельное беспокойство вызывают вопросы конфиденциальности: современные модели обучаются на огромных объемах данных, которые могут содержать личную информацию о пациентах.

Эксперты из Journal of Medical Internet Research предупреждают, что любой запрос, отправленный виртуальному ассистенту, становится частью его обучающей базы. Когда врач использует нейросеть для составления письма в страховую компанию, личные данные пациента и информация о его заболевании автоматически попадают в цифровое хранилище системы.

Несмотря на очевидные риски, технологические компании продолжают развивать направление компьютеризированной медицины. Apple работает над созданием программного тренера для контроля сна, физической активности и питания. Amazon активно продвигает идею трансформации здравоохранения с помощью передовых технологий, а Microsoft разрабатывает инновационную платформу для сортировки сообщений между пациентами и врачами.

Источник — https://www.securitylab.ru/