Сервис ChatGPT Health с трудом распознаёт, когда пользователям требуется неотложная помощь, говорится в новом исследовании.
По данным OpenAI, каждую неделю более 230 миллионов человек обращаются к ChatGPT за медицинскими советами — от проверки, можно ли есть тот или иной продукт, и рекомендаций по контролю аллергии до поиска средств, чтобы поскорее избавиться от простуды.
РЕКЛАМА
РЕКЛАМА
Однако, как показало новое исследование, опубликованное в журнале Nature (источник на английском языке), специализированная версия ChatGPT Health в ряде серьёзных ситуаций не рекомендовала обращение за неотложной помощью, хотя хорошо справлялась с типичными клиническими примерами.
Авторы выяснили, что, хотя модель в целом правильно распознавала очевидные неотложные состояния, она недооценила более половины случаев, где требовалась экстренная медицинская помощь.
«Мы хотели ответить на очень простой, но принципиальный вопрос: если у человека развивается настоящее неотложное состояние и он обращается за помощью к ChatGPT Health, скажет ли система ему однозначно, что нужно ехать в отделение неотложной помощи?» — рассказал Ашвин Рамасвами, ведущий автор работы из медицинского центра Mount Sinai в Нью-Йорке.
«ChatGPT Health хорошо справлялся с “учебными” неотложными ситуациями, такими как инсульт или тяжёлые аллергические реакции», — добавил он.
Он отметил, что языковой модели было гораздо сложнее в ситуациях, где опасность неочевидна с первого взгляда.
Так, в одном из сценариев, связанных с приступом астмы, система в объяснении распознала ранние признаки дыхательной недостаточности, но при этом всё равно рекомендовала подождать, а не обращаться за неотложной помощью, отметил исследователь.
Исследовательская группа составила 60 структурированных клинических сценариев по 21 медицинской специальности — от лёгких состояний, которые можно лечить дома, до настоящих неотложных ситуаций. Три независимых врача определили правильный уровень срочности для каждого случая, опираясь на рекомендации 56 профессиональных медицинских обществ.
Сервис ChatGPT Health был запущен OpenAI в январе 2026 года. Он позволяет пользователям подключать к системе свои данные о здоровье — такие как медицинские записи и информацию из приложений для контроля самочувствия, например MyFitnessPal, — чтобы получать более персонализированные и контекстуальные ответы.
Ошибочная оценка суицидального риска
В исследовании также оценивали, как модель реагирует на сообщения пользователей о намерении причинить себе вред, и получили схожие результаты.
Считается, что ChatGPT Health запрограммирован таким образом, чтобы при любых упоминаниях самоповреждения или суицидальных мыслей он прямо призывал человека обратиться за помощью и позвонить на линию экстренной психологической помощи.
Во время исследования баннер «Help is available», ведущий на сайт службы предотвращения суицидов и кризисной линии, появлялся непоследовательно.
Авторы отмечают, что защитные механизмы срабатывали надёжнее в случаях, когда пациент не называл конкретный способ самоповреждения, чем тогда, когда такой способ уже был описан.
«Выявленная картина была не просто непоследовательной, но и парадоксальным образом обратной по отношению к клинической тяжести случаев», — говорится в работе.
Насколько безопасно пользоваться ChatGPT Health?
Несмотря на эти выводы, исследователи не призывают полностью отказываться от цифровых медицинских ассистентов на базе ИИ.
«Как студентка-медик, обучающаяся в момент, когда ИИ‑сервисы для здоровья уже используются миллионами людей, я воспринимаю их как технологии, которые мы должны научиться вдумчиво интегрировать в систему помощи, а не как замену клиническому мышлению», — сказала Альвира Тьяги, соавтор исследования.
Авторы работы рекомендуют людям с нарастающими или вызывающими тревогу симптомами — такими как боль в груди, одышка, тяжёлые аллергические реакции или изменения психического состояния — обращаться за медицинской помощью напрямую, а не полагаться исключительно на советы чат-бота.
В исследовании также подчёркивается, что языковые модели ИИ постоянно развиваются и регулярно обновляются, поэтому их эффективность со временем может меняться.
«Начинать медицинское обучение одновременно с инструментами, которые изменяются в режиме реального времени, значит понимать, что сегодняшние результаты не высечены в камне», — отметила Тьяги.
По её словам, столь быстро меняющаяся реальность требует постоянного пересмотра подходов, чтобы улучшения технологий действительно приводили к более безопасному оказанию помощи.