ИИ‑боты делают ошибки в диагностике почти на 80 %, как выяснилось в исследовании

ИИ‑боты делают ошибки в диагностике почти на 80 %, как выяснилось в исследовании

2 hardware

Кратко о результате исследования

Недавнее исследование, опубликованное в *Jama Network Open* и цитируемое в *Financial Times*, показало, что популярные чат‑боты не способны точно ставить медицинские диагнозы, если им предоставляется ограниченный набор данных. В более чем 80 % случаев они выдавали ошибочный диагноз, а только при полном описании симптомов точность повышалась до 90 %.


Как проводилось исследование

ШагЧто делали
Выбор кейсов29 клинических сценариев из справочной литературы.
Передача данныхИнформация о пациенте передавалась чат‑ботам постепенно: история болезни → результаты осмотров → лабораторные анализы.
Вопросы к ИИСпрашивали о диагностике; измеряли точность и полноту ответов.

Участники эксперимента

* 20 популярных моделей от OpenAI, Anthropic, Google, xAI, DeepSeek.
* При неполных данных более 80 % из них ставили неверный диагноз.
* С ростом объёма информации точность повышалась: в лучших случаях – >90 %, в среднем – ошибки менее 40 %.


Реакция разработчиков

КомпанияКомментарий
Google & AnthropicПри попытке получить медицинские рекомендации чат‑боты настоятельно советуют обратиться к специалисту.
OpenAIУказывает в условиях использования, что их сервисы не предназначены для получения лицензированных медицинских рекомендаций.
xAI & DeepSeekНе предоставили комментариев.

Некоторые из них разрабатывают специализированные модели: Google создала AMIE, которая демонстрирует хорошие результаты, но её выводы всё равно требуют подтверждения живого врача, особенно учитывая важность визуальной оценки.


Итог

Чат‑боты могут быть полезны как вспомогательный инструмент, однако при ограниченной информации они часто ошибаются. Их использование в качестве замены квалифицированного медицинского специалиста пока недопустимо, хотя такие модели могут пригодиться в регионах с нехваткой доступа к традиционной медицине.

Комментарии (0)

Оставьте отзыв — пожалуйста, будьте вежливы и по теме.

Пока нет комментариев. Оставьте комментарий — поделитесь своим мнением!

Чтобы оставить комментарий, войдите в аккаунт.

Войти, чтобы комментировать