ИИ‑боты делают ошибки в диагностике почти на 80 %, как выяснилось в исследовании
Кратко о результате исследования
Недавнее исследование, опубликованное в *Jama Network Open* и цитируемое в *Financial Times*, показало, что популярные чат‑боты не способны точно ставить медицинские диагнозы, если им предоставляется ограниченный набор данных. В более чем 80 % случаев они выдавали ошибочный диагноз, а только при полном описании симптомов точность повышалась до 90 %.
Как проводилось исследование
| Шаг | Что делали |
|---|---|
| Выбор кейсов | 29 клинических сценариев из справочной литературы. |
| Передача данных | Информация о пациенте передавалась чат‑ботам постепенно: история болезни → результаты осмотров → лабораторные анализы. |
| Вопросы к ИИ | Спрашивали о диагностике; измеряли точность и полноту ответов. |
Участники эксперимента
* 20 популярных моделей от OpenAI, Anthropic, Google, xAI, DeepSeek.
* При неполных данных более 80 % из них ставили неверный диагноз.
* С ростом объёма информации точность повышалась: в лучших случаях – >90 %, в среднем – ошибки менее 40 %.
Реакция разработчиков
| Компания | Комментарий |
|---|---|
| Google & Anthropic | При попытке получить медицинские рекомендации чат‑боты настоятельно советуют обратиться к специалисту. |
| OpenAI | Указывает в условиях использования, что их сервисы не предназначены для получения лицензированных медицинских рекомендаций. |
| xAI & DeepSeek | Не предоставили комментариев. |
Некоторые из них разрабатывают специализированные модели: Google создала AMIE, которая демонстрирует хорошие результаты, но её выводы всё равно требуют подтверждения живого врача, особенно учитывая важность визуальной оценки.
Итог
Чат‑боты могут быть полезны как вспомогательный инструмент, однако при ограниченной информации они часто ошибаются. Их использование в качестве замены квалифицированного медицинского специалиста пока недопустимо, хотя такие модели могут пригодиться в регионах с нехваткой доступа к традиционной медицине.
Комментарии (0)
Оставьте отзыв — пожалуйста, будьте вежливы и по теме.
Войти, чтобы комментировать