Врачи с позором проиграли GPT-5 в постановке диагнозов. Но у победы искусственного интеллекта есть свой подвох
Диагностическая система Microsoft MAI-DxO заметно обошла врачей общей практики на сложных медицинских случаях, но пока только в контролируемой текстовой симуляции. На 304 историях пациентов система правильно определила заболевание в 83,2% случаев, тогда как врачи с доступом к справочникам и интернету справились с 36,1%. Результаты авторы изложили в исследовании, опубликованном в Science.
Проверку специально устроили ближе к реальной диагностике, чем привычные тесты для медицинского искусственного интеллекта (ИИ). В начале врач или программа получали лишь краткое описание состояния пациента, а остальную информацию приходилось добывать постепенно: задавать вопросы, запрашивать результаты анализов и решать, какие обследования нужны дальше. За каждый тест начислялась условная стоимость, поэтому авторы оценивали не только правильность диагноза, но и путь к нему.
MAI-DxO работает поверх большой языковой модели и распределяет задачу между несколькими виртуальными врачами. Одни предлагают возможные диагнозы, другие ищут слабые места в этих версиях, выбирают следующий вопрос или обследование и пересматривают выводы после новых данных. В основных тестах исследователи использовали GPT-5.
Сама GPT-5 без этой схемы уже показала высокую точность и правильно решила 78,9% сложных случаев. MAI-DxO подняла результат примерно на четыре процентных пункта, до 83,2%. Поэтому большой разрыв с врачами нельзя объяснить только работой виртуального консилиума: значительную часть преимущества дала сама языковая модель.
Авторы отдельно повторили проверку на 325 историях пациентов, поступивших через отделения неотложной помощи. Здесь MAI-DxO поставила правильный диагноз в 80,3% случаев, врачи справились с 46,8%. На первом наборе медики без справочных материалов показали ещё более низкий результат, 22,3%.
С расходами картина оказалась сложнее. Без ограничений MAI-DxO назначала обследования примерно на $5431 за случай, а врачи на $4725. Когда разработчики заставили систему учитывать бюджет жёстче, средняя расчётная стоимость снизилась до $2241 при точности 80,9% и до $1303 при точности 79,6%. Поэтому утверждать, что ИИ всегда выбирает более дешёвую диагностику, результаты не позволяют.
Сравнение с врачами тоже требует оговорок. В тестах участвовали специалисты общей практики, врачи стационаров и неотложной помощи, которые работали поодиночке. Авторы не сравнивали MAI-DxO с профильными специалистами или полноценными врачебными консилиумами, хотя особо сложные случаи в обычной медицине часто разбирает именно команда.
Кроме того, система читала заранее подготовленные истории болезней. Ей не приходилось осматривать живого человека, разбирать медицинские снимки, учитывать неполные ответы пациента или решать, здоров ли человек вообще. В сложной выборке каждый случай уже содержал заболевание, поэтому тест не показывает, насколько хорошо медицинский ИИ справится с обычным потоком пациентов, где многие симптомы оказываются безобидными.
Исследователи также не проверяли качество лечения, безопасность назначений и состояние пациентов после диагноза. Все 15 авторов работают в Microsoft и владеют акциями компании, а независимого повторения результатов пока нет.
Microsoft планирует следующий этап уже с реальными пациентами в одном из медицинских центров Бостона. Люди будут получать обычную медицинскую помощь и параллельно взаимодействовать с MAI-DxO, после чего специалисты сравнят выводы системы с независимыми решениями врачей. Именно такая проверка должна показать, сохранится ли преимущество ИИ за пределами аккуратно подготовленных историй болезни.