Тесты ИИ в медицине Канады выявили шокирующие детали

Испытания медицинского ИИ в Канаде выявили неожиданные результаты в области диагностики и лечения.

Провинциальный аудитор Онтарио предупредил: ИИ-системы, которые должны автоматически превращать разговор врача с пациентом в медицинскую запись, во время проверки регулярно ошибались и иногда откровенно «галлюцинировали», то есть добавляли в заметки то, чего в беседе не было.

Об этом говорится в новом отчете аудитора Онтарио Шелли Спенс. Документ подготовили в рамках более широкого изучения того, как искусственный интеллект используется в структурах провинциальной госслужбы. Отдельно аудиторы посмотрели на закупку решений для расшифровки консультаций и выяснили: из 20 протестированных программ многие выдавали проблемный результат.

В отчете подчеркивается, что ошибки в таких записях - это не просто «технические огрехи». Неверные или неполные заметки могут привести к ошибочным и потенциально вредным планам лечения, а значит - напрямую затронуть безопасность пациентов. По мнению аудитора, подобные инструменты нужно тщательно тестировать до внедрения, чтобы снизить риск неточностей.

Проверку проводили на двух тестовых диалогах между условными врачами и пациентами. Как отмечает CBC News, в девяти системах нашли «галлюцинации»: сервисы дописывали факты или предлагали элементы плана лечения, которые врач не озвучивал. Среди примеров - рекомендации направить пациента на терапию или назначить анализы крови.

Еще 12 из 20 программ, по данным отчета, неверно передавали детали разговора. Например, в расшифровке появлялся не тот препарат, который на самом деле назначал врач. А 17 систем не фиксировали важные сведения о состоянии психического здоровья пациента.

Аудитор также указал на вопросы к самой закупочной процедуре: часть поставщиков не предоставила независимые аудиторские отчеты, сертификаты или оценки угроз и рисков. Несмотря на это, четыре такие системы все равно получили одобрение.

При этом ИИ-инструменты уже используются в провинции. Власти выпустили рекомендации для врачей: перед тем как вносить ИИ-заметки в медицинскую документацию, их нужно вручную проверить. Спенс предлагает пойти дальше и добавить в такие системы ИТ-контроли, которые будут требовать от врача явного подтверждения: запись просмотрена и проверена.

Спенс рассказала, что сама недавно столкнулась с ИИ-стенографистом на приеме у врача и попросила затем внимательно сверить итоговую расшифровку. Она подчеркивает, что цель не в том, чтобы призывать жителей Онтарио делать то же самое, а в том, чтобы добиться от правительства более строгого тестирования и закупки ИИ, который действительно помогает, а не создает новые риски.

Министр государственных и бизнес-услуг, а также закупок Стивен Кроуфорд, комментируя выводы, заявил, что ошибки обнаружили именно на стадии тестирования. По его словам, при использовании таких продуктов врачи контролируют результат, а решения, основанные на выводах ИИ, остаются под надзором профессионалов. Кроуфорд также отметил, что подобные системы должны экономить время врачей: меньше рутины с записями - больше внимания пациентам.

Лидер Партии зеленых Майк Шрайнер назвал результаты аудита «крайне тревожными» и заявил, что они напрямую поднимают вопрос безопасности пациентов. По его словам, если власти собираются применять такие инструменты, их корректную работу нужно обеспечить еще до внедрения.

В отчете говорится, что аудитор сформулировал 10 рекомендаций правительству и закупочному агентству по улучшению использования ИИ в госсекторе. С девятью из них власти согласились. Существенная часть рекомендаций касается усиления мер безопасности и защиты приватности.