Тести ШІ в медицині Канади виявили шокуючі деталі

Випробування медичного ШІ в Канаді виявили несподівані результати в галузі діагностики та лікування.

Провінційний аудитор Онтаріо попередив: ШІ-системи, які мають автоматично перетворювати розмову лікаря з пацієнтом на медичний запис, під час перевірки регулярно помилялися і іноді відверто «галюцинували», тобто додавали в нотатки те, чого в розмові не було.

Про це йдеться в новому звіті аудитора Онтаріо Шеллі Спенс. Документ підготували в межах ширшого вивчення того, як штучний інтелект використовується в структурах провінційної державної служби. Окремо аудитори подивилися на закупівлю рішень для розшифрування консультацій і з’ясували: з 20 протестованих програм багато видавали проблемний результат.

У звіті підкреслюється, що помилки в таких записах — це не просто «технічні огріхи». Неправильні або неповні нотатки можуть призвести до помилкових і потенційно шкідливих планів лікування, а отже — безпосередньо вплинути на безпеку пацієнтів. На думку аудитора, подібні інструменти потрібно ретельно тестувати до впровадження, щоб знизити ризик неточностей.

Перевірку проводили на двох тестових діалогах між умовними лікарями та пацієнтами. Як зазначає CBC News, у дев’яти системах знайшли «галюцинації»: сервіси дописували факти або пропонували елементи плану лікування, які лікар не озвучував. Серед прикладів — рекомендації направити пацієнта на терапію або призначити аналізи крові.

Ще 12 із 20 програм, за даними звіту, неправильно передавали деталі розмови. Наприклад, у розшифровці з’являвся не той препарат, який насправді призначав лікар. А 17 систем не фіксували важливі відомості про стан психічного здоров’я пацієнта.

Аудитор також вказав на питання до самої закупівельної процедури: частина постачальників не надала незалежні аудиторські звіти, сертифікати або оцінки загроз і ризиків. Попри це, чотири такі системи все одно отримали схвалення.

При цьому інструменти ШІ вже використовуються в провінції. Влада випустила рекомендації для лікарів: перед тим як вносити ШІ-нотатки в медичну документацію, їх потрібно вручну перевірити. Спенс пропонує піти далі й додати в такі системи ІТ-контролі, які вимагатимуть від лікаря явного підтвердження: запис переглянуто і перевірено.

Спенс розповіла, що сама нещодавно зіткнулася з ІІ-стенографістом на прийомі у лікаря і попросила потім уважно звірити підсумкову розшифровку. Вона підкреслює, що мета не в тому, щоб закликати жителів Онтаріо робити те саме, а в тому, щоб домогтися від уряду більш суворого тестування і закупівлі ІІ, який дійсно допомагає, а не створює нові ризики.

Міністр державних і бізнес-послуг, а також закупівель Стівен Кроуфорд, коментуючи висновки, заявив, що помилки виявили саме на стадії тестування. За його словами, під час використання таких продуктів лікарі контролюють результат, а рішення, засновані на висновках ШІ, залишаються під наглядом професіоналів. Кроуфорд також зазначив, що подібні системи мають заощаджувати час лікарів: менше рутини із записами — більше уваги пацієнтам.

Лідер Партії зелених Майк Шрайнер назвав результати аудиту «вкрай тривожними» і заявив, що вони безпосередньо порушують питання безпеки пацієнтів. За його словами, якщо влада збирається застосовувати такі інструменти, їхню коректну роботу потрібно забезпечити ще до впровадження.
У звіті йдеться, що аудитор сформулював 10 рекомендацій уряду та закупівельному агентству щодо покращення використання ШІ в державному секторі. З дев’ятьма з них влада погодилася. Суттєва частина рекомендацій стосується посилення заходів безпеки та захисту приватності.