Канадські податківці викинули 18 млн на чат-бота, який бреше у двох третинах випадків.

У Оттаві спалахнув скандал: Агентство з доходів Канади (CRA) витратило 18 мільйонів доларів на чат-бота, який, за даними генерального аудитора, дає невірні відповіді у 66% випадків. Ще у лютому 2020 року тодішній міністр національних доходів Діана Лебутельє з помпою представила новий інструмент — чат-бота на ім'я Чарлі. Він мав допомагати платникам податків розбиратися в заплутаному канадському податковому законодавстві, відповідаючи на загальні питання по деклараціях. Агентство одразу попередило: Чарлі ще "вчиться" в CRA. Пройшло п'ять років, і генеральний аудитор Карен Хоган у своєму звіті жорстко скритикувала інструмент, розміщений на 13 сторінках сайту CRA. "Відповіді Чарлі були короткими, без контексту і з мінімумом деталей", — зазначила вона у звіті про роботу кол-центрів агентства, який вийшов у жовтні. Аудитори задали Чарлі шість питань — точними виявилися лише два. Для порівняння, інші публічні ШІ-чат-боти впоралися з п'ятьма з шести. Це відкриття шокувало ліберального депутата Ентоні Хаусфатера. "Як так вийшло, що спеціалізований урядовий інструмент гірший, ніж будь-який середній чат-бот, доступний усім?" — запитав він у Хоган. Відгуки про Чарлі на старті були такі собі, але ось витрати на його розробку та підтримку виявилися вражаючими. Згідно зі свіжими парламентськими документами, з 2018–2019 фінансового року на Чарлі пішло понад 18 мільйонів доларів платників податків. Пік витрат припав на масштабний запуск у 2021–2022 роках. Основна сума — 13,67 мільйона — пішла на зарплати, не рахуючи пільг і відряджень. Ще 3,21 мільйона віддали IT-консультантам. "Це великі гроші з кишень платників податків", — обурився консервативний критик з доходів Жерар Дельтель. "33% точності — це повний провал". За майже шість років з Чарлі почали понад сім мільйонів бесід і задали понад 18 мільйонів питань. Але агентство визнає: точність хромала. Був період, коли внутрішні тести показували 70% правильних відповідей — тобто помилки у 30% випадків. У листопаді CRA оновило Чарлі до генеративного ШІ, подібного до ChatGPT, щоб він справлявся з більшою кількістю тем. За попередніми тестами, точність зросла до 90%. Але, як уточнили в агентстві, без розбору всіх чатів точно не скажеш. Дані для парламентарів показують: користувачі бомбардують Чарлі найрізноманітнішими питаннями.