Канадские налоговики выкинули 18 млн на чат-бота, который врёт в двух третях случаев
В Оттаве разгорелся скандал: Агентство по доходам Канады (CRA) потратило 18 миллионов долларов на чат-бота, который, по данным генерального аудитора, даёт неверные ответы в 66% случаев. Ещё в феврале 2020-го тогдашний министр национальных доходов Диана Лебутелье с помпой представила новый инструмент — чат-бота по имени Чарли. Он должен был помогать налогоплательщикам разбираться в запутанном канадском налоговом законодательстве, отвечая на общие вопросы по декларациям. Агентство сразу предупредило: Чарли ещё "учится" в CRA. Прошло пять лет, и генеральный аудитор Карен Хоган в своём отчёте жёстко раскритиковала инструмент, размещённый на 13 страницах сайта CRA. "Ответы Чарли были краткими, без контекста и с минимумом деталей", — отметила она в докладе о работе колл-центров агентства, вышедшем в октябре. Аудиторы задали Чарли шесть вопросов — точными оказались только два. Для сравнения, другие публичные ИИ-чат-боты справились с пятью из шести. Это открытие ошарашило либерального депутата Энтони Хаусфатера. "Как так вышло, что специализированный правительственный инструмент хуже, чем любой средний чат-бот, доступный всем?" — спросил он у Хоган. Отзывы о Чарли на старте были так себе, но вот расходы на его разработку и поддержку оказались внушительными. Согласно свежим парламентским документам, с 2018–2019 финансового года на Чарли ушло больше 18 миллионов долларов налогоплательщиков. Пик затрат пришёлся на масштабный запуск в 2021–2022 годах. Основная сумма — 13,67 миллиона — пошла на зарплаты, не считая льгот и командировок. Ещё 3,21 миллиона отдали IT-консультантам. "Это огромные деньги из карманов налогоплательщиков", — возмутился консервативный критик по доходам Жерар Дельтель. "33% точности — это полный провал". За почти шесть лет с Чарли начали больше семи миллионов бесед и задали свыше 18 миллионов вопросов. Но агентство признаёт: точность хромала. Был период, когда внутренние тесты показывали 70% верных ответов — то есть ошибки в 30% случаев. В ноябре CRA обновило Чарли до генеративного ИИ, похожего на ChatGPT, чтобы он справлялся с большим числом тем. По предрелизным тестам, точность выросла до 90%. Но, как уточнили в агентстве, без разбора всех чатов точно не скажешь. Данные для парламентариев показывают: пользователи бомбардируют Чарли самыми разными вопросами. В этом году перед дедлайном 30 апреля ему задали сотни тысяч вопросов по личным налогам. С февраля по апрель — больше 430 тысяч об электронных сервисах. Тысячи касались бизнес-налогов, льгот, кредитов, обновления данных, балансов, платежей и контактов с CRA. В 2024-м зафиксировали почти 180 тысяч "болтовни". В четверг CRA отчиталось о "100-дневном плане улучшения услуг", инициированном министром финансов Франсуа-Филиппом Шампанем. Агентство заявило, что осенью удвоило оперативность: наняли или продлили контракты 1200 сотрудников колл-центров и доработали цифровые сервисы, включая Чарли. Как отмечает National Post, «бета-версия GenAI-чат-бота теперь может отвечать на более широкий спектр вопросов, включая более сложные для бизнеса, такие как налоговые кредиты и информация о соблюдении». Представитель CRA не ответил на наши вопросы о расходах — мол, разработка ИИ-чат-ботов дешевеет благодаря моделям вроде ChatGPT. National Post попробовал спросить самого Чарли, почему на него ушло 18 миллионов, но тот ушёл от ответа: "В контексте нет данных о 18 миллионах на бета-версию GenAI-чат-бота CRA", — и посоветовал звонить в агентство.
