Компания Saturni протестировала 18 популярных ИИ-моделей — включая ChatGPT, Claude, Gemini, Copilot и Grok — на финансовых вопросах и выяснила, что в среднем они дают неверные ответы в 57% случаев, а на сложных задачах с несколькими вычислениями доля ошибок вырастает до 88%.

Модели путались в расчётах, не учитывали изменения налоговых правил и даже придумывали несуществующие нормы — то есть проблема не только в математике, но и в устаревших или полностью выдуманных данных, которые пользователь может принять за достоверный совет.

• В эксперименте проверили более 10 тысяч финансовых вопросов
• Лучший результат среди всех протестированных моделей показала Claude Opus 5i в режиме рассуждений — 39% ошибок
• Зафиксирован случай, когда неверный совет Claude по налогам потенциально мог стоить пользователю 17 500 фунтов
• Типичные ошибки: неверные вычисления, игнорирование изменений в налоговом законодательстве, придумывание несуществующих норм