Исследование: ИИ ошибается в 60% финансовых вопросов
I@itcnewsruавтор про «tech»
1 месИсследование 18 ИИ-моделей выявило высокий уровень ошибок в финансовых расчетах и нормах, достигающий 88% в сложных задачах.
Использование ИИ для финансовых расчетов сейчас небезопасно и требует обязательной проверки человеком.
- Нейросети склонны к галлюцинациям в вопросах налогов и законодательства.
- Математические вычисления в несколько этапов часто приводят к ошибкам.
- Даже лучшие модели не гарантируют точность в финансовых операциях.
ИИ ошибается почти в 60% финансовых вопросов
Исследование 18 ИИ-моделей показало, что при ответах на финансовые вопросы они ошибались в среднем в 57% случаев. Для сложных задач с несколькими вычислениями показатель доходил до 88%.
Модели допускали ошибки в расчётах, не учитывали изменения налоговых правил и даже придумывали несуществующие нормы. В эксперименте проверили более 10 тысяч вопросов.
Лучший результат среди протестированных показала Claude Opus 5 в режиме рассуждений - 39% ошибок.
Кратко (AI)
Исследование 18 различных ИИ-моделей показало, что они допускают ошибки в финансовых вопросах в среднем в 57% случаев, а в сложных задачах показатель достигает 88%. Модели часто ошибаются в расчетах и ссылаются на несуществующие нормы. Лучший результат продемонстрировала модель Claude Opus 5 с 39% ошибок.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖