ИИ ошибается в 57 % случаев, если вопрос касается финансов

Спросить у ChatGPT, что делать с деньгами, — это подбросить монетку, только монетка чаще падает не той стороной. В финансах популярные чат-боты ошибаются в 57 % случаев, то есть правы меньше чем в половине.

Как пишет Financial Times, это показало исследование британской финтех-компании Saturn, то есть фирмы на стыке финансов и технологий. Отчёт назвали «Искусственный авторитет». Проверка вышла крупной: 18 популярных моделей, среди них ChatGPT, Claude, Gemini, Grok и Copilot, прогнали через 121 вопрос про деньги. Темы обычные и жизненные: долги, ипотека, пенсии, налоги, накопления, студенческие кредиты. Каждый вопрос задавали по пять раз, чтобы проверить, стабильны ли ответы. В сумме набралось больше 10 000 ответов.

На простых вопросах модели держались, но чем сложнее задача, тем хуже результат. Там, где надо посчитать в несколько действий, средняя доля ошибок подскакивала до 88 %, а у отдельных моделей доходила до 99 %. То есть на трудных вопросах бот ошибается почти всегда.

Ошибки при этом были самые разные: то арифметика поехала, то пропущено важное предупреждение о риске, то модель не учла будущие изменения в налогах, то просто сослалась на правило, которого не существует. Бесплатный Claude Haiku 4.5 довёл дело до того, что британцу по его пенсионному совету грозил штраф в 17 500 фунтов от налоговой. Другая модель придумала, будто выпускник, уехавший за границу, вправе перестать платить по студенческой ссуде. Правила такого нет.

Разница между бесплатным и платным заметная. Бесплатные модели ошибались в 63 % ответов, платные — в 49 %. Лучше всех выступила Claude Opus 5 в режиме рассуждений, но и её результат это 39 % ошибок, почти каждый третий ответ мимо.

Тревожит и то, как охотно люди этому верят. Глава Saturn Амаль Джолли говорит, что ИИ стал первым, к кому идут с денежными вопросами, и что доверять ему пока рано. Опросы в Британии показывают: каждый пятый взрослый готов отдать ИИ решения по пенсии, займам и вложениям. Молодёжь доверяет боту больше, чем финансовым блогерам и телепередачам, и две трети собираются в ближайший год решать денежные вопросы через ИИ.

Юридически, живой финансовый консультант в Британии работает под надзором и по правилам. Дал плохой совет, клиент потерял деньги — можно требовать компенсацию, есть куда пожаловаться. С чат-ботом эта защита просто исчезает. Он формально не консультант, ни за что не отвечает, и деньги, потерянные по его совету, вам не вернёт никто.

—

Телеграм про право в IT и AI. IT юристы — PravoWeb.com