Исследование: как LLM снижают точность ответов и повышают уверенность пользователей

Вышла интересное исследование о том, насколько люди доверяют AI: людям задавали сложные вопросы и разрешали в любой момент сказать "не знаю". Без LLM так отвечали в 40% случаев, а c LLM - всего в 3-6%. Итог: • точность упала с 28% до 9% • уверенность выросла с 30% до 76% 🙂 К дизайну исследования есть небольшие вопросы, но оно довольно надежно в одной теме - как люди себя ведут, когда на сложный вопрос под рукой есть неправильный/непроверенный ответ LLM. С LLM люди отвечали на больше вопросов, но давали меньше правильных ответов. То есть LLM не закрывала пробелы в знаниях, а превращала в ошибки ответы, которые человек знал или мог восстановить сам. 1️⃣ С одной стороны, можно сделать очевидный вывод: не стоит слепо доверять LLM, нужно все перепроверять. Это разумно, особенно в важных вопросах - здоровья, карьеры, отношений, своего будущего и т.д. Кстати гугление менее проблемное: добавляется трение в виде "открыть ссылки, все прочитать, сопоставить, выбрать правильное". А LLM просто выдает надежный на первый взгляд ответ, в который хочется поверить. 2️⃣ С другой стороны, большинство вопросов, которые мы задаем ллм - не жизни и смерти, а всякие мелочи, цена ошибки которых невелика. И почти у всех нас либо неточная картина мира, либо вообще неправильная. Например есть миллиарды религиозных людей, которые чудовищно неправы со своим магическим мышлением. Но какая разница, если они с этим всем находят единомышленников и живут более счастливую жизнь, чем рациональные скептики? Может и AI не рассказывает истину, нередко ошибается, но хотя бы дает ощущение заполнения своей картины мира. Что возможно важнее, чем правда, и является основой спокойствия и уверенности в себе ("знаю, как этот мир устроен! не пропаду") Добавил ли AI вам ощущение уверенности? @kyrillic