Исследование Университета Мэриленда и Google DeepMind: почему AI-тексты легко отличить от человеческих

Любопытная работа от Университета Мэриленда и Google DeepMind (pdf), где сравнили человеческие и AI-сгенерированные истории по структуре сюжета, и смогли отличать AI-тексты почти в 93% случаев. Наверное многие это интуитивно чувствовали, особенно в лонгридах, что проблема AI не только и не столько в AI формулировках. Главные наблюдения: 1️⃣ AI объясняет детально, а человек нередко использует не утверждения в лоб, а отсылки, недосказывания, междустрочный смысл и т.д. Еще AI придерживается линейного сюжета/развития мысли, а человек использует флэшбеки, тупиковые линии сюжета, перепрыгивания таймлайна. И человек чаще просто говорит про эмоции, и читателю все сразу ясно. А AI приводит аналогии и метафоры, чтобы объяснить. Человек чаще вплетает внешний мир (упоминает актуальные книги, фильмы, бренды, места). И люди чаще ломают четвертую стены, обращаясь к читателям. 2️⃣ При этом все модели больше похоже друг на друга, чем на человека (см. картинку). То есть все далеки от умения человека рассказать историю. Клод чуууть-чуть ближе к человеку, и при этом самый отличающийся от других LLM. А "голос" GPT многие наверное уже быстро отличают, потому что несколько лет это самые популярные модели нейрослопа. 3️⃣ В работе тексты датасета переписали, убрав стилистические признаки нейрослопа. Но все равно по сюжетам и структуре слоп легко определялся. Кажется не так-то просто будет заменить хороших текстовых авторов. И наверняка будут более важными другие аспекты "человечности" текстов, например личность самого автора, его бэкграунд и уровень эмпатии и симпатии, который испытывает читатель. 4️⃣ По другим работам мы знаем, что уже пару лет уровень генерации текстов почти не приближается к человеческому. И кажется, что в этом мире нейрослопа хорошие тексты и эссе будут цениться еще больше. А как это повлияет на нас, написал Пол Грэм, почти три года назад в эссе Writes and Write-Nots. tldr: AI может резко разделить людей на тех, кто умеет писать, и тех, кто почти совсем разучится, а средний уровень уйдет. А мы помним, что writing is thinking, и навык письма (в т.ч. хороших имейлов) тренирует ясное мышление. AI уберает принуждение, которое раньше заставляло людей учиться ясно думать. Поэтому умение писать станет чем-то вроде интеллектуального фитнеса: им будут обладать только те, кто специально занимается. @kyrillic