Любопытная работа от Университета Мэриленда и Google DeepMind (
pdf), где сравнили человеческие и AI-сгенерированные истории по структуре сюжета, и смогли отличать AI-тексты почти в 93% случаев.
Наверное многие это интуитивно чувствовали, особенно в лонгридах, что проблема AI не только и не столько в AI формулировках. Главные наблюдения:
1️⃣ AI объясняет детально, а человек нередко использует не утверждения в лоб, а отсылки, недосказывания, междустрочный смысл и т.д.
Еще AI придерживается линейного сюжета/развития мысли, а человек использует флэшбеки, тупиковые линии сюжета, перепрыгивания таймлайна.
И человек чаще просто говорит про эмоции, и читателю все сразу ясно. А AI приводит аналогии и метафоры, чтобы объяснить.
Человек чаще вплетает внешний мир (упоминает актуальные книги, фильмы, бренды, места). И люди чаще ломают четвертую стены, обращаясь к читателям.
2️⃣ При этом все модели больше похоже друг на друга, чем на человека (см. картинку). То есть все далеки от умения человека рассказать историю.
Клод чуууть-чуть ближе к человеку, и при этом самый отличающийся от других LLM.
А "голос" GPT многие наверное уже быстро отличают, потому что несколько лет это самые популярные модели нейрослопа.
3️⃣ В работе тексты датасета переписали, убрав стилистические признаки нейрослопа. Но все равно по сюжетам и структуре слоп легко определялся.
Кажется не так-то просто будет заменить хороших текстовых авторов. И наверняка будут более важными другие аспекты "человечности" текстов, например личность самого автора, его бэкграунд и уровень эмпатии и симпатии, который испытывает читатель.
4️⃣ По другим работам мы знаем, что уже пару лет уровень генерации текстов почти не приближается к человеческому. И кажется, что в этом мире нейрослопа хорошие тексты и эссе будут цениться еще больше.
А как это повлияет на нас, написал Пол Грэм, почти три года назад в
эссе Writes and Write-Nots. tldr: AI может резко разделить людей на тех, кто умеет писать, и тех, кто почти совсем разучится, а средний уровень уйдет.
А мы помним, что writing is thinking, и навык письма (в т.ч. хороших имейлов) тренирует ясное мышление. AI уберает принуждение, которое раньше заставляло людей учиться ясно думать. Поэтому умение писать станет чем-то вроде интеллектуального фитнеса: им будут обладать только те, кто специально занимается.
@kyrillic