Почему LLM пока не умеют писать хорошие тексты

#книги # Anathem, AI для письма и текстовые квесты Хороший текст это очень сложная вещь. Я кое-что понимал в этом как автор научно-популярной книги. Однако окончательно это понимание кристаллизовалось в моей голове после двух недавних событий: я попробовал использовать LLM для генерации текстовых квестов в ROAM и прочитал Anathem Нила Стивенсона. Мою книгу под рабочим названием "ИИ для всех", которое мы обязательно поменяем на что-то более кликбейтное, можно ждать на полках весной 2027. Я давно об этом вам не писал, так что вкратце: я уже всё написал, но издательство посчитало книгу слишком сложной и я, после некоторое сопротивления, признал их правоту. Они выделили мне отличного редактора и с тех пор мы над ней работаем. Книга определенно становится лучше. Во время работы над книгой я много раз переписывал одни и те же главы. Каждый раз мне казалось, что лучше уже нельзя, но взгляд другого человека показывал, что там или не всё понятно, или читатель потеряется, или не интересно, и так далее. Потому что писать тексты сложно. В популярном сознании программировать сложно. Мой тейк: любой язык программирования это просто продвинутый список покупок для компьютера. Если вы знаете его правила, то дальше оно или работает, или нет, и вы сразу об этом узнаете. А теперь сравните это с любым текстом на естественном языке. Текст обязан быть интересным, но не слишком сложным. Простым, но не слишком предсказуемым. Музыкальным, но не вычурным. Понятным, но не пустым. Причем эти и другие требования должны соблюдаться одновременно. Например, нельзя компенсировать недостаток глубины идей более красивым описанием природы. Если любого компонента не хватает, всё рассыпается, текст не работает. В свою RPG ROAM я завел движок ink для полноценных текстовых квестов. Opus 5.5 у меня отлично накодил много сложных игровых фич, поэтому я думал, что он должен неплохо справиться с созданием пары квестов. Процесс был такой. Я скормил ему лор своей давней FATE CORE (система наподобие Dungeon and Dragons) компании и адаптировал под эту игру. Потом я запустил настолку из агентов для генерации таймлайна мира: много Haiku играли каждый за одну фракцию в мире каждый, делали ходы раз в игровой год, а Opus потом как гейм мастер делал из этого нарратив. Получился неплохой скелет. Затем я запустил Opus делать квест, GPT Sol 6 тестировать и оценивать по нескольким критериям, а Gemini Flash править русский язык. Система была неплохая, но получилось плохо. Я думал, что выйдет нечто вроде "сойдет." Может не ламповые Космические Рейнджеры, но хотя бы поиграть можно. Нет, видимо "сойдет" текстов не бывает. Оно просто не работает. Ты видишь текст и он сразу не клеится, ты не вовлекаешься, что-то не то. Например, описание одной из сцен, заброшенной фермы, изначально включало такой пассаж от агента: "Рядом с колодцем лежит веревка, на ней множество узлов и ни один из них не мокрый." Закономерно, я спрашиваю агента: "это что за херня? Какой нахрен мокрый узел, угашенный ты об дерево?" Оказалось, что по лору хозяин этой фермы измерял количество воды в колодце веревкой с узлами. Опус пытался таким образом донести до игрока этот кусок лора. Вот только для этого надо было мысленно поместить себя на место игрока. Я задумался о том, насколько это сложно. Даже простейшее описание локации требует понимать какая информация доступна читателю, а какая нет. Поэтому я со времен Claude Sonnet 3.5 тестирую, может ли LLM написать за меня следующую главу. Модели стали многократно круче, а ответ всё так же "нет." LLM или даже агентская система с множеством лупов не способна на данный момент написать такую книгу, которую стоит читать. Иронично, что большие языковые модели не умеют писать! Код оказался намного проще. Так вот, это приводит нас к Anathem. Это книга от автора Snow Crash – новеллы, которая ввела термин "метавёрс." Поэтому я знал, что Нил Стивенсон хороший фантаст, но я не ожидал, что настолько. Про Anathem тяжело написать без спойлеров, поэтому я скажу так. Это очень сложный текст. Не для читателя, ведь читается она очень легко (после первых глав, там надо вкатиться). Это сложный текст с той точки зрения, что он объединяет в себе собственный язык, несколько переплетающихся сюжетных линий, глубокий слоёный символизм, рассуждения о природе сознания и квантовой физике, крутой экшен и человечных персонажей. И при всём этом оно работает. Такую хрупкую конструкцию могло бы разрушить что угодно, но в книге нет ни одного лишнего слова. Например, там есть три главы подряд где персонажи просто сидят за столом и обсуждают параллельные миры. Причем не абстрактно, а речь идет о настоящей физике. Но только в выдуманных автором терминах. Звучит невероятно скучно, да? Но я не мог оторваться. Сцена, персонажи, ритм и переплетающиеся сюжетные линии так подобраны, что это очень интересно читать. Да ещё и к концу ты остаешься полностью убежден, что именно так и работает вселенная в реальности. Я думаю в книге автор, на самом деле, выражает своё видение мира. Поэтому я читал эту книгу с двух точек зрения. Как читатель я просто получал удовольствие. Как автор же, я смотрел на эту книгу как на шедеврально собранный механизм, и задавался вопросом, смогу ли я когда-то создать нечто близкое.