Анализ качества перевода визуальных новелл с помощью GPT-5.6 Sol

​​GPT Sol и качество перевода с японского A Serious Look at GPT-5.6 Sol Translations В последние годы я активно использую GPT для помощи в изучении иностранных языков и переводе. Постепенно заметно улучшение качества - всё ещё не идеально, но прогресс на лицо. Вчера я увидел интересный пост: профессиональный переводчик японских визуальных новелл (текстовых игр) с 10-летним стажем делится своими впечатлениями от GPT-5.6 Sol (уровень reasoning не был указан). Основная цель - сравнить текущее качество моделей с тем, что было доступно 5-10 лет назад. TL;DR: GPT-5.6 Sol крут, работает на уровне опытного переводчика, хорошо работает с тонкостями (стиль, шутки и прочее), количество ошибок - на приемлемом уровне. Автор анализирует примеры текста из трёх разных игр и сравнивает с переводом от других людей, которые переводили их. Я приведу общие впечатления автора, детальные примеры и их разборы можно почитать в самом посте. - Большинство исправлений - nitpicks: когда LLM сделала правильный перевод, но ошиблась в тонкостях, которые могут трактоваться по-разному - Нередко Sol выдает более годный перевод по сравнению с людьми, особенно когда текст метафоричен. Плюс люди могут переиначивать перевод в их собственном стиле - LLM такое делать не будет - В некоторых случаях Sol путает к кому относится предложение - в японском языке междометия часто отбрасываются, когда из контекста понятно про кого идёт речь. Если этот контекст не подать в модель - она будет косячить, но люди тоже могут делать такие же ошибки. Я сам попробовать взять полный пример и отправить в Sol - он его корректно перевёл - Один из примеров - игра слов на японском языке, прямого перевода на английский просто не существует. Два обычных подхода в таких случаях - заменить на игру слов в целевом языке или просто не переводить и отбросить. Sol выбрал второе. Но когда я сам отправил весь диалог в него - он перевёл, пусть и немного не красиво - LLM немного хуже работает с казуальной речью, но в целом всё же справляется. - Были примеры прям плохого перевода, но автор признаёт, что они были очень редкими. Теперь несколько цитат: - "I'm trying to highlight some human flaws here, but the point is that even at what was probably one of the most difficult passages to translate off-the-cuff, Sol didn't falter and indeed even managed to do a little better than its competition on some poetic turns of phrase." - "I want to be upset. My job is translation! I want to read this Amakano 3 TL with a sneer on my face, constantly finding errors and constantly hitting passages that read like garbage. But I just don't." - "My judgment is that if you told me to read Amakano 3 using the Sol translation from start to finish, I wouldn't mind doing so. I would prefer to read the Japanese just because some stuff is untranslatable - "The reality is that you need to be in the top 0.1% of sensibility for most of what I have critiqued here to impact your experience at all." Что показательно - даже в комментах люди не смогли особо придраться к качеству перевода, если не считать вкусовщины. Ещё оказалось, что при переводе одной из игр с помощью Sol использовались длинные инструкции. Вначале делается первая версия перевода (в промпте среди прочего указана информация о героях, чтобы модель могла лучше следовать их стилю речи), потом 1-2 прогона с авто-редактированием и исправлением ошибок. Ещё показательно то, что по опыту автора и других людей, ещё модели прошлого года делают перевод заметно хуже. А это значит, что качество перевода будет только расти. Как пошутили в треде - возможно последним бастионом переводчиков будет перевод текстов, которые LLM цензурит ;) #languages #ai