GPT Sol и качество перевода с японского
A Serious Look at GPT-5.6 Sol Translations
В последние годы я активно использую GPT для помощи в изучении иностранных языков и переводе. Постепенно заметно улучшение качества - всё ещё не идеально, но прогресс на лицо.
Вчера я увидел интересный пост: профессиональный переводчик японских визуальных новелл (текстовых игр) с 10-летним стажем делится своими впечатлениями от GPT-5.6 Sol (уровень reasoning не был указан). Основная цель - сравнить текущее качество моделей с тем, что было доступно 5-10 лет назад.
TL;DR: GPT-5.6 Sol крут, работает на уровне опытного переводчика, хорошо работает с тонкостями (стиль, шутки и прочее), количество ошибок - на приемлемом уровне.
Автор анализирует примеры текста из трёх разных игр и сравнивает с переводом от других людей, которые переводили их. Я приведу общие впечатления автора, детальные примеры и их разборы можно почитать в самом посте.
- Большинство исправлений - nitpicks: когда LLM сделала правильный перевод, но ошиблась в тонкостях, которые могут трактоваться по-разному
- Нередко Sol выдает более годный перевод по сравнению с людьми, особенно когда текст метафоричен. Плюс люди могут переиначивать перевод в их собственном стиле - LLM такое делать не будет
- В некоторых случаях Sol путает к кому относится предложение - в японском языке междометия часто отбрасываются, когда из контекста понятно про кого идёт речь. Если этот контекст не подать в модель - она будет косячить, но люди тоже могут делать такие же ошибки. Я сам попробовать взять полный пример и отправить в Sol - он его корректно перевёл
- Один из примеров - игра слов на японском языке, прямого перевода на английский просто не существует. Два обычных подхода в таких случаях - заменить на игру слов в целевом языке или просто не переводить и отбросить. Sol выбрал второе. Но когда я сам отправил весь диалог в него - он перевёл, пусть и немного не красиво
- LLM немного хуже работает с казуальной речью, но в целом всё же справляется.
- Были примеры прям плохого перевода, но автор признаёт, что они были очень редкими.
Теперь несколько цитат:
- "I'm trying to highlight some human flaws here, but the point is that even at what was probably one of the most difficult passages to translate off-the-cuff, Sol didn't falter and indeed even managed to do a little better than its competition on some poetic turns of phrase."
- "I want to be upset. My job is translation! I want to read this Amakano 3 TL with a sneer on my face, constantly finding errors and constantly hitting passages that read like garbage. But I just don't."
- "My judgment is that if you told me to read Amakano 3 using the Sol translation from start to finish, I wouldn't mind doing so. I would prefer to read the Japanese just because some stuff is untranslatable
- "The reality is that you need to be in the top 0.1% of sensibility for most of what I have critiqued here to impact your experience at all."
Что показательно - даже в комментах люди не смогли особо придраться к качеству перевода, если не считать вкусовщины.
Ещё оказалось, что при переводе одной из игр с помощью Sol использовались
длинные инструкции. Вначале делается первая версия перевода (в промпте среди прочего указана информация о героях, чтобы модель могла лучше следовать их стилю речи), потом 1-2 прогона с авто-редактированием и исправлением ошибок.
Ещё показательно то, что по опыту автора и других людей, ещё модели прошлого года делают перевод заметно хуже. А это значит, что качество перевода будет только расти.
Как пошутили в треде - возможно последним бастионом переводчиков будет перевод текстов, которые LLM цензурит ;)
#languages #ai
