OpenAI опубликовала MultiLangBenchi — тест, в котором модели без доступа к интернету должны с нуля написать совместимый с SQLite движок базы данных на одном из 20 языков. По данным OpenAI, GPT-6 Astra заметно превзошла GPT-5.6 Sol; особенно большой разрыв показан на COBOLi и Fortran.

Отдельный закрытый тест проверяет перенос программ с COBOL на современные языки с сохранением побайтовоi идентичного результата. GPT-6.1 Sol достигла в нём 97,9% на высоком уровне рассуждений. Автоматизация такого переноса может ускорить модернизацию старого ПО банков, корпораций и госструктур.

• В MultiLangBench входят 20 языков, включая COBOL, Fortran, OCaml и Visual Basic; написанный движок проверяет настоящий SQLite на тестах из его набора.
• На максимальном уровне рассуждений GPT-6 Astra прошла в среднем 87,4% тестов против 26,8% у GPT-5.6 Sol.
• На COBOL результаты составили 72,1% у GPT-6 Astra и 10,9% у GPT-5.6 Sol; на Fortran — 83,5% и 21,4% соответственно.
• GPT-6 Luna обошла GPT-5.6 Sol на всех языках; OpenAI оценила её работу примерно на 78% дешевле. По данным 3DNews, результат Luna слабее, чем у GPT-6 Astra.
• В закрытом тесте GPT-6.1 Sol набрала 86,6% на низком и 97,9% на высоком уровне рассуждений; GPT-5.6 Sol на низком уровне получила 5,4%.
• При переносе код переводят с COBOL на C++, Java, Kotlin, Python или Rust, а его вывод должен совпасть с прежним побайтово; OpenAI считает, что тест близок к потолку и уже плохо различает сильные модели.
• По данным IBM, на COBOL приходится 95% операций в банкоматах и 80% платежей картами; вторая публикация также сообщает, что в автоматизацию модернизации COBOL включилась Anthropic, а акции IBM упали.