OpenAI представила MultiLangBench для проверки GPT-6 на редких языках программирования

📌 OpenAI выложила бенчмарк MultiLangBench и проверила GPT-6 на редких языках Набор проверяет, как модели пишут большой проект на 20 языках, включая COBOL, Fortran, OCaml и Visual Basic.

По ним в сети на порядки меньше кода и документации, чем по Python или JavaScript, хотя, по данным IBM, на COBOL держится 95% операций в банкоматах и 80% платежей картами, а на Fortran – прогнозы погоды и расчёты безопасности ядерных реакторов.

Задача в MultiLangBench одна для всех языков. Модель без доступа в интернет должна с нуля написать движок базы данных, совместимый с SQLite, а проверяет его настоящий SQLite на тестах из его же набора. На максимальном уровне рассуждений GPT-6 Astra прошла в среднем 87,4% тестов против 26,8% у GPT-5.6 Sol. На COBOL Astra набрала 72,1% против 10,9% у GPT-5.6 Sol, на Fortran – 83,5% против 21,4%. GPT-6 Luna обошла GPT-5.6 Sol во всех языках и, по оценке OpenAI, обходится примерно на 78% дешевле. На другом, закрытом тесте, который OpenAI не выкладывала, модель переносит программы с COBOL на C++, Java, Kotlin, Python или Rust, и вывод должен совпасть со старым побайтово. В нём при низком уровне рассуждений GPT-6.1 Sol справилась в 86,6% случаев, GPT-5.6 Sol – в 5,4%. На высоком уровне GPT-6.1 Sol набрала 97,9%.

По признанию OpenAI, при таких результатах тест близок к потолку и сильные модели в максимальном ризонинге на нём почти сравнялись, поэтому понять, какая из них лучше, он уже не поможет.

@ai_machinelearning_big_data #news #ai #ml