Игрок создал языковую модель внутри Factorio

Игрок RomaPro227 собрал прямо в Factorio языковую модель на 6,4 млн параметров без модов и сторонних скриптов. Конструкция насчитывает около 105 тыс. комбинаторов и 200 тыс. проводов, а ответы выводятся на табло из 8 тыс. ламп. В основе лежит трансформер с 8 слоями, 8 головами внимания и контекстным окном на 256 символов. Комбинаторы выполняют математические операции, причём пара из арифметического и постоянного комбинаторов образует нейрон с 256 или 1024 входами. Веса модели хранятся в постоянных комбинаторах, а числовые векторы передаются по проводам. Вопросы на английском языке приходится вводить вручную, по одному символу в ряду комбинаторов. При 60 обновлениях игры в секунду модель выдаёт примерно один символ за 7 секунд. Генерация текста из 100 символов занимает почти 12 минут без учёта обработки входных данных. При такой скорости нейросеть всё же умеет отвечать на вопросы о Factorio, сочинять короткие истории и шутить, хотя иногда ошибается и повторяется. Автор опубликовал на GitHub сохранение мира с нейросетью, её веса и инструкцию по запуску. Там же доступна Python-версия модели, которую можно запустить за пределами игры. Для работы самой конструкции нужны Factorio 2.0 и дополнение Space Age.