Исследование The Superdark Factory: концепция полностью автоматизированных систем

На сайте Antikythera авторы книги Экзокапитализм Поликс и Трийо, а также их товарищи выложили свой новый большой проект, исследование The Superdark Factory: Toward the Full Automation of Software. Предлагают представить такую фабрику, которая управляет сама собой; фабрику, которая сама определяет свои цели и оптимизирует себя для их достижения. Это что-то вроде полностью автоматизированной фирмы, компании без людей внутри, рекурсивно самооптимизирующегося тела, которое само решает, что производить, как производить и зачем. Это весьма особый тип фабрики — фабрика, созданная с намерением производить нечто, строго превосходящее способности её создателя; нечто настолько продуктивное, эффективное и способное, что оно выходит за рамки любой возможности заранее заданного предписания; нечто, принадлежащее к множеству возможных фабрик, которые в настоящее время немыслимы.

Как построить подобную вещь? Что значило бы направлять подобную вещь или управлять ею? Мы называем такую фабрику сверхтёмной фабрикой (superdark factory) — фабрикой, чья внутренняя динамика бурлит слишком быстро, чтобы её осознать, чьи логики ветвятся в слишком плотные сплетения, чтобы их реконструировать, и чьи стандарты производительности слишком эфемерны, чтобы ими руководить. Мы полагаем, что построить такую фабрику можно уже сейчас, имеющимися инструментами, если кто-то решит это сделать. Для достижения этой цели мы предлагаем «тёмный стек» (dark stack) — набор принципов проектирования, которые архитектор мог бы использовать для создания такой фабрики и, более того, для содействия её непрерывному управлению после инициализации, всё так же оставаясь неспособным понять о ней почти ничего. Самая значительная интервенция, доступная архитектору, строящему сверхтёмную фабрику с помощью тёмного стека, — это единственный решительный шаг, совершаемый до того, как фабрика вообще будет включена, который приводит в движение четыре ключевых принципа: >массив структурных примитивов, позволяющих фабрике обучаться; >режим версионирования, измеряющий то, что фабрика делает, а не то, чем она является; >слой состязательной оценки (adversarial evaluation layer), служащий основным органом чувств фабрики; >устав, функционирующий как договорная площадка управления, написанная в соавторстве с самой фабрикой. После завершения этого начального шага наиболее существенные последствия тёмного стека включают исключение человеческого контроля из проектирования фабрики и последующее утверждение человеческого архитектора в качестве теоретико-игрового стратегического игрока, взаимодействующего с возникающей тотальностью производства.