От циклов к графам (часть 1)
TLDR: цикл = отправная точка, а граф циклов = сеть циклов улучшения, которые наблюдают, подпитывают, ограничивают и корректируют друг друга.
Циклы – это процесс. Граф – их структура
Всё дело в том, что ИИ-циклы дают сбои. Сбои не случайны и есть 4 основных когнитивных ИИ-искажения и сбоя, которые кроются в природе самого ИИ-цикла.
Первое искажение ИИ: закон Гудхарта
ИИ-цикл видит только свою метрику и именно поэтому он будет искать все способы изменить эту метрику, включая способы, которые противоречат её назначению (привет, хакнутые "кем-то" KPI)
ИИ просто не понимает, что в цикле создаётся сбой (часто, это не понимает и человек), когда он манипулирует собственной метрикой. ИИ(-цикл) считает, что делает именно то, для чего был создан на основе числа, которое незаметно оторвалось от
реальности, которую оно представляло.
Второе искажение ИИ: слепота к восходящему направлению
Цикл направляет свою переменную к эталонному значению, но ничто внутри цикла не может проверить правильность самого эталона.
Это как термостат в чайнике, который не может задаться вопросом, является ли 100° правильной температурой кипения воды (
и должна ли вода вообще кипеть). И ровно также цикл ИИ-отдела продаж не может спросить сам себя, была ли предложенная им цена и оффер разумными для клиента и бизнеса. Цикл оценки просто не может усомниться в том, измеряют ли эталонные показатели что-либо, что чувствуют клиенты. И чем усерднее работает цикл, тем тщательнее достигается неверная цель, возвращая и усиливая ошибку №1.
Третье искажение ИИ: внутренний ИИ-конфликт
Реальные системы содержат множество циклов, и циклы, построенные независимо друг от друга, начинают бороться между собой. Цикл, оптимизирующий скорость отклика, подрывает цикл, оптимизирующий рассудительность, а цикл найма, отвечающий за рост базы знаний, создает нагрузку на цикл культуры, сохраняющий их качество ☯
Четвертый вид сбоя незаметный: система измерений внутри самого контура деградирует, потому что за наблюдателем никто не наблюдает
Все эти показания могут плавать, каналы передачи данных ломаться, смысловое наполнение метрик меняться, цифры в одном отчёте ошибочно подтверждаться ИИ цифрой из другого и контур продолжит работать с данными, которые, по факту, уже никак не связаны с реальностью. Система, функционирующая по такому сценарию начинает напоминать фальшивый спектакль актёров-зрителей в одном лице.