От циклов к графам: когнитивные искажения ИИ-систем

От циклов к графам (часть 1) TLDR: цикл = отправная точка, а граф циклов = сеть циклов улучшения, которые наблюдают, подпитывают, ограничивают и корректируют друг друга.

Циклы – это процесс. Граф – их структура

Всё дело в том, что ИИ-циклы дают сбои. Сбои не случайны и есть 4 основных когнитивных ИИ-искажения и сбоя, которые кроются в природе самого ИИ-цикла. Первое искажение ИИ: закон Гудхарта ИИ-цикл видит только свою метрику и именно поэтому он будет искать все способы изменить эту метрику, включая способы, которые противоречат её назначению (привет, хакнутые "кем-то" KPI) ИИ просто не понимает, что в цикле создаётся сбой (часто, это не понимает и человек), когда он манипулирует собственной метрикой. ИИ(-цикл) считает, что делает именно то, для чего был создан на основе числа, которое незаметно оторвалось от реальности, которую оно представляло. Второе искажение ИИ: слепота к восходящему направлению Цикл направляет свою переменную к эталонному значению, но ничто внутри цикла не может проверить правильность самого эталона. Это как термостат в чайнике, который не может задаться вопросом, является ли 100° правильной температурой кипения воды (и должна ли вода вообще кипеть). И ровно также цикл ИИ-отдела продаж не может спросить сам себя, была ли предложенная им цена и оффер разумными для клиента и бизнеса. Цикл оценки просто не может усомниться в том, измеряют ли эталонные показатели что-либо, что чувствуют клиенты. И чем усерднее работает цикл, тем тщательнее достигается неверная цель, возвращая и усиливая ошибку №1. Третье искажение ИИ: внутренний ИИ-конфликт Реальные системы содержат множество циклов, и циклы, построенные независимо друг от друга, начинают бороться между собой. Цикл, оптимизирующий скорость отклика, подрывает цикл, оптимизирующий рассудительность, а цикл найма, отвечающий за рост базы знаний, создает нагрузку на цикл культуры, сохраняющий их качество ☯ Четвертый вид сбоя незаметный: система измерений внутри самого контура деградирует, потому что за наблюдателем никто не наблюдает Все эти показания могут плавать, каналы передачи данных ломаться, смысловое наполнение метрик меняться, цифры в одном отчёте ошибочно подтверждаться ИИ цифрой из другого и контур продолжит работать с данными, которые, по факту, уже никак не связаны с реальностью. Система, функционирующая по такому сценарию начинает напоминать фальшивый спектакль актёров-зрителей в одном лице.