Sakana AI разработала метод PC-ALM, позволяющий обучать глубокие нейросети без классического обратного распространения ошибки (backpropagationi), используя только локальные взаимодействия между соседними слоями. Метод способен обучать сети глубиной до 1000 слоёв — там, где обычный predictive codingi, на котором основан PC-ALM, обычно ломается из-за затухания сигнала ошибки.

Значимость в том, что backpropagation, придуманный ещё в 1970-е, требует строго последовательного прохода сигнала вперёд, затем ошибки назад и лишь потом обновления весов — что биологически неправдоподобно и плохо масштабируется на некоторые виды железа. PC-ALM предлагает альтернативу, вдохновлённую тем, как предположительно работает мозг, и может оказаться дешевле backprop на нейроморфных чипах.

• В обычном predictive coding каждый слой оптимизирует не только веса, но и свои активации, предсказывая активность соседнего слоя; наверх передаётся только необъяснённый остаток ошибки.
• Проблема стандартного predictive coding — затухание сигнала ошибки в глубоких сетях, из-за чего сеть 'не понимает, куда двигать веса'.
• Sakana AI добавили в метод двойственные переменные — по сути дополнительные нейроны, представляющие множители Лагранжаi, которые помогают передавать сигнал ошибки через большое число слоёв.
• Помимо множителей Лагранжа, PC-ALM использует расширенный лагранжиан, локальную динамику состояний и PI-регуляцию внутри каждого слоя.
• Авторы связывают подход с классической работой Яна Лекуна 1988 года, где показано, что множители Лагранжа для многослойной сети в точке равновесия совпадают с градиентами backpropagation.
• PC-ALM особенно хорошо показал себя на очень глубоких и узких сетях, где обычный predictive coding начинает деградировать.
• Метод потенциально интересен для нейроморфного железа, где локальные вычисления и физическая динамика могут быть дешевле классического backpropagation на GPU.