Sakana AI разработала метод PC-ALM, позволяющий обучать глубокие нейросети без классического обратного распространения ошибки (backpropagationi), используя только локальные взаимодействия между соседними слоями. Метод способен обучать сети глубиной до 1000 слоёв — там, где обычный predictive codingi, на котором основан PC-ALM, обычно ломается из-за затухания сигнала ошибки.
Значимость в том, что backpropagation, придуманный ещё в 1970-е, требует строго последовательного прохода сигнала вперёд, затем ошибки назад и лишь потом обновления весов — что биологически неправдоподобно и плохо масштабируется на некоторые виды железа. PC-ALM предлагает альтернативу, вдохновлённую тем, как предположительно работает мозг, и может оказаться дешевле backprop на нейроморфных чипах.
ВыводВ обычном predictive coding каждый слой оптимизирует не только веса, но и свои активации, предсказывая активность соседнего слоя; наверх передаётся только необъяснённый остаток ошибки.