Dust заменяет обратное распространение ошибки оценкой градиента по шуму

https://github.com/qlabs-eng/noise https://qlabs.sh/research/dust Выкидыаем метод обратного распространения ошибки. Выглядит забавно: делаем только прямые проходы по сетке, считаем лосс, добавляем шума к активациям после линейных слоёв (разного для разных токенов), смотрим как поменялся лосс отдельных токенов, в зависимости от этого оцениваем, в какую сторону должен был сдвинуться выход каждого слоя, и превращаем эту оценку в аппроксимацию градиента, которую запихиваем в SGD/Adam. Это, в теории, позволяет использовать недифференцируемые компоненты: поиск, симуляторы, внешнюю память. Или сильно быстрее и стабильнее обучать зацикленные трансформеры.