В Dust активации зашумляют независимо для каждого токена, а изменения лосса используют для оценки направления сдвига выходов слоёв. Полученную оценку превращают в псевдоградиентi и передают оптимизатору — например, SGD или Adam — без явного вычисления градиента обратным распространением.
Авторы проверили метод на небольшой GPT-2-like модели: он сходился заметно лучше эволюционного бейзлайна EGGROLLi и, по их данным, конкурировал с SGD. Подход может быть полезен для обучения моделей с недифференцируемыми компонентами, хотя приведённые эксперименты охватывают только ограниченный масштаб.
ВыводДля каждого токена используют несколько независимых шумов; псевдоградиент получают усреднением изменений лосса, умноженных на шум.
8-слойнойразмер тестовой модели
2kдлина контекста
10–20 млнтокенов в бюджете обучения