Как решать задачи оптимизации, когда функция негладкая, есть ограничения, а данных слишком много? В свободном доступе есть Proximal Algorithms Нила Париха и Стивена Бойда – 113-страничная монография о проксимальных алгоритмах. Идея: вместо одной сложной задачи последовательно решать небольшие подзадачи. На каждом шаге нужно улучшить значение функции, одновременно ограничивая удаление от текущей точки. Такие методы особенно полезны для негладкой, крупномасштабной и распределённой выпуклой оптимизации. Внутри – объяснение проксимального оператора, его связь с проекциями на выпуклые множества, обзор алгоритмов и множество примеров. К материалу прилагаются слайды, библиотека проксимальных операторов и MATLAB-примеры: Lasso, разложение матриц, стохастическое управление и оптимизация портфеля. Подойдёт тем, кто хочет глубже разобраться в математике оптимизации. Для чтения пригодятся линейная алгебра и основы выпуклого анализа. PDF: https://web.stanford.edu/~boyd/papers/pdf/prox_algs.pdf Материалы и код: https://stanford.edu/~boyd/papers/prox_algs.html