В комментах возникло любопытное соображение. А что если мы возьмём чужую модель и будем при помощи неё генерировать верифицируемые задачи для написания кода. Оставим сейчас за скобками вопрос о том, как именно сделать сгенерированные задачи верифицируемые (это не очень просто), но, допустим, мы сделали такой пайплайн. То есть: 1. Генерируем чужой моделью задачки, ответ на которые можно проверить автоматически 2. Обучаемся на этих задачках, используя RL 3. PROFIT! Теоретически при таком подходе «ученик» может даже превзойти «учителя». Как по мне — такой подход это «каша из топора», ЕВПОЧЯ. Ну то есть чужая модель вам тут в целом не нужна — вы можете воспользоваться предыдущей версией своей собственной модели. Резонный контраргумент: допустим, наш способ генерации синтетики такой, что нам нужна очень «умная» модель. Если так, у этого будет одно не очень приятное последствие. Это будет значить, что вы не сможете при генерации заданий использовать достаточно большую температуру генерации, в итоге у вас получится датасет, который будет при его использовании способствовать коллапсу внутренних представлений «ученика» (ну и наследовать предубеждения вы тоже будете, скорее всего)

Исследователи из Флоридского международного университета пробили защиту мультимодальных нейросетей одной картинкой. Команда собрала алгоритм JaiLIP, который математически перестраивает пиксели и сохраняет визуально нормальное изображение. Теперь хакерам хватает одного заражённого файла, чтобы обойти текстовые фильтры. ИИ читает графику через голые цифры, поэтому невидимый шум заставляет систему сносить встроенные ограничения. На тестах с популярной моделью BLIP-2 новый метод заставил ИИ выдать почти в 2 раза больше опасных ответов. Разработчики скормили нейросети ничем не примечательную фотографию светофора. Система проглотила наживку и подробно объяснила, как проехать на красный свет и не получить штраф. В стандартном режиме алгоритмы безопасности сразу рубят такие инструкции. Компании активно внедряют автоматизированных ботов, которые умеют распознавать графику. Небольшие команды часто выкатывают опенсорсные продукты вслепую и не ищут уязвимости. Злоумышленник просто кидает модифицированную картинку в обычный чат-бот, после чего ИИ по-тихому меняет логику работы.

🔬 Метод Авторы замечают, что обновления весов в радиальном и угловом направлениях не являются независимыми. Для оптимизаторов типа Адама/Мюона величина шага не зависит от нормы весов, поэтому изменение угла обратно пропорционально норме весов. Аналогично, при движении вдоль касательной (по радиальному градиенту) растет норма весов. И чтобы она не улетела в космос, приходится накладывать weight decay. 🧮 Дабы обеспечить контроль над величиной веса, его можно представить в следующем виде: W = diag(γ_row) W_hat diag(γ_col) Где W_hat — нормализованный вес, а γ_row и γ_col — построчные и поколоночные мультипликаторы, которые могут быть как скалярами, так и векторами. Нормализовать можно как по норме Фробениуса всей матрицы, так и по строкам или столбцам. 📊 Эксперименты 🧪 Авторы аблируют разные варианты нормализации и параметризации gains. Вариант с нормализацией всей матрицы выглядит не хуже остальных, будучи при этом самым простым, поэтому в итоге используют именно его. ✅ γ_row и γ_col полезно иметь в виде векторов, причем оба должны быть обучаемыми. Использование row и col gains более высокого ранга не помогает. Чтобы gains не обращались в ноль, их можно параметризовать через строго положительную функцию активации, но и без такой параметризации метод работает стабильно. 📈 Хорошим свойством нормализации весов является переносимость learning rate между моделями разной ширины и глубины. Оптимальная величина шага обучения оказывается почти постоянной. Кроме того, больше не нужен warmup в начале обучения, так как оптимизатор не взрывается по ходу обучения. Weight decay теперь тоже становится лишним, поскольку параметризация сама обеспечивает нахождение нормы весов в разумных пределах. 📉 Лучше всего работает линейное затухание learning rate вместо популярного нынче WSD. 🏆 В итоге лучший вариант MuonMD (Magnitude-Direction) сходится быстрее по числу итераций по сравнению с базовым Мюоном. Причем работает он хорошо как для Dense-, так и для MoE-моделей. ⚙️ На практике веса моделей хранятся так же, как и раньше: разбиение на величину и угол выполняется внутри оптимизатора. Замедление шага обучения при этом небольшое (около 5% у Адама и 1–2% у Мюона). 💡 Выводы Выглядит как многообещающий и интересный результат. Интересно, насколько скоро данная техника будет внедрена в обучение больших моделей и станет ли она такой же стандартной практикой, как Мюон.