В Dust активации зашумляют независимо для каждого токена, а изменения лосса используют для оценки направления сдвига выходов слоёв. Полученную оценку превращают в псевдоградиентi и передают оптимизатору — например, SGD или Adam — без явного вычисления градиента обратным распространением.

Авторы проверили метод на небольшой GPT-2-like модели: он сходился заметно лучше эволюционного бейзлайна EGGROLLi и, по их данным, конкурировал с SGD. Подход может быть полезен для обучения моделей с недифференцируемыми компонентами, хотя приведённые эксперименты охватывают только ограниченный масштаб.

ВыводДля каждого токена используют несколько независимых шумов; псевдоградиент получают усреднением изменений лосса, умноженных на шум.

Полный разбор →

По данным Bloomberg и FT, валовая маржа Anthropic в третьем квартале составила около 85%; другой источник оценивает её как более 80%. Однако этот показатель учитывает обслуживание запросов клиентов, но не обучение новых моделей и не долю облачных партнёров, поэтому сам по себе не отражает полную экономику бизнеса.

Компания получает около $100В годовой выручки при мощностях в 5 гигаватт, но, по данным одного из источников, лишь 25% ресурсов уходит на обслуживание клиентов, а остальные 75% — на обучение моделей и технические эксперименты. Это ставит высокую маржу в контекст значительных затрат на инфраструктуру и разработку.

Полный разбор →

OpenAI уволила нескольких подрядчиков, которых наняла для улучшения ответов своих моделей, за то, что те выполняли эту работу с помощью нейросетей — включая Grammarly и ИИ-переводчики. Об этом со ссылкой на внутренние документы компании и разговоры с тремя подрядчиками пишет 404 Mediai.

Ирония ситуации в том, что людям, чья задача — оценивать и улучшать ответы ИИ-моделей, самим запрещено пользоваться любыми ИИ-инструментами. Причина запрета — риск «коллапса моделей»: обучение на данных, сгенерированных более ранними нейросетями, постепенно ухудшает качество, вариативность и точность результата.

Полный разбор →

Авторы новой статьи предлагают альтернативу стандартному алайнменту LLM: вместо того чтобы учить модель имитировать правильный ответ или максимизировать награду в среде (что часто приводит к overconfidence — избыточной уверенности модели в себе), метод учит модель избегать имитации неправильного ответа.

Для этого строится «negative teacheri»: студенческая модель сама генерирует решение задачи, затем ей же дают задачу и её собственное решение и просят через meta-prompt придумать инструкцию, которая направила бы рассуждение по плохому пути. Gold answer при этом не используется — модель не обязана знать, где решение действительно ошибочно, ей нужно лишь найти уязвимое место или предложить вредную стратегию рассуждения.

ВыводПрямая оптимизация неправдоподобия не работает: многие токены неверного решения являются частями верных синтаксических и грамматических конструкций, и наивная оптимизация разваливает модель

Полный разбор →