Исследователи исправили ошибки в Softmax и Cross-Entropy
С@oulenspiegel_channelAI-инженер
18 чВ реализациях Softmax и Cross-Entropy в Jax и PyTorch нашли два бага, которые могли искажать градиенты и мешать стабильному обучению.
Ошибки в базовых вычислениях могли незаметно искажать обучение моделей.
- Исправления касаются реализаций Softmax и Cross-Entropy в Jax и PyTorch.
- Искажения градиентов могли возникать как при доминирующем логите, так и при близких распределениях.
- Починка, по словам автора поста, помогает стабилизировать обучение моделей.
Видели, кстати, что творится: https://arxiv.org/abs/2610.31642
Исследователи (вполне вероятно, вооружённые современными ИИ-инструментами) нашли и починили два бага — в софтмаксе и кросс-энтропии, а именно:
— Softmax Collapse — случается, когда один логит сильно больше остальных. Из-за округления градиент по этому логиту может незаметно обнулиться (а по остальным — нет).
— Softmax Cancellation — если при вычислении кросс-энтропии распределения близки (например, при дистилляции, когда студент инициализируется учителем), градиенты могут заметно отличаться от нуля.
Причём был в реализациях Softmax и Cross-Entropy как в Jax, так и PyTorch. Починка помогает стабилизировать обучение моделей.
Интересно, что косяк был, что называется, «у всех навиду».
А вообще, мой всем совет, используйте, где это возможно, вероятностное округление вместо обычного — в мире low precision-обучения это мастхэв
Кратко (AI)
Исследователи обнаружили и исправили два численных бага в вычислениях Softmax и Cross-Entropy, использовавшихся в Jax и PyTorch. Ошибки могли искажать градиенты при больших различиях между логитами и при близких распределениях; автор поста также рекомендует вероятностное округление для low precision-обучения.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖