Видели, кстати, что творится: https://arxiv.org/abs/2610.31642 Исследователи (вполне вероятно, вооружённые современными ИИ-инструментами) нашли и починили два бага — в софтмаксе и кросс-энтропии, а именно: — Softmax Collapse — случается, когда один логит сильно больше остальных. Из-за округления градиент по этому логиту может незаметно обнулиться (а по остальным — нет). — Softmax Cancellation — если при вычислении кросс-энтропии распределения близки (например, при дистилляции, когда студент инициализируется учителем), градиенты могут заметно отличаться от нуля. Причём был в реализациях Softmax и Cross-Entropy как в Jax, так и PyTorch. Починка помогает стабилизировать обучение моделей. Интересно, что косяк был, что называется, «у всех навиду». А вообще, мой всем совет, используйте, где это возможно, вероятностное округление вместо обычного — в мире low precision-обучения это мастхэв

🍏 MLX: как Apple меня купила и почему я переплатил за 32 GB MacBooka Вы могли заметить последнее время, что абсолютно все в интернете сошли с ума с этими mac mini и мне кажется, что нам стоит поговорить почему. Как уже понятно из названия имя этому почему MLX — фреймворк для машинного обучения, разработанный командой Apple Machine Learning Research 🧠 В чем магия? Если вы когда-нибудь работали с PyTorch на NVIDIA, вы знаете про вечную боль: .to('cuda'). Вы постоянно перекладываете данные из оперативной памяти (RAM) в видеопамять (VRAM). Шина PCIe — это узкое горлышко. В Apple Silicon архитектура объединенная (Unified Memory Architecture). И MLX — это первый фреймворк, который использует её «нативно»: 1. Zero-copy: В MLX нет копирования данных. Массив (mlx.core.array) просто лежит в памяти, и CPU, и GPU работают с одними и теми же байтами по одному адресу. Это убирает огромный оверхед на передачу данных. 2. Lazy Evaluation: Как и JAX (the Google Python library for machine learning and array computing, хз почему именно такая аббревиатура), MLX «ленив». Он не считает ничего, пока вы не попросите результат. Он строит граф вычислений и оптимизирует его: например, объединяет несколько операций в одно ядро (kernel fusion), чтобы лишний раз не дергать память. 3. Metal-First: Библиотека написана на C++ специально под Metal API. Она умеет выжимать максимум из AMX (Apple Matrix Extensions) — секретных блоков внутри чипа, которые созданы исключительно для перемножения матриц. Так что даже я, как былой адепт запускания чего угодно на чем угодно и потом кручения моделек на этом был просто вынужден купить мак на 32 гб, так как убежден, что это прожиточный минимум, а по цене более мощных мини я уже могу себе на тенсоррентах побаловаться #AI @techn0danya