MLX: почему фреймворк Apple меняет правила игры для ML

🍏 MLX: как Apple меня купила и почему я переплатил за 32 GB MacBooka Вы могли заметить последнее время, что абсолютно все в интернете сошли с ума с этими mac mini и мне кажется, что нам стоит поговорить почему. Как уже понятно из названия имя этому почему MLX — фреймворк для машинного обучения, разработанный командой Apple Machine Learning Research 🧠 В чем магия? Если вы когда-нибудь работали с PyTorch на NVIDIA, вы знаете про вечную боль: .to('cuda'). Вы постоянно перекладываете данные из оперативной памяти (RAM) в видеопамять (VRAM). Шина PCIe — это узкое горлышко. В Apple Silicon архитектура объединенная (Unified Memory Architecture). И MLX — это первый фреймворк, который использует её «нативно»: 1. Zero-copy: В MLX нет копирования данных. Массив (mlx.core.array) просто лежит в памяти, и CPU, и GPU работают с одними и теми же байтами по одному адресу. Это убирает огромный оверхед на передачу данных. 2. Lazy Evaluation: Как и JAX (the Google Python library for machine learning and array computing, хз почему именно такая аббревиатура), MLX «ленив». Он не считает ничего, пока вы не попросите результат. Он строит граф вычислений и оптимизирует его: например, объединяет несколько операций в одно ядро (kernel fusion), чтобы лишний раз не дергать память. 3. Metal-First: Библиотека написана на C++ специально под Metal API. Она умеет выжимать максимум из AMX (Apple Matrix Extensions) — секретных блоков внутри чипа, которые созданы исключительно для перемножения матриц. Так что даже я, как былой адепт запускания чего угодно на чем угодно и потом кручения моделек на этом был просто вынужден купить мак на 32 гб, так как убежден, что это прожиточный минимум, а по цене более мощных мини я уже могу себе на тенсоррентах побаловаться #AI @techn0danya