Прохожу новый курс Начал проходить Стэнфордский курс Language Modeling from Scratch Моя цель - проходить по два курса в год. Зимой я проходил курс по программированию на CUDA, теперь вот учусь обучать LLM с нуля. ➡️ Мысль за этим следующая. Во-первых, чтобы хорошо делать свою работу, нужно иметь знания на 1-2 уровня глубже чем используешь в повседневной деятельности. Во-вторых, в части задач я все-таки рассчитываю, что мы начнем использовать легкие зафайнтюненные LLM-ки. Чтобы сэкономить, снизить лейтенси и главное - быть менее зависимыми от внешних API. Но тут хз, непонятно, что будет с областью через пару лет 🤷‍♂️ Прикольный курс. Я пока не смотрю лекции, только делаю домашки. Лекции буду смотреть по факту, когда сделаю. То, что ты не трогаешь руками - не откладывается. На этом курсе абсолютно шикарные домашки с хорошими тестами. Курс рассчитан в том числе и на самостоятельное прохождение. Уже написал и обучил токенизатор с нуля, сейчас пишу компоненты LLM на торче. ➡️ Из интересного, с домашками идут настройки Клода и Кодекса, которые не дают агенту напрямую писать код за студента, но дают отвечать на вопросы и помогать искать ошибки. Супер полезно. Буду делиться впечатлениями!

⚡️ Moonshot AI открыла FlashKDA - быстрые CUDA-ядра для Kimi Delta Attention FlashKDA — реализация KDA на базе CUTLASS, заточенная под современные GPU NVIDIA. По бенчмаркам разработчиков: • H20: ускорение примерно до 2,31× относительно chunk_kda • GB200: до 3,27× на variable-length sequences • поддерживается batching последовательностей разной длины • интеграция уже есть в flash-linear-attention ≥ 0.5.0 — FlashKDA может автоматически выбираться как backend Требования пока серьёзные: SM90+, CUDA 12.9+ и PyTorch 2.4+. Интересно здесь другое: вместе с моделями Moonshot постепенно открывает и низкоуровневый стек, необходимый для быстрого запуска их архитектур. 🔗 https://github.com/MoonshotAI/FlashKDA

Python: как один из самых медленных языков стал королем нейросетей В наборе тестов USENIX приложения на CPython отработали в среднем в 29,5 раза медленнее, чем те же программы на C++. При этом именно Python стал основным инструментом машинного обучения и держит первую строчку в рейтинге TIOBE, опережая C, C++ и Java. Самый медленный в этой компании язык возглавил область, где всё упирается в скорость вычислений. Разгадка в том, что тяжёлую математику Python выполняет вовсе не сам. Один его вызов способен запустить перемножение матриц из миллионов элементов, и вся нагрузка при этом уходит в скомпилированное ядро на C++ или CUDA. Получается, что в такой работе программа большую часть времени проводит за пределами самого Python.

Book ReviewGPU-Accelerated Computing with Python 3 and CUDA Я получил очередную книжку от Packt на прочтение и ревью. Книга учит писать код под GPU на Python: сначала CUDA-ядра на Numba-CUDA, потом высокоуровневые библиотеки (CuPy вместо NumPy/SciPy, RAPIDS cuDF/cuML вместо pandas/scikit-learn, JAX), и в конце четыре мини-проекта. Книга мне понравилась (но код запускать я не пробовал). Авторы замеряют все оптимизации и демонстрируют случаи, когда ускорение не получилось. Из интересного: на примере computer-vision демонстрировали три способа классификации зашумлённых объектов: 7 Hu moments дают 66.7% за миллисекунды, template matching — 80%, но больше минуты на прогон, а CNN выдаёт 88% на чистом Fashion-MNIST и проседает до 60% на зашумлённых объектах. Из минусов — финальная глава строит LLM на IMDb (странный выбор датасета для генерации, и вывод модели не особо внятный). Хорошая книга для тех, кто пишет на Python и хочет понимать работу с GPU на более низком уровне, чем PyTorch/Jax. Amazon Packt Code Мои обзоры: Personal blog Medium Linkedin #books