LUT3 в NVIDIA Rubin Блогпост от какого-то челика Описание хранения в PTX ISA Последнее поколение GPU от NVIDIA добавило аппаратную поддержку специфичного 3-битного типа данных LUT3. Данный тип из себя представляет следующее: • 3-битные значения • Один скейл на 32 значения как в MXFP (0.25 бита на значения) • Одна кодовая книга из 8-битных слов в FP8 на 512 весов (0.125 бит на значение) Итого 3.375 бит, или на 20% меньше MXFP4. Утверждается, что в таком виде его можно подать тензорным ядрам, и они сами умножат, как надо и довольно быстро. Выглядит как перспективный вариант сжимать и обучать LLM-ки, с поддежкой батчового инференса. Однако никаких бенчмарков скорости, времени работы умножения с таким представлением, я нигде не смог найти.

RTX 60 могут выйти уже в первой половине 2027 года Инсайдер Moore’s Law Is Dead утверждает, что Nvidia планирует выпустить новое поколение видеокарт на архитектуре Rubin в первой половине 2027 года. Точные характеристики компания пока держит в секрете, но, по данным источников, флагманский GPU получит кардинальные изменения, возможно переход на чиплетную архитектуру. При этом MLID советует не рассчитывать на RTX 50 Super. Даже если Nvidia выпустит обновлённую серию, её жизненный цикл может составить всего около полугода, что сделает покупку сомнительной. Инсайдер также считает, что DLSS 5 изначально разрабатывался для RTX 60, но из-за дефицита памяти и недовольства пользователей Nvidia могла показать технологию раньше запланированного срока.

NVIDIA раскрыла полную архитектуру Vera Rubin, показала первые тесты и передала первые системы заказчикам NVIDIA опубликовала детальную архитектуру Rubin GPU (336 млрд транзисторов, 8 GPC, 224 SM, 896 Tensor Cores, 288 ГБ HBM4 с пропускной способностью 22 ТБ/с) и Vera CPU (88 ядер Olympus на Armv9.2, Spatial Multi-Threading, до 1,5 ТБ LPDDR5X с пропускной способностью 1,2 ТБ/с). В DeepSeek-R1 первый бенчмарк показал 10-кратное увеличение пропускной способности на мегаватт по сравнению с Grace Blackwell NVL72. При энергопотреблении 150 МВт Vera Rubin выдаёт 800 000 токенов/с против 80 000 у GB200. Vera CPU в SPECrate integer обходит двухпроцессорный AMD Epyc 9755 с результатом 925 против 898 балло . Заявлен 50% прирост IPC против Grace. Монолитный кристалл, по данным NVIDIA, даёт в 3 раза больше пропускной способности на ядро и на 40% ниже задержки памяти, чем чиплетные решения AMD и Intel. Платформа уже развёрнута у CoreWeave, Google Cloud, Microsoft Azure и Oracle Cloud Infrastructure и охватывает более 350 заводских узлов в 30 странах. Среди первых клиентов — OpenAI, Anthropic и SpaceX.

Меня тут в комментах настоятельно просят перестать критиковать политику боссов PlayStation. Ну, что ж, свое мнение я высказал, в целом, мне добавить нечего. Давайте теперь поговорим об Nvidia. Из новостей стало известно, что стойка NVIDIA Rubin Ultra V300 в стойке NVL144 (144 GPU по 576 ГБ HBM4e) обойдётся в $21 млн — только память HBM4e потянет на $1,5 млн. В одном дата-центре могут быть размещены сотни таких стоек. А теперь напомню, что на производство 1 ГБ HBM4E уходит в 3,5 раза больше площади кремниевых пластин (оценка грубая, ну, пусть будет она). То есть, вместо одной такой стойки можно было бы теоретически произвести память для примерно 126 видеокарт RTX 5080, которые продавались бы геймерам и авторам контента в идеальном мире по рекомендованной цене 999 долларов каждая, итого получилось бы 126 000 долларов за видеокарты в сборе, вместо полутора миллионов чисто за память в мире сегодняшнем. Штош, так и живем. И пока просвета не видно.