LUT3 в NVIDIA Rubin: новое 3-битное представление весов

LUT3 в NVIDIA Rubin Блогпост от какого-то челика Описание хранения в PTX ISA Последнее поколение GPU от NVIDIA добавило аппаратную поддержку специфичного 3-битного типа данных LUT3. Данный тип из себя представляет следующее: • 3-битные значения • Один скейл на 32 значения как в MXFP (0.25 бита на значения) • Одна кодовая книга из 8-битных слов в FP8 на 512 весов (0.125 бит на значение) Итого 3.375 бит, или на 20% меньше MXFP4. Утверждается, что в таком виде его можно подать тензорным ядрам, и они сами умножат, как надо и довольно быстро. Выглядит как перспективный вариант сжимать и обучать LLM-ки, с поддежкой батчового инференса. Однако никаких бенчмарков скорости, времени работы умножения с таким представлением, я нигде не смог найти.