✔️ Китайская Ханьсюй показала архитектуру инференса на магнитной памяти Компания, которую в Китае называют первой отечественной MRAM-компанией магнитных вычислений, представила два архитектурных уровня для инференса - uHBM и uLPU. Ханьсюй предлагает держать веса целевой модели постоянно в массиве в массиве энергонезависимой MRAM - матрично-векторные операции выполняются на том же кристалле, а наружу идут только векторы активаций, которые заметно меньше.

Магниторезистивная память хранит бит не зарядом, как обычная память, а направлением намагниченности. В ней ячейка - это магнитный туннельный переход: два ферромагнитных слоя, разделённые тончайшим изолятором. Когда намагниченность слоёв сонаправлена, сопротивление низкое, когда противоположна - высокое, и по нему считывается ноль или единица. У MRAM почти нулевой ток утечки, скорость переключения наносекундная, а ресурс перезаписи практически неограниченный в отличие от флеш-памяти.

uHBM - это кристалл вычислительной памяти на MRAM, работающий в паре с GPU или NPU через UCIe, LPDDR5X или GDDR7. uLPU - инференс-чип, построенный поверх uHBM. Заявленные расчётные показатели первого поколения uHBM - 24 ТБ/с внутрикристальной полосы на чтение и цель выше 2000 токенов в секунду при декодировании мультимодальной модели на 4 млрд параметров. Из реальных прототипов есть верификационный чип SpinPU-ED01 со 120 банками MRAM, который прошёл независимую проверку и отработал 24 часа в стабильном режиме. Сроков, техпроцесса и цен компания не называет, но декларирует планы от кристалла до модуля, 2U-лотка и стойки. @ai_machinelearning_big_data #news #ai #ml