Mamba: архитектура, которая шла убивать трансформеры

Mamba: архитектура, которая шла убивать трансформеры В декабре 2023 по ML-тусовке прокатились заголовки в духе «трансформерам конец». Повод дали два исследователя со статьёй про архитектуру Mamba, внутри которой не было того самого attention, на котором держится весь современный тир-лист нейронок. И при этом она жевала длинные тексты в несколько раз быстрее трансформера и на меньшей памяти. Вместо того чтобы сверять каждый токен с каждым за квадратичную цену, она ведёт одно бегущее состояние и на лету решает, что впустить, а что отбросить как шум. Спойлер, который спустя столько времени уже не спойлер: трон трансформеры не потеряли. Но история кончилась не тем, что очередной хайп-трейн не взлетел. Пока все спорили, кто кого, индустрия сделала третий ход, которого никто не ждал.