Детали чипа Jalapeño от OpenAI

Больше деталей о Jalapeño от OpenAI OpenAI опубликовали блогпост, протестировали чип на InferenceX от SemiAnalysis и дали лекцию на Hot Chips с деталями. На каждом таком чипе 216 гигабайт HBM4, они могут выдавать вплоть до 13,4 PFLOP/s в mxfp4. По сравнению с GB200/GB300 он выдаёт в разы больше токенов в секунду на пике и вплоть до 2x токенов на ватт при максимальной пропускной способности, причём разрыв только растёт с увеличением токенов в секунду на юзера. Но реальный конкурент Jalapeño это конечно же Rubin, новое поколение Nvidia. Бенчмарки Rubin пока что ограничены, но судя по опубликованным, Jalapeño обгоняет и их. Причём Rubin в бенчмарках использует спекулятивный декодинг, в отличие от Jalapeño, где есть ещё много что оптимизировать. Короче говоря, у OpenAI теперь есть очень хороший чип, сравнимый с лучшими чипами Nvidia в инференсе. Но самое поразительное тут это скорость разработки — начали разрабатывать чип в октябре 2024, первая версия чипа ушла в производство в ноябре 2025, с первыми чипами готовыми в мае 2026. И менее чем за три месяца софт чипа уже на уровне позволяющем конкурировать с лучшими в индустрии. Кстати делала Jalapeño крохотная команда всего в ~30 человек. Массовое развёртывание Jalapeño будет уже в следующем году. @ai_newz