OpenAI представила чип Jalapeño для инференса

Чип OpenAI Халапеньо обогнал Nvidia. Ждал каких-то обзоров первых и вот случились. SemiAnalysis съездили в лабораторию OpenAI и прогнали свой бенчмарк InferenceX на «Jalapeño» – инференс-чипе, который OpenAI делает с Broadcom. Сделали за 16 месяцев от найма людей до готового чипа. Что получилось: – по токенам на мегаватт обходит все чипы Nvidia, AMD и Google, которые SemiAnalysis успели протестировать – на DeepSeek R1 – больше 700 токенов/сек на одного пользователя, на GPT-OSS – около 1 400 – всё это без спекулятивного декодирования (а это дает 3х+ по цене токена), а у конкурентов уже был включен. – Сверхбыстрые HBM4, 15,4 ТБ/с, TDP 700 Вт против 900–1 150 у Rubin – 128 чипов в стойке, до 2 048 в одном scale-up домене Самое интересное – не железо, а как его довели до ума. Ядра Jalapeño пишут почти как ассемблер, на самом низком уровне, и большую часть этой работы делает внутренняя версия Codex. MLA-кернелов для DeepSeek у OpenAI вообще не было – Codex написал. Doom на чипе тоже портировали и запускали промптами. Философия простая: спроектировать железо с максимальным теоретическим потолком, а оптимальные компиляторы под каждую модель пусть пишет ИИ. Если это сработает – индустрия зря десять лет молилась на универсальные компиляторы. Выйдет это все только в следующем году и основная масса - в конце года, но это в любом случае означает, что стоимость токена у OpenAI через год упадет в разы! https://newsletter.semianalysis.com/p/openai-jalapeno-better-than-nvidia