Обзор производительности модели Gemma 4 31B на железе Cerebras
L@llm_under_hoodAI-инженер
1 месАнализ возможностей новой модели Gemma 4 31B, запущенной на чипах Cerebras, и сравнение её скорости с GPT-5.4 mini.
Новая модель на фронтире - Gemma 4 31B (Cerebras)
@AigizK сегодня попробовал Gemma 4 31B на Cerebras и сильно хвалил результаты. Поэтому попробовал запустить на агентском бенчмарке под бизнес-задачами и я.
Cerebras - это такой производитель гигантских чипов для запуска моделей. Их wafer-scale engines раз в 50 больше самых крупных GPU. Железо получается очень дорогое и специализированное, зато позволяет запускать небольшие модели на диких скоростях. Недаром OpenAI гоняет некоторые GPT-5 модели именно на их железе.
Gemma 4 31B в режиме с отключенным reasoning (ибо тормозит и спотыкается об structured outputs), будучи запущенной под Cerebras, пододвинула фронтир по скорости. Она на нем находится совсем рядом с GPT-5.4 mini (как по качеству, так и по цене).
Основное отличие - Gemma 4 31B можно скачать, запустить локально и даже в ускоренном режиме на выделенном железе вроде TT-QuietBox 2 (Blackhole) от Tenstorrent (помните, я писал про них).
Я преимущественно пользуюсь моделями от OpenAI, т.к. они обычно самые зубастые и способные в бизнес-задачи. Поэтому меня так и радует, когда появляются модели, способные их пододвинуть!
Ваш, @llm_under_hood 🤗
Кратко (AI)
Автор тестирует новую модель Gemma 4 31B на специализированном железе Cerebras и отмечает её высокую скорость работы. Модель показывает результаты, сопоставимые с GPT-5.4 mini, при этом её можно запускать локально или на специализированных ускорителях вроде TT-QuietBox 2.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖