OpenAI анонсировала Ultrafast mode для модели GPT-5.6 Sol
D@data_secretsAI-инженер
2 недOpenAI представила Ultrafast mode для GPT-5.6 Sol на базе архитектуры Cerebras, обеспечивающий скорость генерации до 750 токенов в секунду.
Технологический прорыв в скорости работы нейросетей меняет правила игры для сложных вычислений.
- Скорость генерации текста увеличивается в 14 раз, что критично для real-time приложений.
- Использование архитектуры Wafer-Scale Engine устраняет узкое место передачи данных между памятью и процессором.
- Значительное сокращение времени выполнения сложных бенчмарков по сравнению с текущими лидерами рынка.
Дождались: OpenAI превьюит Ultrafast mode для GPT-5.6 Sol
Это тот самый инференс на Cerebras. Ускорение обещают в 14 раз (!), модель сможет генерировать до 750 токенов в секунду.
Для такого гиганта как Sol это просто грандиозная скорость. Достигается она за счет того что Wafer-Scale Engine архитектура Cerebras держит веса модели прямо на огромных чипах, и их не приходится гонять между памятью и хранилищем.
На видео спидран HLE. На весь бенчмарк ушло чуть больше 11 минут. У Claude Fable тот же прогон занял почти 80.
Пока мод будет доступен только избранной группе пользователей в API, но может и до обычных юзеров скоро доберется (интересно, сколько будет стоить).
https://openai.com/index/previewing-ultrafast/
Кратко (AI)
OpenAI представила режим Ultrafast для модели GPT-5.6 Sol, работающий на чипах Cerebras с архитектурой Wafer-Scale Engine. Это позволяет достичь скорости генерации до 750 токенов в секунду, что значительно быстрее существующих аналогов, таких как Claude Fable.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖