16 тысяч токенов в секундускорость генерации Llama на чипе Taalas
AMD объявила о поглощении канадского стартапа Taalas — разработчика специализированных ускорителей для инференсiа ИИ-моделей. Технология Taalas фиксирует параметры конкретной нейросети прямо в топологии чипа, за счёт чего такие ASICi обходят универсальные GPU по скорости и энергоэффективности обработки запросов.
Ранее Taalas показал скорость генерации 16 тысяч токенов в секунду на модели Llama, помещённой целиком на чип. AMD планирует встроить эту технологию в дорожную карту своих ускорителей и предлагать её в связке с GPU Instinct как готовые системные решения, что обещает жёсткую конкуренцию с Nvidia на рынке инференса.
2 месяцасрок подготовки чипа под конкретную модель