Некий стартап LithosAI предлагает сверхбыстрый инференс моделек у себя. Обещают 800 токенов в секунду (на одного юзера) против 150 у другого стирального порошка других провайдеров. При этом это все гоняется не на специализированных чипах Cerebras, а на какой-то обычной стойке из 8 B300. В чем секрет такой выдающей скорости, не раскрывают, утверждают, что все дело в мегаэффективном движке инференса. Правда, по всей видимости основной фактор, определяющий latency, здесь - low-batch serving. И, само собой, удовольствие не дешевое, и чтобы не травмировать психику потенциальных юзеров, цену за мильон токенов не разглашают.