Почему Flash Attention не ускоряет обработку промптов

1 мес

Разбор причин, по которым Flash Attention может не давать ожидаемого прироста скорости при обработке промптов.

Эксперты из каментов, обьясните, какого фига flash attention нифига не убыстряет промпт процессинг. Или это работает только на экстремальных контекстах под лям токенов? Или я чето неправильно понял. Помогите выкупить, я не выкупаю 😤

Кратко (AI)

Автор поста задается вопросом, почему технология Flash Attention не обеспечивает заметного ускорения при обработке промптов. Обсуждается, зависит ли эффективность метода от размера контекста и корректность ожиданий от данной оптимизации.

Обсуждение

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖