Технические характеристики архитектуры трансформера
D@derplearningAI-инженер
1 месРазбор параметров архитектуры трансформера, включая MoE, 512 экспертов и контекстное окно 128 тысяч токенов.
Это описание типичного набора параметров для современных высокопроизводительных языковых моделей.
- Показывает сложность современных архитектур нейросетей.
- Иллюстрирует использование MoE (Mixture of Experts) для масштабирования моделей.
- Демонстрирует стандартные компоненты, такие как RoPE и YaRN, для работы с длинным контекстом.
https://t.me/lovedeathtransformers/11033
У нас было 135 040 токенов словаря, 1 536 измерений скрытого состояния, шестнадцать слоёв энкодера, двенадцать слоёв декодера, двенадцать голов внимания и четыре KV-головы. Ещё у нас было 512 экспертов, top-8 маршрутизация, SiLU, RMSNorm, RoPE с YaRN и целых 128 тысяч токенов контекста.
Не то чтобы всё это было категорически необходимо для инференса, но если уж начал собирать трансформер, становится трудно остановиться. Единственное, что меня беспокоило, — это 512 экспертов. Нет ничего более беспомощного, безответственного и испорченного, чем MoE, уходящий в полный роутинг. Я знал, что рано или поздно мы доберёмся и до него.
Кратко (AI)
Автор иронично описывает конфигурацию мощной языковой модели, перечисляя её ключевые архитектурные параметры. В списке характеристик упоминаются MoE с 512 экспертами, контекстное окно в 128 тысяч токенов и использование современных методов нормализации и позиционного кодирования.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖