Обзор ключевых технологий LLM: от токенизации до квантования и архитектур

Ебобаная привычка после 10-и минутных видосов писать кратко, емко и самое главное в быстром темпе, что б вы, СДВГшники, не заскучали 😄 Крч, я каким то хреном умудрился в первые 40 минут впихнуть следующий список тем: 1. LLM 2. Промпт 3. Обучение модели и инференс как разные процессы 4. Пост-тренировка в формате «инструкция → вывод» 5. Веса / параметры модели 6. Предсказание следующего токена 7. Токены и токенизатор 8. Особенности токенизации латиницы и кириллицы 9. Число параметров 10. Dense-модели 11. Эмерджентные свойства 12. Типы данных и точность весов (в т.ч. 16-бит) 13. Оценка потребления памяти по числу параметров 14. Квантизация 15. Floating point, мантисса и экспонента 16. FP8 и низкобитные форматы 17. Аппаратное ускорение низкобитных вычислений 18. Влияние квантизации на качество модели 19. Запуск квантованных моделей на CPU (в т.ч. SIMD) 20. Слои модели 21. Статическая квантизация по шаблонам 22. Защита отдельных слоев при сжатии (эмбеддинги, нормализация, ключевые блоки) 23. Адаптивная квантизация слоев с разной битностью 24. iMatrix и i-кванты 25. QAT (Quantization-Aware Training) 26. Сверхнизкобитная квантизация 27. Формат GGUF 28. Дистилляция (Distilled-модели) 29. Прунинг 30. Fine-tuning 31. LoRA и QLoRA 32. MoE (Mixture of Experts) 33. Роутер / маршрутизатор экспертов 34. Активные параметры 35. REAP 36. Спекулятивное декодирование 37. MTP (Multi-Token Prediction) 38. Reasoning 39. Мультимодальность 40. Vision 41. Speech-to-Text 42. Контекстное окно 43. Attention 44. Квадратичная сложность Attention 45. KV-кэш 46. Prefill / обработка промпта 47. Flash Attention 48. Квантизация KV-кэша 49. Paged Attention 50. Lost in the Middle Теперь думайте, а чё же там происходит дальше 😄