Как на самом деле работают LLM

Как на самом деле работают LLM Раньше на вопрос, сколько букв «R» в слове «strawberry», модель уверенно называла неверное число. Выглядело так, будто она не умеет считать. На деле она вообще не видит отдельных букв, потому что работает не с текстом, а с токенами, числовыми идентификаторами кусков слова, и слово для неё распадается на несколько фрагментов. Отсюда тянется всё остальное устройство. Токены превращаются в векторы, где king − man + woman даёт примерно queen, дальше их сравнивает механизм внимания, а сами знания вроде «Париж столица Франции» лежат конкретными весами, которые можно точечно переписать и переселить Эйфелеву башню в Рим без переобучения. Разберёмся, как из токенов и векторов собирается вся работа модели до предсказания следующего слова.