Яндекс представил новую LLM, обученную с нуля

🙂 Яндекс открыл LLM, обученную с нуля: модель обгоняет решение NVIDIA в коде Alice AI Foundation LLM обучена на данных Яндекса без инициализации чужими открытыми весами. Претрейн распространяется под лицензией Apache 2.0, что позволяет использовать решение в коммерческих и исследовательских целях, дообучая под свои задачи. Модель — экспериментальная ступень на пути к единой рассуждающей модели (ЕРМ): на ней Яндекс проверяет архитектурные решения, а сама ЕРМ станет основой агентных возможностей Алисы AI. 🟡 Архитектура Модель построена на MoE: из 80 млрд параметров в моменте активны только 3 млрд. Она уже прошла основной этап обучения, поэтому её можно использовать как основу для собственных проектов. 🟡 Качество По данным тестов: 🟢 в написании кода модель обгоняет решение от NVIDIA; 🟢 в олимпиадных задачах по математике делит лидерство с моделью от Alibaba; 🟢 при меньшем размере превосходит DeepSeek в задачах, требующих широких фактических знаний. С предыдущей моделью компании, Alice AI LLM 235B, новая версия выигрывает в 75% случаев на фактологических вопросах, хотя у той втрое больше параметров и всемеро больше активных. С длинными текстами до 128K токенов модель работает на уровне лидеров рынка, разделяя первенство с DeepSeek. 🟡 Бенчмарки Чтобы проверять знания, важные именно для русскоязычной аудитории, компания подготовила два собственных набора: WikiWebFacts построен на Википедии, HardMultiQA — на данных запросов пользователей к Алисе AI. Вместе с задачами опубликованы эталонные ответы и протокол оценки. 🟡 Обучение Команда добилась, чтобы видеокарты не простаивали в ожидании данных, и один из этапов обучения стал быстрее примерно вдвое. Оптимизация хранения промежуточных данных втрое снизила потребление видеопамяти. Раньше отбор обучающих текстов обходился более чем в 200 тыс. часов работы видеокарт. Теперь документы сначала проходят через предварительные фильтры, и до ресурсоёмкой проверки доходят уже отобранные. Вычислений требуется в десятки раз меньше, а полезных документов сохраняется около 95%. Ещё один вывод касается масштабирования: насколько точно удаётся предсказать, какая модель окажется лучше, зависит от того, на каких данных их сравнивать. На случайном наборе точность такого прогноза 42%, на специально подобранном — 87–94%. Модель, технические отчёты и бенчмарки доступны на Hugging Face, техрепорт опубликован на Хабре. @ai_machinelearning_big_data #news #ai #ml