IFM представил линейку открытых моделей K2 Horizon

✔️ IFM представил K2 Horizon - шесть открытых моделей от 0,9B до 375B Линейка Institute of Foundation Models охватывает задачи от работы на устройствах до рассуждений, программирования и AI-агентов. По заявлению IFM, для каждой модели публикуются веса, код обучения, конфигурации, данные или подробные рецепты их подготовки, промежуточные чекпоинты, логи и оценки качества. Материалы охватывают путь от предобучения до обучения рассуждениям и агентным задачам. Основные детали: * Около 20 трлн токенов на модель. В обучающей смеси - веб, код, математика, научные, многоязычные и синтетические данные. * Около 17% корпуса содержат явные цепочки рассуждений. По данным IFM, при предобучении использовали примерно 10 трлн синтетических токенов. * Более 100 млн уникальных задач подготовлены для постобучения. Открывается пайплайн SFT, объединения моделей, RL и специализированного обучения агентов. * 36B-A4B активирует около 4 млрд параметров на токен. Архитектура Mixture-of-Value Attention переносит маршрутизацию экспертов в механизм внимания. По оценкам авторов, модель приближается к плотной 32B, обученной в сопоставимых условиях. Для версий 0,9B, 3,7B и 7B IFM заявляет лучшие результаты в своих размерных категориях. Также команда выпускает инфраструктуру обучения xLLM. Один из датасетов предобучения, TxT360-v2 объёмом 5,3 ТБ, опубликован на Hugging Face. https://huggingface.co/datasets/IFM/TxT360-v2