Mistral представила флагманскую модель Large 4
D@data_secretsAI-инженер
3 недMistral анонсировала Large 4 (Le Chonk) — мультимодальную модель на 1.05T параметров с поддержкой контекста 1 млн токенов.
Выход новой мощной модели от Mistral усиливает конкуренцию на рынке открытых ИИ-решений.
- Large 4 претендует на звание SOTA среди открытых моделей в задачах кодинга и анализа данных.
- Поддержка контекста в 1 млн токенов позволяет обрабатывать огромные массивы документов за раз.
- Публикация весов 27 октября даст разработчикам доступ к мощному инструменту для локального развертывания.
Voici Le Chonk, un modèle à 1 000 milliards de paramètres
Mistral представила новую флагманскую модель Large 4. Но официально внутри компании ее называют Le Chonk. Это отсылка к мему Le Chaton Fat, фейковой гигантской модели Mistral, которую несколько месяцев назад придумали в соцсетях.
Large 4 это крупненькая MoE на 1.05T параметров, 49B активных. Модель мультимодальная, поддерживает контекст до 1 млн токенов и уже доступна через API в режиме public preview.
По собственным тестам Mistral, это новая открытая SOTA по США и Европе. Отдельно выделяют кодинг, кибербезопасность и финансы, а в задачах на детекцию объектов на изображениях модель обходит даже некоторые закрытые фронтиры.
Обучали с нуля около двух месяцев на 4 000 Nvidia Grace Blackwell. Для модели такого размера это, кстати, довольно компактный кластер.
Веса обещают выпустить 27 октября.
https://mistral.ai/news/mistral-large-4/
Кратко (AI)
Компания Mistral представила новую флагманскую мультимодальную модель Large 4, известную внутри как Le Chonk. Модель имеет 1.05 триллиона параметров, поддерживает контекст до 1 миллиона токенов и показывает высокие результаты в кодинге и финансах. Веса модели будут опубликованы 27 октября.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖