Thinking Machines Lab представила мультимодальную модель Inkling

Thinking Machines Lab выпустила Inkling — свою первую модель, обученную с нуля, с полностью открытыми весами. Это Mixture-of-Experts трансформер на 975 млрд параметров (41 млрд активных) с контекстом до 1 млн токенов, предобученный на 45 трлн токенов текста, изображений, аудио и видео. Inkling, как пишет компания, не сильнейшая модель на рынке, а широкая мультимодальная база для дообучения, доступная на платформе Tinker — собственно, это основной продукт компании Миры Мурати. Параллельно анонсирован превью Inkling-Small на 12 млрд активных параметров, который на многих бенчмарках не уступает старшей версии. Это интересное развитие и выглядит как понятная стратегия проекта. В отличие от громкого молчания со стороны проекта другого эмигранта из OpenAI — никто не в курсе, что там с новостями от Суцкевера? https://thinkingmachines.ai/news/introducing-inkling/