Стартап Thinking Machines Lab, основанный экс-техдиректором OpenAI Мирой Мурати, представил свою первую модель с открытыми весами — Inkling. Это мультимодальный MoEi-трансформер на 975 млрд параметров (41 млрд активных), обученный на 45 трлн токенов текста, изображений, аудио и видео, с контекстом до 1 млн токенов.
Компания прямо признаёт: Inkling — не лидер среди открытых и закрытых моделей рынка. Ставка сделана не на бенчмарки, а на кастомизацию: модель встроена в платформу Tinkeri, через которую пользователи могут дообучать её под свои задачи, и именно Tinker, а не сама модель, должен приносить компании доход.
975 млрдвсего параметров Inkling
41 млрдактивных параметров (MoE)
1 млн токеновмаксимальный контекст модели