Google представила EmbeddingGemma 2 — открытую модель, которая переводит текст, код, изображения, видео и аудио в единое векторное пространство. Это позволяет искать нужный кадр в видео по голосовой заметке, находить фото по текстовому описанию или искать по аудиозаписям текстом — всё локально, без отправки данных в облако.

Модель построена на Gemma 4i и работает даже на смартфонах: по данным Google, на Pixel 11 Pro полная модель потребляет около 567 МБ активной RAM. В отличие от первой версии EmbeddingGemma, которая работала только с текстом, вторая версия мультимодальна и, по заявлению Google, показывает лучший результат среди мультимодальных эмбеддеров до 1 млрд параметров.

• Всего 740 млн параметров с модульной архитектурой: ~270 млн для текста, 170 млн опциональный энкодер изображений, 300 млн опциональный энкодер аудио — нужные модули подключаются отдельно
• Контекст увеличен до 8K токенов — это около 5,5 минут аудио, 29 изображений или 58 видео-кадров за один проход
• Размер векторов можно сжимать с 768 до 128 значений через MRLi, экономя до 6× места в базах данных
• На текстовых задачах качество осталось на уровне первой версии EmbeddingGemma, а на коде заметно выросло
• По данным канала «Нейронавт», модель обходит специализированные эмбеддеры вдвое больше себя по размеру
• Лицензия Apache 2.0i допускает коммерческое использование; веса доступны на Hugging Face и Kaggle
• Запуск поддерживают Transformers, sentence-transformers, llama.cpp, Ollama, vLLM, MLX и LM Studio