Появилась независимая реализация алгоритма сжатия векторов TurboQuanti, описанного Google в статье, принятой на ICLR 2026, — библиотека Turbovec на Rust с привязками для Python. Она сжимает векторные данные примерно в 8 раз и, по заявлению автора, ищет быстрее популярной библиотеки FAISSi, что важно для всех, кто строит поиск по эмбеддингам на больших коллекциях документов.
К самому Google проект не имеет отношения — это чужая реализация опубликованного алгоритма, распространяемая по лицензии MIT.
~8xстепень сжатия векторов
31 ГБ → 4 ГБразмер коллекции из 10 млн документов
3,4–3,5 разаприрост скорости поиска над FAISS при 4-бит сжатии
- Коллекция из 10 миллионов документов, занимающая в исходном виде 31 ГБ, после сжатия Turbovec умещается в 4 ГБ
- По замерам автора Turbovec обгоняет FAISS в 3,4–3,5 раза при 4-битном сжатии и на 20–26% при 2-битном, в зависимости от железа
- Индекс не требует предварительного обучения — векторы добавляются по мере поступления
- Сохранение инкрементальное: на диск записывается только изменившееся с прошлого раза, поэтому операция занимает миллисекунды даже на большом индексе
- Поиску можно передать список разрешённых документов, чтобы пользователь видел только свои файлы
- Удаление записей работает по постоянным идентификаторам, ссылки на записи не плывут
- Для пользователей LangChain, LlamaIndex, Haystack и Agno есть готовые адаптеры — достаточно изменить одну строку импорта
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖