← к умной ленте

Turbovec — новая библиотека векторного поиска на основе алгоритма Google TurboQuant

Появилась независимая реализация алгоритма сжатия векторов TurboQuanti, описанного Google в статье, принятой на ICLR 2026, — библиотека Turbovec на Rust с привязками для Python. Она сжимает векторные данные примерно в 8 раз и, по заявлению автора, ищет быстрее популярной библиотеки FAISSi, что важно для всех, кто строит поиск по эмбеддингам на больших коллекциях документов.

К самому Google проект не имеет отношения — это чужая реализация опубликованного алгоритма, распространяемая по лицензии MIT.

~8xстепень сжатия векторов
31 ГБ → 4 ГБразмер коллекции из 10 млн документов
3,4–3,5 разаприрост скорости поиска над FAISS при 4-бит сжатии
  • Коллекция из 10 миллионов документов, занимающая в исходном виде 31 ГБ, после сжатия Turbovec умещается в 4 ГБ
  • По замерам автора Turbovec обгоняет FAISS в 3,4–3,5 раза при 4-битном сжатии и на 20–26% при 2-битном, в зависимости от железа
  • Индекс не требует предварительного обучения — векторы добавляются по мере поступления
  • Сохранение инкрементальное: на диск записывается только изменившееся с прошлого раза, поэтому операция занимает миллисекунды даже на большом индексе
  • Поиску можно передать список разрешённых документов, чтобы пользователь видел только свои файлы
  • Удаление записей работает по постоянным идентификаторам, ссылки на записи не плывут
  • Для пользователей LangChain, LlamaIndex, Haystack и Agno есть готовые адаптеры — достаточно изменить одну строку импорта

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖