Turbovec: библиотека векторного поиска на Rust
Н@GreenNeuralRobotsAI-инженер
4 днОбзор библиотеки векторного поиска Turbovec на Rust с поддержкой Python, обеспечивающей сжатие векторов и высокую скорость поиска.
Turbovec предлагает более эффективный способ хранения и поиска векторных данных, что критично для масштабируемых AI-систем.
- Значительное снижение требований к оперативной памяти за счет 8-кратного сжатия.
- Ускорение работы поисковых систем по сравнению с популярным решением FAISS.
- Упрощение поддержки динамических данных благодаря инкрементальному сохранению и отсутствию необходимости в предобучении индекса.
Turbovec
Библиотека векторного поиска на Rust с биндингами для Python. На основе TurboQuant. Сжимает векторы примерно в 8 раз и ищет быстрее FAISS
Не Гугл, независимая реализация
- Сжатие ~8x: коллекция из 10 млн документов на 31 ГБ умещается в 4 ГБ
- Быстрее FAISS: в 3.4–3.5 раза при 4-битном сжатии, на 20–26% при 2-битном (зависит от железа)
- Индекс без предобучения - векторы добавляются по мере поступления
- Инкрементальное сохранение: на диск уходит только то, что изменилось — миллисекунды даже на большом индексе
- Фильтрация по разрешённым документам - пользователь видит только свои файлы
- Удаление по постоянным ID ссылки на записи не плывут
#search #optimization
VK | MAX
Кратко (AI)
Представлена библиотека векторного поиска Turbovec, написанная на Rust с биндингами для Python. Она обеспечивает сжатие векторов до 8 раз и превосходит FAISS по скорости поиска, поддерживая инкрементальное сохранение и фильтрацию данных.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖