Вчера на командном синке придумывали формат новой сессии для AI Native - кейс-клиника, где участники приносят живые рабочие ситуации, а не просто задают вопросы. И между делом, разбирая, какие вопросы обычно всплывают у людей при сборе своей базы знаний, вспомнил совет, который сам по себе тянет на отдельный пост. Речь про плагин QMD. Про него мало кто знает, а между тем он индексирует все содержание базы знаний и делает векторный поиск. Смыслово это горячо-холодно для поиска: вбиваете фразу вроде "хочу найти наши транскрипты с командой", и он понимает, скорее в каких местах базы это будет, а в каких - точно нет, даже если формулировка не совпадает дословно. Технически там зашито сразу три способа поиска - по ключевым словам, по смыслу и переранжирование результатов моделью, - и всё это крутится локально на вашем компьютере, без отправки данных в облако. Понимает не только markdown-заметки, но и код с сохранением структуры файла. И отдельно скручен так, чтобы им могли пользоваться AI-агенты - через MCP-протокол, тем же Claude или другими инструментами. Ссылка на репозиторий - https://github.com/tobi/qmd @ppprompt

Давно недолюбливаю Elasticsearch, который мы используем на vc.ru и DTF для поиска. Уж слишком сложно выжать из него хороший результат для контентного поиска. И тут мы в рамках эксперимента попробовали поиск по векторам — прототип получился классный. Прикрутили еще и AI-ассистента, который отвечает на какие-то осмысленные вопросы, помогая искать нужный контент. Но. Ожидание: будешь работать над тем, как обучать модельку хорошим ответам, добавлять побольше хорошего контекста, выцеплять что-то интересное из дискуссий. Реальность: половину времени пытаешься придумать, как фильтровать поисковые фразы пользователей, которые уже через час после релиза пытаются узнать у модели что-нибудь запрещенное про крипту, казино и прочее.

HNSW: как устроен графовый индекс для векторного поиска One million years later, я наконец добралась до прикручивания в проект семантического поиска. Тащить ради этого отдельную векторную бд максимально не хотелось, поэтому решила пойти классическим путем - попробовать встроить индекс HNSW прямо в движок наравне с остальными индексами. Если кратко, HNSW - это графовый индекс для approximate nearest neighbor поиска по векторам. Вместо того чтобы сравнивать запрос со всеми векторами в индексе, он заранее связывает близкие векторы в многоуровневый граф, а во время поиска двигается по этим связям в сторону все более похожих кандидатов. Как обычно, решила разобраться, как HNSW вообще работает: 1. зачем графу несколько уровней; 2. как выбирается entry point; 3. почему сверху greedy поиск, который расширяется на ниженем уровне; 4. что делают параметры M, efSearch и efConstruction; 5. почему при построении нельзя просто соединить ноду с M ближайшими; 6. и как работают reverse links и pruning. В итоге текста получилось на статью :") Пока без реализации и бенчмарков, а просто разбор внутрянки индекса. Читать тут: https://gist.github.com/dariasmyr/d492c3388feaf0f779571a635a3b493e