Qdrant: Векторная поисковая система с открытым исходным кодом и Векторная база данных (Андрей Васнецов)

• Серия семинаров "Базы данных для машинного обучения" и "Машинное обучение для баз данных" в университете Карнеги-Меллона.  

• Финансирование программы благодаря Google и пожертвованиям зрителей.  

• Начало нового семестра и обсуждение систем, облегчающих работу ИИ с машинным обучением.  

• Андре Бассо, соучредитель и технический директор компании Quadrant.  

• Quadrant - поисковая система по векторному сходству с открытым исходным кодом.  

• Андре объясняет, почему предпочитает термин "поисковая система" вместо "векторная база данных".  

• Векторный поиск не является новым, но стал более доступным.  

• Основная идея: модель преобразует данные в плотные векторные представления.  

• Векторные представления позволяют находить объекты, похожие друг на друга.  

• Quadrant обеспечивает удобство и надежность, присущие традиционным базам данных.  

• Иерархия компонентов: коллекции, фрагменты и сегменты.  

• Использование протокола консенсуса Raft для отслеживания метаданных.  

• Quadrant построен на принципах BASE: доступное мягкое состояние конечной согласованности.  

• Сравнение с реляционными базами данных: Postgres и Elasticsearch.  

• Quadrant фокусируется на масштабируемости и производительности, а не на строгой согласованности транзакций.  

• Использование неизменяемых структур данных для оптимизации.  

• Преимущества: компактность, отсутствие фрагментации памяти, быстрое чтение и сжатие данных.  

• Неизменяемые структуры данных могут быть на порядок более эффективными, чем изменяемые.  

• Параллелизм одного запроса эффективен только до определенного момента.  

• Сегмент становится естественной единицей распараллеливания.  

• Для приложений с низкой задержкой можно оптимизировать загрузку процессора, назначив каждому ядру один сегмент.  

• Размер сегмента может быть любым, по умолчанию равен нулю.  

• Количество сегментов можно настраивать, а не их размер.  

• Можно объединить все данные в один сегмент для максимальной пропускной способности.  

• Равномерное распределение сегментов предпочтительнее.  

• На практике сегменты могут объединяться, но это не всегда происходит.  

• Размер сегмента нельзя настроить во время выполнения, но можно изменить количество сегментов.  

• Некоторые сегменты неизменяемы, другие используются для вставки новых данных.  

• Пользователи не должны знать о существовании сегментов.  

• Для обновления данных в неизменяемом сегменте используется механизм копирования и записи.  

• Векторный индекс отличается от традиционных индексов.  

• Он не гарантирует точного результата и зависит от порядка вставки данных.  

• Любой вектор может быть результатом любого поискового запроса.  

• HNSW использует график близости для поиска.  

• Поиск выполняется жадным способом, выбирая ближайший узел.  

• Индекс требует больших ресурсов процессора и чувствителен к задержке базового хранилища.  

• Использование сжатого представления векторов в памяти.  

• Двоичное квантование позволяет сжимать вектор до одного бита на измерение.  

• Это позволяет эффективно сравнивать векторы и использовать асинхронный ввод-вывод.  

• Векторы сжимаются в квантованную форму для ускорения индекса.  

• Окончательное сравнение необходимо для истинного ранжирования.  

• Вопрос о том, эквивалентно ли это тому, что делает диск NN, остается открытым.  

• Необходимость сочетания векторного поиска с дополнительными условиями фильтрации.  

• Постфильтрация и предварительная фильтрация как подходы для решения этой проблемы.  

• Постфильтрация неэффективна, предварительная фильтрация может быть дорогостоящей.  

• Фильтрация на месте в Quadrant проверяет условия фильтрации во время разворота графика.  

• Проблема несвязности графика при жестких условиях фильтрации.  

• Теория перколяции помогает определить, когда граф становится несвязным.  

• Использование метаданных для создания дополнительных ссылок.  

• Создание подграфов для ключевых слов и объединение их в основной граф.  

• Это гарантирует связность графика при фильтрации.  

• Квантование влияет только на точность векторного поиска, но не на фильтрацию.  

• Фильтрация не затрагивается квантованием.  

• Создание дополнительных связей не увеличивает сложность поиска.  

• Возможность индексации множества дополнительных полей.  

• Совместимость с использованием нескольких полей для фильтрации.  

• Quadrant выполняет оценку мощности для определения планов запросов.  

• Возможность построения графика HNSW только на основе полезной нагрузки.  

• Полусегрегация данных для повышения производительности поиска.  

• Влияние размерности вектора на скорость сравнения.  

• Линейная зависимость скорости сравнения от размерности вектора.  

• Поиск в графе и построение графика имеют логарифмическую сложность.  

• Индексация включает поиск, что делает создание больших индексов дорогим.  

• Оптимизация включает разделение данных на сегменты для ограничения размера.  

• Ссылки изолированы от одного сегмента.  

• Поиск проводится по каждому сегменту отдельно, а затем результаты объединяются.  

• Сегменты случайны и не основаны на пространственном разделении.  

• Условия фильтрации определяются заранее и могут быть указаны пользователем.  

• Полезная нагрузка включает данные, такие как цена и тег категории.  

• Дополнительные ссылки создаются для перекрывающихся интервалов и геохешей.  

• Векторный поиск имеет множество интересных применений.  

• Quadrant - это поисковая система, отличающаяся от баз данных.  

• Индексы векторного поиска требуют особого подхода к фильтрации.  

• Оптимизация включает ограничение поиска в динамике для каждого сегмента.  

• Поддерживаются три версии квантования: бинарное, по методу ученого и по продукту.  

• Векторный поиск не подходит для банковских систем.  

• В приложениях можно использовать как реляционный, так и векторный поиск.  

• PostgreSQL подходит для строгих транзакций, но имеет ограниченную масштабируемость.  

• Пользователи могут настраивать количество дополнительных ссылок.  

• Ссылки дублируются, что не является большой проблемой.  

• HNSW использует эвристику для исключения избыточных узлов.  

• Обсуждение различных подходов к фильтрации данных.  

• Сравнение с Microsoft A и N дисками.  

• Реализация KNN без квантования.  

• KNN использует плоский график без иерархии.  

• В отличие от HSW, KNN строит полностью связный граф и обрезает его.  

• Возможность использования различных алгоритмов индексации.  

• Вопрос о работе с данными временных рядов.  

• Квадрант не работает с вложениями, но может использовать внешние модели.  

• Пример с пользовательскими событиями и транзакциями.  

• Вопрос о нерешенных проблемах системы.  

• Основная задача - сделать обслуживание миллиардов векторов дешевым.  

• Проблемы с памятью и произвольным доступом.