Qdrant向量数据库

Qdrant 是专为扩展过滤支持而设计的向量相似度搜索引擎和向量数据库,这使得它适用于各种基于神经网络语义匹配图像搜索等应用。

Qdrant 使用 Rust 🦀 编写,即使在高负载下也能快速、可靠地工作。

Qdrant架构

上图展示了 Qdrant 一些主要组件的高级概述。以下是您应该熟悉的术语。

  • 集合Collections):集合是一组命名的点(带有有效负载的向量),您可以在其中进行搜索。同一集合中每个点的向量必须具有相同的维度,并通过单个度量进行比较。命名向量可用于在单个点中包含多个向量,每个向量都可以有自己的维度和度量要求。
  • 距离度量Distance Metrics):这些用于测量向量之间的相似性,必须在创建集合的同时选择它们。度量的选择取决于向量的获取方式,特别是取决于将用于编码新查询的神经网络。
  • Points):点是 Qdrant 运行的中心实体,它们由向量和可选的 id 和有效负载组成。
    • id:向量的唯一标识符。
    • 矢量(Vector):数据的高维表示,例如图像、声音、文档、视频等。
    • 有效负载Payload):有效负载是一个 JSON 对象,其中包含可以添加到向量中的附加数据。
  • 存储Storage):Qdrant 可以使用两种存储选项之一:内存存储(将所有向量存储在 RAM 中,具有最高速度,因为仅需要持久性才需要磁盘访问)或Memmap存储(创建与磁盘上的文件)。
  • 客户端:可用于连接到 Qdrant 的编程语言。

快速开始

在开始之前,请确保 Docker 已安装并在您的系统上运行。

快速启动
docker run --privileged -p 6333:6333 qdrant/qdrant

--privileged 是我本地执行时出现Operation not permitted进程创建受限加的,一般不用加

数据挂载启动
docker run -p 6333:6333 -p 6334:6334 
    -v $(pwd)/qdrant_storage:/qdrant/storage:z 
    qdrant/qdrant

在默认配置下,所有数据都将存储在该./qdrant_storage目录中。

Qdrant 现在可以访问:

网页直接访问面板: http://127.0.0.1:6333/collections/dashboard

网页直接访问API:http://127.0.0.1:6333/collections,就可以看到

collections返回当前的所有集合,那就让我们来用python客户端连接,并创建一个集合吧

增删改查

创建一个集合

您将把所有矢量数据存储在 Qdrant 集合中,我们就这样称呼它test_collection吧。该集合将使用点积距离度量来比较向量。

from qdrant_client.http.models import Distance, VectorParams

client.create_collection(
    collection_name="test_collection",
    vectors_config=VectorParams(size=4, distance=Distance.DOT),
)

size:向量的大小(维度)

distance:距离度量类型

  • COSINE 余弦相似度(Cosine similarity):余弦相似度是一种常用的向量相似度度量方法,它衡量了两个向量之间的夹角余弦值。在Qdrant中,可以使用COSINE作为距离度量方法来计算余弦相似度。
  • EUCLID 欧氏距离(Euclidean distance):欧氏距离是最常见的距离度量方法,用于计算向量空间中两个向量之间的直线距离。在Qdrant中,可以使用L2作为距离度量方法来计算欧氏距离。
  • 点积(Dot Product):它是一种常见的向量运算。点积是将两个向量的对应元素相乘,并将乘积相加得到的标量值。可以使用点积来计算向量之间的夹角余弦值。夹角余弦值反映了两个向量的方向相似程度。夹角余弦值的取值范围在 -1 到 1 之间。

相似性学习模型中最典型的度量是余弦度量。

添加向量

现在让我们添加一些带有有效负载的向量。有效负载是您想要与向量关联的其他数据:

from qdrant_client.http.models import PointStruct

operation_info = client.upsert(
    collection_name="test_collection",
    wait=True,
    points=[
        PointStruct(id=1, vector=[0.05, 0.61, 0.76, 0.74], payload={"city": "Berlin"}),
        PointStruct(id=2, vector=[0.19, 0.81, 0.75, 0.11], payload={"city": "London"}),
        PointStruct(id=3, vector=[0.36, 0.55, 0.47, 0.94], payload={"city": "Moscow"}),
        PointStruct(id=4, vector=[0.18, 0.01, 0.85, 0.80], payload={"city": "New York"}),
        PointStruct(id=5, vector=[0.24, 0.18, 0.22, 0.44], payload={"city": "Beijing"}),
        PointStruct(id=6, vector=[0.35, 0.08, 0.11, 0.44], payload={"city": "Mumbai"}),
    ],
)

print(operation_info)

执行结果:

operation_id=0 status=<UpdateStatus.COMPLETED: 'completed'>

运行查询

让我们问一个基本问题 - 我们存储的哪个向量与查询向量最相似[0.2, 0.1, 0.9, 0.7]?

search_result = client.search(
    collection_name="test_collection", query_vector=[0.2, 0.1, 0.9, 0.7], limit=3
    # , with_vectors=True, with_payload=True
)

print(search_result)

执行结果:

ScoredPoint(id=4, version=0, score=1.362, payload={"city": "New York"}, vector=None),
ScoredPoint(id=1, version=0, score=1.273, payload={"city": "Berlin"}, vector=None),
ScoredPoint(id=3, version=0, score=1.208, payload={"city": "Moscow"}, vector=None)

结果以相似度递减的顺序返回。请注意,默认情况下,这些结果中缺少有效负载和矢量数据。有关如何启用它的信息,请参阅结果中的有效负载和向量。

执行结果:

[
    ScoredPoint(id=4, version=0, score=1.362, payload={'city': 'New York'}, vector=[0.18, 0.01, 0.85, 0.8]), 
    ScoredPoint(id=6, version=0, score=1.28, payload={'city': 'Berlin'}, vector=[0.05, 0.61, 0.76, 0.75]), 
    ScoredPoint(id=1, version=0, score=1.273, payload={'city': 'Berlin'}, vector=[0.05, 0.61, 0.76, 0.74])
]

思考:上面的举例模式类似现实生活中什么场景呢???

添加过滤器

我们可以通过按有效负载过滤来进一步缩小结果范围。让我们查找包含“London”的最接近的结果。

from qdrant_client.http.models import Filter, FieldCondition, MatchValue

search_result = client.search(
    collection_name="test_collection",
    query_vector=[0.2, 0.1, 0.9, 0.7],
    query_filter=Filter(
        must=[FieldCondition(key="city", match=MatchValue(value="London"))]
    ),
    with_payload=True,
    limit=3,
)

print(search_result)

执行结果:

ScoredPoint(id=2, version=0, score=0.871, payload={"city": "London"}, vector=None)

您刚刚进行了矢量搜索。您将向量加载到数据库中并使用您自己的向量查询数据库。Qdrant 找到最接近的结果并向您提供相似度分数。

client.search()参数说明:

  • collection_name(必需):要搜索的集合名称。
  • query_vector(必需):查询向量。可以是以下类型之一:
    • types.NumpyArray:NumPy 数组表示的向量。
    • Sequence[float]:浮点数列表表示的向量。
    • Tuple[str, List[float]]:带有向量名称的元组。
    • types.NamedVector:命名向量对象。
  • query_filter(可选):过滤器条件。可以使用 types.Filter 类型的对象来指定过滤条件。默认为 None。
  • search_params(可选):搜索参数。可以使用 types.SearchParams 类型的对象来指定搜索参数。默认为 None。
    • ef(可选):查询的有效范围(Efficient Search)。它控制搜索的速度和准确性之间的权衡。较高的值会提高搜索准确性,但会增加搜索时间。
    • ef_search(可选):查询期间的最大搜索次数。它控制搜索的时间和资源消耗。较高的值会增加搜索时间,但可能提高搜索结果的准确性。
  • limit(可选):返回结果的最大数量。默认为 10。
  • offset(可选):结果偏移量,用于分页。默认为 0。
  • with_payload(可选):是否返回结果的负载信息。
    • True:返回搜索结果中的所有载荷数据。
    • False:不返回任何载荷数据。
    • Sequence[str]:指定要返回的特定载荷字段列表。
  • with_vectors(可选):是否返回结果的向量信息。
  • score_threshold(可选):结果的得分阈值。只返回得分高于或等于阈值的结果。默认为 None,表示不应用阈值。
  • append_payload(可选):是否将负载信息追加到搜索结果中。默认为 True。
  • consistency(可选):读一致性选项。可以是 types.ReadConsistency 类型的对象,用于指定读操作的一致性级别。默认为 None。
  • **kwargs:其他可选参数。

search方法返回一个包含 types.ScoredPoint 对象的列表,每个对象表示一个得分较高的向量点

我们可以根据需要使用这些参数来执行 Qdrant 的搜索操作,并根据返回结果进行进一步处理。

删除向量
def test_delete(self):
    self.client.delete(
        collection_name="test_collection",
        points_selector=models.PointIdsList(
            points=[6],
        ),
    )

删除指定过滤器下的向量

def test_delete_filter(self):
    self.client.delete(
        collection_name="test_collection",
        points_selector=models.FilterSelector(
            filter=models.Filter(
                must=[
                    models.FieldCondition(
                        key="city",
                        match=models.MatchValue(value="New York"),
                    ),
                ],
            )
        ),
    )

问题:上面入参的都是用vector=[0.05, 0.61, 0.76, 0.74]这种向量,那和我的业务数据怎么关联呢???

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
分享
二维码
< <上一篇
下一篇>>