云原生数据仓库AnalyticDB PostgreSQL版 - 稀疏向量融合查询
Jul 15 2024
云原生数据仓库AnalyticDB PostgreSQL版AnalyticDB 支持稀疏向量能力，并可融合查询；
适用客户
全部
新增功能/规格
在向量数据库中，通常将向量划分为稠密向量和稀疏向量。稀疏向量是一种大部分元素都是0的数据结构，通常有数万个维度，但是其中只有少数几个维度有值。当使用稀疏向量进行关键词搜索时，一个稀疏向量就表示一个文档，其中的维度通常表示字典（或词汇表）中的关键词，维度的值则表示这些关键词在文档中的重要性。如果使用BM25算法生成稀疏向量，维度的值则包含关键词匹配数量、词频和其他文本相关性因素。 在机器学习和自然语言处理中，如果使用普通的数组或列表来存储，会浪费大量的空间，为了高效存储和操作这类向量，引入了稀疏向量。稀疏向量常用于表示文本、图像或者其他类型的数据。这种数据结构在存储和处理高维数据时非常有用，可以显著减少存储空间和计算资源的消耗。