使用向量检索插件（aliyun-knn）

索引规划

集群规划

操作步骤

1. 登录对应阿里云Elasticsearch实例的Kibana控制台。
   具体操作，请参见登录Kibana控制台。
2. 在左侧导航栏，单击Dev Tools（开发工具）。
3. 在Console中执行如下命令，创建索引。
   注意 以下示例代码只适用于Elasticsearch 6.7.0版本，7.4.0版本的语法，请参见官方文档。

   PUT test
   {
     "settings": {
       "index.codec": "proxima",
       "index.vector.algorithm": "hnsw" 
     },
     "mappings": {
       "_doc": {
         "properties": {
           "feature": {
             "type": "proxima_vector", 
             "dim": 2 
           },
           "id": {
             "type": "keyword"
           }
         }
       }
     }
   }

   参数	描述
   index.vector.algorithm	算法类型。可选值：hnsw、linear。
   type	字段类型。proxima_vector表示向量字段。
   dim	向量维度。支持1~2048维。

   以上示例创建了一个名为test的索引，索引类型为_doc，包含了feature和id字段。您也可以根据自身需求，自定义索引名称和字段名称。

4. 执行如下命令，添加文档。

   POST test/_doc
   {
     "feature": [1.0, 2.0], 
     "id": 1
   }

   注意 feature的值需要设置为float数组。数组长度必须与创建索引时，mapping指定的dim保持一致。
5. 执行如下命令，检索文档。

   GET test/_search
   {
     "query": {
       "hnsw": {  
         "feature": {
           "vector": [1.5, 2.5], 
           "size": 10 
         }
       }
     }
   }

   参数	描述
   hnsw	与创建索引时指定的algorithm一致。
   vector	float数组。数组长度必须与创建索引时，mapping指定的dim保持一致。
   size	指定召回的topN。

参数说明

查询示例如下。

GET test/_search
{
  "query": {
    "hnsw": {
      "feature": {
        "vector": [1.5, 2.5],
        "size": 10,
        "ef": 100       
      }
    }
  }
}

常见问题

• Q：如何评估查询的召回率？

  A：可以同时创建两个索引，一个为hnsw算法，一个为linear算法，其他配置相同。客户端向两个索引同时推送相同的向量数据，刷新后，用同样的查询向量对比linear索引和hnsw索引召回的文档ID，交集的文档ID个数/召回总数，即为待测向量的召回率。

  说明 交集的文档ID个数是指两个索引召回的文档ID的交集。

• Q：集群写入期间报错“circuitBreakingException”，如何处理？

  A：这个错误表明此时系统的堆外内存使用率超过了indices.breaker.vector.native.indexing.limit指定的比例（默认为70%），触发了写入的熔断操作，一般等待后台的索引构建任务完成后会自动释放。建议客户端写入时添加错误重试机制。

• Q：为什么写入任务已经停止了，CPU依然在工作？

  A：向量索引的构建发生在refresh或flush期间，虽然写入流量已经停止，但后台的向量索引构建任务可能仍然在继续。等待最后一轮refresh结束后，计算资源就会被释放。