OpenSearch：scroll查詢Demo

scroll用法及情境

由於search的方法不能召回超過5000個結果，因此可以使用scroll方法，匯出全部資料。

注意：

• scroll僅支援匯出所有資料，不支援Aggregate,Distinct,Rank子句。

• scroll方法中的config子句start參數不起作用，預設為0. 即不支援跳頁。hits限制為[0,500]。

• 第一次執行時不返迴文檔資料，只返回scroll_id值，第二次調用查詢時設定scroll_id，即返回資料。

搜尋報錯判斷：使用者需按code和message，進行異常情況判斷，不要按status進行判斷。code對應的錯誤資訊查看——錯誤碼文檔。

SDK範例Demo:

package com.aliyun.opensearch;

import com.aliyun.opensearch.OpenSearchClient;
import com.aliyun.opensearch.SearcherClient;
import com.aliyun.opensearch.sdk.dependencies.com.google.common.collect.Lists;
import com.aliyun.opensearch.sdk.dependencies.org.json.JSONObject;
import com.aliyun.opensearch.sdk.generated.OpenSearch;
import com.aliyun.opensearch.sdk.generated.commons.OpenSearchClientException;
import com.aliyun.opensearch.sdk.generated.commons.OpenSearchException;
import com.aliyun.opensearch.sdk.generated.search.*;
import com.aliyun.opensearch.sdk.generated.search.general.SearchResult;
import com.aliyun.opensearch.search.SearchParamsBuilder;

import java.nio.charset.Charset;

public class testScroll {

    //受引擎效能影響，Scroll不支援Aggregate,Distinct,Rank子句，支援單欄位sort子句
    private static String appName = "替換為opensearch應用程式名稱";
    private static String host = "替換應用的API訪問地址";

    public static void main(String[] args) {
				//使用者識別資訊
    		//從環境變數讀取配置的AccessKey ID和AccessKey Secret，運行程式碼範例前必須先配置環境變數
      	String accesskey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
        String secret = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
        //查看檔案和預設編碼格式
        System.out.println(String.format("file.encoding: %s", System.getProperty("file.encoding")));
        System.out.println(String.format("defaultCharset: %s", Charset.defaultCharset().name()));


        //建立並構造OpenSearch對象
        OpenSearch openSearch = new OpenSearch(accesskey, secret, host);

        //建立OpenSearchClient對象，並以OpenSearch對象作為構造參數
        OpenSearchClient serviceClient = new OpenSearchClient(openSearch);

        //建立SearcherClient對象，並以OpenSearchClient對象作為構造參數
        SearcherClient searcherClient = new SearcherClient(serviceClient);

        //定義Config對象，用於設定config子句參數，分頁，資料返回格式，應用程式名稱等等
        Config config = new Config(Lists.newArrayList(appName));

        //config.setStart(start) scroll該參數不起作用，預設為0
        config.setHits(5);//設定每頁為5條記錄

        //設定返回格式為FULLJSON,目前scroll只支援返回JSON和FULLJSON格式
        config.setSearchFormat(SearchFormat.FULLJSON);

        // 設定搜尋結果返回應用中哪些欄位
        config.setFetchFields(Lists.newArrayList("id", "name", "phone", "int_arr", "literal_arr", "float_arr", "cate_id"));
        // 注意：config子句中的rerank_size參數，在Rank類對象中設定

        // 建立參數對象
        SearchParams searchParams = new SearchParams(config);

        // 設定查詢子句，若需多個索引組合查詢，需要setQuery處合并，否則若設定多個setQuery後面的會替換前面查詢
        searchParams.setQuery("name:'opensearch'");

        // 設定查詢過濾條件
        //searchParams.setFilter("cate_id<=3"); //此處也可改用後面的ParamsBuilder實現添加過濾條件

        //設定scroll方式查詢
        DeepPaging deep =new DeepPaging();
        //不設定預設為1m表示1分鐘，該參數表示本次返回的scrollid的有效期間
        deep.setScrollExpire("3m");

        //添加DeepPaging對象參數
        searchParams.setDeepPaging(deep);

        // SearchParams的工具類，提供了更為便捷的操作
        SearchParamsBuilder paramsBuilder = SearchParamsBuilder.create(searchParams);

        // 設定查詢過濾條件
//        paramsBuilder.addFilter("cate_id<=0", "AND");

        // 執行返回查詢結果。使用者需按code和message，進行異常情況判斷，不要按status進行判斷。code對應的錯誤資訊查看——錯誤碼文檔。
        SearchResult searchResult;
        try {
            searchResult = searcherClient.execute(paramsBuilder);
            String result = searchResult.getResult();
            JSONObject obj = new JSONObject(result);

            // 假設資料庫中只有25條，且每頁展示5條，則第6次列印出來items資料為空白
            for(int i=1;i<=6;i++){

                //第一次執行不返回資料，主要返回scroll_id值，第二次調用查詢時設定scroll_id
                deep.setScrollId(new JSONObject(obj.get("result").toString()).get("scroll_id").toString());
                deep.setScrollExpire("3m");//不設定預設為1m表示1分鐘，如不想使用預設值，每次重新調用前必須要重新設定下
                searchResult = searcherClient.execute(paramsBuilder);
                result = searchResult.getResult();
                obj = new JSONObject(result);

                // 輸出查詢結果
                System.out.println("第"+i+"次執行:"+obj.get("result"));
                try {
                    Thread.sleep(1000);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }//休眠1秒，防止qps請求過高報錯
            }


        } catch (OpenSearchException e) {
            e.printStackTrace();
        } catch (OpenSearchClientException e) {
            e.printStackTrace();
        }

    }
}