scroll を使用してドキュメントを一括エクスポートする方法 - OpenSearch

スクロールメソッドを使用して、標準の検索メソッドの 5,000 ドキュメントの制限を超えるドキュメントをバッチでエクスポートします。

シナリオ

従来の検索では、関連性の高い結果をすばやく返しますが、取得できるドキュメント数に制限があります。たとえば、search メソッドで取得できるドキュメントは最大 5,000 件です。分析のためにより多くのドキュメントを取得する場合は、スクロール API を使用します。

パラメーター

検索パラメーター：

パラメーター	タイプ	必須	有効値	デフォルト値	説明
scroll	String	はい	Week、day、hour、minute、second		次回のスクロールリクエストの有効期間です。各リクエストで設定する必要があります。たとえば、`1m` は 1 分を示します。サポートされる時間単位は、w (Week)、d (Day)、h (Hour)、m (minute)、s (second) です。
search_type	String	はい	scan		最初のクエリで必須です。後続のクエリでは、次のクエリを実行するために `scroll_id` を指定します。
scroll_id	String	はい			最初のスクロール呼び出しは `scroll_id` を返しますが、データは返しません。後続の各検索では、直前のレスポンスの `scroll_id` を含める必要があります。後続のレスポンスでは、一致するデータとともに新しい `scroll_id` が返されます。
fetch_fields	String				取得するアプリケーションフィールドを指定します。

レスポンスパラメーター：

パラメーター	タイプ	説明
status	String	実行結果です。`OK` は成功、`FAIL` は失敗を示します。返されたエラーコードに基づいてトラブルシューティングしてください。
request_id	String	クエリレコード ID です。主にトラブルシューティングで使用します。
result	String	クエリ結果です。クエリ時間 (`searchtime`)、結果の総数 (`total`)、現在のレスポンスに含まれる結果数 (`num`)、クエリの最大結果数 (`viewtotal`)、クエリ結果アイテム (`items`)、ファセット統計 (`facet`)、および `scroll_id` が含まれます。
errors	String	エラーの詳細です。`error_message` にはエラー情報が含まれます。`error_code` の意味については、「エラーコード」をご参照ください。

説明

スクロール機能のレスポンスでは、現在 fulljson と json 形式のみがサポートされています。

結果

最初のリクエストのレスポンス：

{
    "status": "OK",
    "request_id": "150150574119953661605242",
    "result": {
        "searchtime": 0.005029,
        "total": 1,
        "num": 0,
        "viewtotal": 1,
        "scroll_id": "eJxtUMtuhDAM/BrvOYQC5cABdulvRFFIirsm2TpBavv1Ndut1EMlS36NZ0Y2ZHMxbueceAjIuWCMnrPjRITLyfzZm83y9V QVGT8x80U3PxQNUqieVZV1/an4ItbTUBPSx5wgXqKdvOSbmuKR8ZYjGWWirB4tvToAiX7u3G2eCNK77vnz8GlGPAV6suKBeqxAn0OiTd7NGEnesspyoyFLF6hecn4JUKjVgp0K3FnkfMfIyPoDuYWegX9GeYOpicY9TG8gwOSuBL04X1 MMg3ROwCesLlG6X7a2o=",
        "items": [],
        "facet": []
    },
    "errors": [],
    "tracer": ""
}

後続リクエストのレスポンス：

{
    "status": "OK",
    "request_id": "150150574119952551519970",
    "result": {
        "searchtime": 0.006293,
        "total": 1,
        "num": 1,
        "viewtotal": 1,
        "scroll_id": "eJxNT9tugzAM/RrznIRC4YEHaNlvRFFIhteQtE6Qtn39TNdJk2z5dnx8rIPJRdudcqKhl60Uir2Vp06ISv8b6s3QbZCVzpaCdp93XXBzg2wEW9MJ2dWq8q7YVXt0YckDLlBP0WyOw31N8YgYizZEnAUsjkx4VT4k8zexpjiNS/XYHX0NNkWP71BfVyxQjxLUxSfazFH4PYSPnCL3iMniDZq3jN98aFRCgGrZniy8/itkBHWGuYVeQH+B+QzTCUZ1NJ9gj4FVMfrQPr8Y+Hk+dgU14fIDVhtfTw==",
        "items": [
            {
                "fields": {
                    "cate_id": "0",
                    "float_arr": "0",
                    "id": "1",
                    "int_arr": "0",
                    "literal_arr": "search",
                    "name": "search",
                    "phone": "1381111****",
                    "index_name": "app_schema_demo"
                },
                "property": {},
                "attribute": {},
                "variableValue": {},
                "sortExprValues": [
                    "1"
                ]
            }
        ],
        "facet": []
    },
    "errors": [],
    "tracer": ""
}

注意事項

sort 句は INT タイプの単一フィールドのみをサポートします。これは v3 API とソフトウェア開発キット (SDK) にのみ適用されます。
スクロール機能は、すべてのデータのエクスポートにのみ対応しており、集計句または DISTINCT 句、粗いソート式または精密なソート式、クエリ分析はサポートしていません。
スクロールクエリでは、config 句の start パラメーターは無効です。デフォルト値は 0 で、ページネーションはサポートされません。hits の値は [0, 500] の範囲で指定する必要があります。
スクロールクエリでは、scroll_id を返す最初のクエリの hits 値が使用されます。後続のクエリで hits 値を変更しても反映されません。
最初のクエリは scroll_id のみを返し、ドキュメントデータは返しません。後続のクエリでは、データとともに新しい scroll_id が返されます。
検索エラーを特定するには、例外の code フィールドと message フィールドを確認してください。status フィールドに依存しないでください。詳細については、「エラーコード」をご参照ください。
Scroll_id is expired エラーが返された場合、スクロールリクエストの有効期限が切れています。有効期間を延長するには、scroll パラメーターを調整してください。

SDK サンプルデモ

説明

1. config 句の start パラメーターは無効です。代わりに、各リクエストで取得するドキュメント数を hits の値で設定します。

2. aggregate、distinct、粗いソート式、精密なソート式などの機能はサポートされません。sort 句は INT タイプの単一フィールドによるソートのみをサポートします。

3. 複数アプリケーションにまたがるスクロールクエリはサポートされません。

4. 無効な scroll_id を渡すと、クエリはエラーを返します。

5. 取得結果としてサポートされている形式は fulljson と json です。

6. 最初のクエリは scroll_id のみを返し、ドキュメントデータは返しません。データを取得するには、後続のクエリで scroll_id を使用します。そのレスポンスには、データとともに新しい scroll_id が含まれます。

Java の例：

PHP の例：

アプリケーション操作 API：