Elasticsearch:Getting started with Elasticsearch time series data management by using the aliyun-timestream plug-in

時系列インデックスの作成

test_stream という名前の時系列インデックスを作成します。

PUT _time_stream/test_stream

これにより、Elasticsearch データストリーム (スタンドアロンインデックスではない) と、以下の設定を事前構成する .timestream_test_stream という名前のインデックステンプレートが作成されます。

インデックステンプレートは、2 つのフィールドカテゴリのマッピングも事前構成します。

• ディメンションフィールド (labels.*): keyword としてマッピングされ、time_series_dimension: true が設定されます。すべてのディメンションフィールドは、各時系列を一意に識別する内部の _tsid フィールドに結合されます。

• メトリックフィールド (metrics.*): double または long としてマッピングされ、"index": false が設定されます。ドキュメント値のみが保存され、転置インデックスデータは保存されません。

test_stream の完全な構成を表示します。

GET _time_stream/test_stream

インデックステンプレートのカスタマイズ

インデックス作成時に template ボディを渡すことで、デフォルト設定をオーバーライドできます。以下の例は、一般的なカスタマイズを示しています。

• プライマリシャードの数を設定します。

  PUT _time_stream/test_stream
  {
    "template": {
      "settings": {
        "index": {
          "number_of_shards": "2"
        }
      }
    }
  }

• データモデル (フィールド命名規則) をカスタマイズします。

  PUT _time_stream/test_stream
  {
    "template": {
      "settings": {
        "index": {
          "number_of_shards": "2"
        }
      }
    },
    "time_stream": {
      "labels_fields": ["labels_*"],
      "metrics_fields": ["metrics_*"]
    }
  }

時系列インデックスの更新

test_stream のプライマリシャードの数を更新します。

POST _time_stream/test_stream/_update
{
  "template": {
    "settings": {
      "index": {
        "number_of_shards": "4"
      }
    }
  }
}

更新後、新しい設定は現在のバッキングインデックスには適用されません。適用するには、インデックスをロールオーバーします。

POST test_stream/_rollover

新しいバッキングインデックスが更新された設定で作成されます。元のバッキングインデックスは以前の設定を保持します。

時系列インデックスの削除

test_stream とそのすべてのデータを削除します。

DELETE _time_stream/test_stream

データの書き込み

bulk または index API を使用してドキュメントを書き込みます。各ドキュメントには、測定が行われた時刻に設定された @timestamp フィールドを含める必要があります。

POST test_stream/_doc
{
  "@timestamp": 1630465208722,
  "metrics": {
    "cpu.idle": 79.67298116109929,
    "disk_ioutil": 17.630910821570456,
    "mem.free": 75.79973639970004
  },
  "labels": {
    "disk_type": "disk_type2",
    "namespace": "namespaces1",
    "clusterId": "clusterId3",
    "nodeId": "nodeId5"
  }
}

時間ベースのルーティングの仕組み

データストリーム内の各バッキングインデックスには、index.time_series.start_time および index.time_series.end_time によって定義された時間範囲があります。ドキュメントは、その時間範囲にドキュメントの @timestamp 値が含まれるバッキングインデックスに書き込まれます。

データストリームはこの時間範囲を自動的に管理します。ロールオーバー後、新しいバッキングインデックスは前のインデックスの終了時刻から引き継がれるため、すべてのバッキングインデックスはギャップなく連続した時間範囲をカバーします。

データのクエリ

test_stream 内のすべてのドキュメントを検索します。

GET test_stream/_search

インデックスの詳細を表示します。

GET _cat/indices/test_stream?v&s=i

インデックス統計の表示

test_stream の統計 (シャードごとに追跡される時系列の数を含む) を取得します。

GET _time_stream/test_stream/_stats

応答例:

{
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "time_stream_count" : 1,
  "indices_count" : 1,
  "total_store_size_bytes" : 19132,
  "time_streams" : [
    {
      "time_stream" : "test_stream",
      "indices_count" : 1,
      "store_size_bytes" : 19132,
      "tsid_count" : 2
    }
  ]
}

time_stream_count メトリックは、_tsid フィールドのドキュメント値を読み取ることで、プライマリシャードごとのユニークな時系列をカウントします。これは比較的にコストの高い操作です。コストを削減するには、以下を実行します。

• 読み取り専用インデックスの場合、カウントが一度だけ収集され、再度リフレッシュされないようにキャッシュポリシーを構成します。

• アクティブなインデックスの場合、キャッシュはデフォルトで 5 分ごとにリフレッシュされます。この間隔は、index.time_series.stats.refresh_interval パラメーターで調整します。最小値は 1 分です。

Prometheus データソースの構成

オプション 1: Grafana コンソール

Grafana コンソールで、Prometheus データソースを追加し、URL を /_time_stream/prom/test_stream に設定します。時系列インデックスは、Prometheus データソースとして直接利用可能になります。

オプション 2: カスタムフィールドプレフィックスとサフィックス

Prometheus API を介してクエリを実行する場合、プラグインはデフォルトでメトリックフィールドから metrics. プレフィックスを、ディメンションフィールドから labels. プレフィックスを削除します。

カスタムデータモデル (非デフォルトのフィールドプレフィックス) でインデックスを作成した場合、プレフィックスとサフィックスのマッピングを明示的に構成します。

PUT _time_stream/{name}
{
  "time_stream": {
    "labels_fields": "@labels.*_l",
    "metrics_fields": "@metrics.*_m",
    "label_prefix": "@labels.",
    "label_suffix": "_l",
    "metric_prefix": "@metrics.",
    "metric_suffix": "_m"
  }
}

メタデータのクエリ

test_stream 内のすべてのメトリックフィールドを表示します。

GET /_time_stream/prom/test_stream/metadata

応答例:

{
  "status" : "success",
  "data" : {
    "cpu.idle" : [
      {
        "type" : "gauge",
        "help" : "",
        "unit" : ""
      }
    ],
    "disk_ioutil" : [
      {
        "type" : "gauge",
        "help" : "",
        "unit" : ""
      }
    ],
    "mem.free" : [
      {
        "type" : "gauge",
        "help" : "",
        "unit" : ""
      }
    ]
  }
}

test_stream 内のすべてのディメンションフィールドを表示します。

GET /_time_stream/prom/test_stream/labels

応答例:

{
  "status" : "success",
  "data" : [
    "__name__",
    "clusterId",
    "disk_type",
    "namespace",
    "nodeId"
  ]
}

特定のディメンションフィールドのすべての値を表示します。

GET /_time_stream/prom/test_stream/label/clusterId/values

応答例:

{
  "status" : "success",
  "data" : [
    "clusterId1",
    "clusterId3"
  ]
}

cpu.idle メトリックのすべての時系列を表示します。

GET /_time_stream/prom/test_stream/series?match[]=cpu.idle

応答例:

{
  "status" : "success",
  "data" : [
    {
      "__name__" : "cpu.idle",
      "disk_type" : "disk_type1",
      "namespace" : "namespaces2",
      "clusterId" : "clusterId1",
      "nodeId" : "nodeId2"
    },
    {
      "__name__" : "cpu.idle",
      "disk_type" : "disk_type1",
      "namespace" : "namespaces2",
      "clusterId" : "clusterId1",
      "nodeId" : "nodeId5"
    },
    {
      "__name__" : "cpu.idle",
      "disk_type" : "disk_type2",
      "namespace" : "namespaces1",
      "clusterId" : "clusterId3",
      "nodeId" : "nodeId5"
    }
  ]
}

PromQL を使用したデータのクエリ

Prometheus インスタントクエリおよび範囲クエリ API を使用して、時系列インデックスに対して PromQL クエリを実行します。サポートされている PromQL 構文の詳細については、「aliyun-timestream の PromQL サポート」をご参照ください。

インスタントクエリ

GET /_time_stream/prom/test_stream/query?query=cpu.idle&time=1655769837

time パラメーターは Unix 秒単位です。省略した場合、クエリは過去 5 分間のデータを返します。

応答例:

{
  "status" : "success",
  "data" : {
    "resultType" : "vector",
    "result" : [
      {
        "metric" : {
          "__name__" : "cpu.idle",
          "clusterId" : "clusterId1",
          "disk_type" : "disk_type1",
          "namespace" : "namespaces2",
          "nodeId" : "nodeId2"
        },
        "value" : [
          1655769837,
          "79.672981161"
        ]
      },
      {
        "metric" : {
          "__name__" : "cpu.idle",
          "clusterId" : "clusterId1",
          "disk_type" : "disk_type1",
          "namespace" : "namespaces2",
          "nodeId" : "nodeId5"
        },
        "value" : [
          1655769837,
          "79.672981161"
        ]
      },
      {
        "metric" : {
          "__name__" : "cpu.idle",
          "clusterId" : "clusterId3",
          "disk_type" : "disk_type2",
          "namespace" : "namespaces1",
          "nodeId" : "nodeId5"
        },
        "value" : [
          1655769837,
          "79.672981161"
        ]
      }
    ]
  }
}

範囲クエリ

GET /_time_stream/prom/test_stream/query_range?query=cpu.idle&start=1655769800&end=16557699860&step=1m

応答例:

{
  "status" : "success",
  "data" : {
    "resultType" : "matrix",
    "result" : [
      {
        "metric" : {
          "__name__" : "cpu.idle",
          "clusterId" : "clusterId1",
          "disk_type" : "disk_type1",
          "namespace" : "namespaces2",
          "nodeId" : "nodeId2"
        },
        "value" : [
          [
            1655769860,
            "79.672981161"
          ]
        ]
      },
      {
        "metric" : {
          "__name__" : "cpu.idle",
          "clusterId" : "clusterId1",
          "disk_type" : "disk_type1",
          "namespace" : "namespaces2",
          "nodeId" : "nodeId5"
        },
        "value" : [
          [
            1655769860,
            "79.672981161"
          ]
        ]
      },
      {
        "metric" : {
          "__name__" : "cpu.idle",
          "clusterId" : "clusterId3",
          "disk_type" : "disk_type2",
          "namespace" : "namespaces1",
          "nodeId" : "nodeId5"
        },
        "value" : [
          [
            1655769860,
            "79.672981161"
          ]
        ]
      }
    ]
  }
}

デモインデックスを使用したダウンサンプリングのテスト

以下のプロシージャは、手動で制御された時間範囲を使用して、ダウンサンプリングの完全なライフサイクルを示します。これはテストと検証に役立ちます。本番環境では、プラグインはロールオーバー後にダウンサンプリングを自動的にトリガーします。

1. 固定された時間範囲とダウンサンプリング構成を持つインデックスを作成します。start_time と end_time の値は過去のタイムウィンドウをシミュレートするため、ダウンサンプリングトリガー条件 (現在の時刻がインデックスの end_time から少なくとも 2 時間経過している) はすぐに満たされます。

   重要

   このステップの後、GET {index}/_settings を実行して end_time を確認してください。システムはデフォルトで 5 分ごとに end_time を調整します。end_time が更新される前に次のステップに進んでください。

   PUT _time_stream/test_stream
   {
     "template": {
       "settings": {
         "index.time_series.start_time": "2022-06-20T00:00:00.000Z",
         "index.time_series.end_time": "2022-06-21T00:00:00.000Z"
       }
     },
     "time_stream": {
       "downsample": [
         {
           "interval": "1m"
         },
         {
           "interval": "10m"
         },
         {
           "interval": "60m"
         }
       ]
     }
   }

2. @timestamp が [start_time, end_time) 範囲内の値に設定されたドキュメントを書き込みます。

   POST test_stream/_doc
   {
     "@timestamp": 1655706106000,
     "metrics": {
       "cpu.idle": 79.67298116109929,
       "disk_ioutil": 17.630910821570456,
       "mem.free": 75.79973639970004
     },
     "labels": {
       "disk_type": "disk_type2",
       "namespace": "namespaces1",
       "clusterId": "clusterId3",
       "nodeId": "nodeId5"
     }
   }

3. インデックスから start_time と end_time を削除し、ダウンサンプリング構成を保持します。

   POST _time_stream/test_stream/_update
   {
     "time_stream": {
       "downsample": [
         {
           "interval": "1m"
         },
         {
           "interval": "10m"
         },
         {
           "interval": "60m"
         }
       ]
     }
   }

4. インデックスをロールオーバーします。

   POST test_stream/_rollover

5. ロールオーバーが完了した後、生成されたダウンサンプリングインデックスを表示します。

   GET _cat/indices/test_stream?v&s=i

   期待される出力:

   health status index                                          uuid                   pri rep docs.count docs.deleted store.size pri.store.size
   green  open   .ds-test_stream-2022.06.21-000001              vhEwKIlwSGO3ax4RKn****   1   1          9            0     18.5kb         12.1kb
   green  open   .ds-test_stream-2022.06.21-000001_interval_10m r9Tsj0v-SyWJDc64oC****   1   1          1            0     15.8kb          7.9kb
   green  open   .ds-test_stream-2022.06.21-000001_interval_1h  cKsAlMK-T2-luefNAF****   1   1          1            0     15.8kb          7.9kb
   green  open   .ds-test_stream-2022.06.21-000001_interval_1m  L6ocasDFTz-c89KjND****   1   1          1            0     15.8kb          7.9kb
   green  open   .ds-test_stream-2022.06.21-000002              42vlHEFFQrmMAdNdCz****   1   1          0            0       452b           226b

   3 つのダウンサンプリングインデックス (_interval_1m、_interval_10m、_interval_1h) は、新しいバッキングインデックス (000002) と並行して作成されます。