Elasticsearch：Memulai manajemen data deret waktu Elasticsearch menggunakan plug-in aliyun-timestream

Buat indeks deret waktu

Buat indeks deret waktu bernama test_stream:

PUT _time_stream/test_stream

Ini akan membuat data stream Elasticsearch (bukan indeks mandiri), beserta templat indeks bernama .timestream_test_stream yang telah dikonfigurasi sebelumnya dengan pengaturan berikut:

Templat indeks juga telah dikonfigurasi sebelumnya untuk pemetaan dua kategori bidang:

• Bidang dimensi (labels.*): Dipetakan sebagai keyword dengan time_series_dimension: true. Semua bidang dimensi digabungkan ke dalam bidang internal _tsid, yang secara unik mengidentifikasi setiap deret waktu.

• Bidang metrik (metrics.*): Dipetakan sebagai double atau long dengan "index": false. Hanya doc values yang disimpan—tidak ada data indeks terbalik.

Lihat konfigurasi lengkap test_stream:

GET _time_stream/test_stream

Sesuaikan templat indeks

Kirimkan badan template saat membuat indeks untuk mengganti pengaturan default. Contoh berikut menunjukkan penyesuaian umum:

• Tentukan jumlah shard primary:

  PUT _time_stream/test_stream
  {
    "template": {
      "settings": {
        "index": {
          "number_of_shards": "2"
        }
      }
    }
  }

• Sesuaikan model data (konvensi penamaan bidang):

  PUT _time_stream/test_stream
  {
    "template": {
      "settings": {
        "index": {
          "number_of_shards": "2"
        }
      }
    },
    "time_stream": {
      "labels_fields": ["labels_*"],
      "metrics_fields": ["metrics_*"]
    }
  }

Perbarui indeks deret waktu

Perbarui jumlah shard primary untuk test_stream:

POST _time_stream/test_stream/_update
{
  "template": {
    "settings": {
      "index": {
        "number_of_shards": "4"
      }
    }
  }
}

Setelah diperbarui, pengaturan baru tidak berlaku untuk indeks pendukung saat ini. Lakukan rollover pada indeks untuk menerapkannya:

POST test_stream/_rollover

Indeks pendukung baru dibuat dengan pengaturan yang diperbarui. Indeks pendukung asli tetap mempertahankan pengaturan sebelumnya.

Hapus indeks deret waktu

Hapus test_stream dan semua datanya:

DELETE _time_stream/test_stream

Tulis data

Gunakan API bulk atau index untuk menulis dokumen. Setiap dokumen harus menyertakan bidang @timestamp yang diatur ke waktu pengukuran dilakukan.

POST test_stream/_doc
{
  "@timestamp": 1630465208722,
  "metrics": {
    "cpu.idle": 79.67298116109929,
    "disk_ioutil": 17.630910821570456,
    "mem.free": 75.79973639970004
  },
  "labels": {
    "disk_type": "disk_type2",
    "namespace": "namespaces1",
    "clusterId": "clusterId3",
    "nodeId": "nodeId5"
  }
}

Cara kerja routing berbasis waktu

Setiap indeks pendukung dalam data stream memiliki rentang waktu yang ditentukan oleh index.time_series.start_time dan index.time_series.end_time. Dokumen ditulis ke indeks pendukung yang rentang waktunya mencakup nilai @timestamp dokumen tersebut.

Data stream mengelola rentang waktu ini secara otomatis. Setelah rollover, indeks pendukung baru mengambil alih dari waktu akhir indeks sebelumnya, sehingga semua indeks pendukung bersama-sama mencakup rentang waktu kontinu tanpa celah.

Kueri data

Cari semua dokumen dalam test_stream:

GET test_stream/_search

Lihat detail indeks:

GET _cat/indices/test_stream?v&s=i

Lihat statistik indeks

Dapatkan statistik untuk test_stream, termasuk jumlah deret waktu yang dilacak per shard:

GET _time_stream/test_stream/_stats

Contoh respons:

{
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "time_stream_count" : 1,
  "indices_count" : 1,
  "total_store_size_bytes" : 19132,
  "time_streams" : [
    {
      "time_stream" : "test_stream",
      "indices_count" : 1,
      "store_size_bytes" : 19132,
      "tsid_count" : 2
    }
  ]
}

Metrik time_stream_count menghitung jumlah deret waktu unik per shard primary dengan membaca doc values bidang _tsid. Ini merupakan operasi yang relatif mahal. Untuk mengurangi biaya:

• Untuk indeks read-only, konfigurasikan kebijakan caching sehingga penghitungan hanya dilakukan sekali dan tidak diperbarui lagi.

• Untuk indeks aktif, cache diperbarui setiap 5 menit secara default. Sesuaikan interval ini dengan parameter index.time_series.stats.refresh_interval. Nilai minimum adalah 1 menit.

Konfigurasikan sumber data Prometheus

Opsi 1: Konsol Grafana

Di konsol Grafana, tambahkan sumber data Prometheus dan atur URL ke /_time_stream/prom/test_stream. Indeks deret waktu kemudian tersedia sebagai sumber data Prometheus secara langsung.

Opsi 2: Awalan dan akhiran bidang kustom

Saat mengkueri melalui API Prometheus, plug-in secara default menghapus awalan metrics. dari bidang metrik dan awalan labels. dari bidang dimensi.

Jika Anda membuat indeks dengan model data kustom (awalan bidang non-default), konfigurasikan pemetaan awalan dan akhiran secara eksplisit:

PUT _time_stream/{name}
{
  "time_stream": {
    "labels_fields": "@labels.*_l",
    "metrics_fields": "@metrics.*_m",
    "label_prefix": "@labels.",
    "label_suffix": "_l",
    "metric_prefix": "@metrics.",
    "metric_suffix": "_m"
  }
}

Kueri metadata

Lihat semua bidang metrik dalam test_stream:

GET /_time_stream/prom/test_stream/metadata

Contoh respons:

{
  "status" : "success",
  "data" : {
    "cpu.idle" : [
      {
        "type" : "gauge",
        "help" : "",
        "unit" : ""
      }
    ],
    "disk_ioutil" : [
      {
        "type" : "gauge",
        "help" : "",
        "unit" : ""
      }
    ],
    "mem.free" : [
      {
        "type" : "gauge",
        "help" : "",
        "unit" : ""
      }
    ]
  }
}

Lihat semua bidang dimensi dalam test_stream:

GET /_time_stream/prom/test_stream/labels

Contoh respons:

{
  "status" : "success",
  "data" : [
    "__name__",
    "clusterId",
    "disk_type",
    "namespace",
    "nodeId"
  ]
}

Lihat semua nilai untuk bidang dimensi tertentu:

GET /_time_stream/prom/test_stream/label/clusterId/values

Contoh respons:

{
  "status" : "success",
  "data" : [
    "clusterId1",
    "clusterId3"
  ]
}

Lihat semua deret waktu untuk metrik cpu.idle:

GET /_time_stream/prom/test_stream/series?match[]=cpu.idle

Contoh respons:

{
  "status" : "success",
  "data" : [
    {
      "__name__" : "cpu.idle",
      "disk_type" : "disk_type1",
      "namespace" : "namespaces2",
      "clusterId" : "clusterId1",
      "nodeId" : "nodeId2"
    },
    {
      "__name__" : "cpu.idle",
      "disk_type" : "disk_type1",
      "namespace" : "namespaces2",
      "clusterId" : "clusterId1",
      "nodeId" : "nodeId5"
    },
    {
      "__name__" : "cpu.idle",
      "disk_type" : "disk_type2",
      "namespace" : "namespaces1",
      "clusterId" : "clusterId3",
      "nodeId" : "nodeId5"
    }
  ]
}

Kueri data dengan PromQL

Gunakan API kueri instan dan kueri rentang Prometheus untuk menjalankan kueri PromQL terhadap indeks deret waktu Anda. Untuk detail sintaks PromQL yang didukung, lihat Dukungan aliyun-timestream untuk PromQL.

Kueri instan

GET /_time_stream/prom/test_stream/query?query=cpu.idle&time=1655769837

Parameter time dalam satuan detik Unix. Jika dihilangkan, kueri akan mengembalikan data dari 5 menit sebelumnya.

Contoh respons:

{
  "status" : "success",
  "data" : {
    "resultType" : "vector",
    "result" : [
      {
        "metric" : {
          "__name__" : "cpu.idle",
          "clusterId" : "clusterId1",
          "disk_type" : "disk_type1",
          "namespace" : "namespaces2",
          "nodeId" : "nodeId2"
        },
        "value" : [
          1655769837,
          "79.672981161"
        ]
      },
      {
        "metric" : {
          "__name__" : "cpu.idle",
          "clusterId" : "clusterId1",
          "disk_type" : "disk_type1",
          "namespace" : "namespaces2",
          "nodeId" : "nodeId5"
        },
        "value" : [
          1655769837,
          "79.672981161"
        ]
      },
      {
        "metric" : {
          "__name__" : "cpu.idle",
          "clusterId" : "clusterId3",
          "disk_type" : "disk_type2",
          "namespace" : "namespaces1",
          "nodeId" : "nodeId5"
        },
        "value" : [
          1655769837,
          "79.672981161"
        ]
      }
    ]
  }
}

Kueri rentang

GET /_time_stream/prom/test_stream/query_range?query=cpu.idle&start=1655769800&end=16557699860&step=1m

Contoh respons:

{
  "status" : "success",
  "data" : {
    "resultType" : "matrix",
    "result" : [
      {
        "metric" : {
          "__name__" : "cpu.idle",
          "clusterId" : "clusterId1",
          "disk_type" : "disk_type1",
          "namespace" : "namespaces2",
          "nodeId" : "nodeId2"
        },
        "value" : [
          [
            1655769860,
            "79.672981161"
          ]
        ]
      },
      {
        "metric" : {
          "__name__" : "cpu.idle",
          "clusterId" : "clusterId1",
          "disk_type" : "disk_type1",
          "namespace" : "namespaces2",
          "nodeId" : "nodeId5"
        },
        "value" : [
          [
            1655769860,
            "79.672981161"
          ]
        ]
      },
      {
        "metric" : {
          "__name__" : "cpu.idle",
          "clusterId" : "clusterId3",
          "disk_type" : "disk_type2",
          "namespace" : "namespaces1",
          "nodeId" : "nodeId5"
        },
        "value" : [
          [
            1655769860,
            "79.672981161"
          ]
        ]
      }
    ]
  }
}

Uji downsampling dengan indeks demo

Prosedur berikut mendemonstrasikan siklus hidup downsampling lengkap menggunakan rentang waktu yang dikontrol secara manual. Ini berguna untuk pengujian dan validasi. Di lingkungan produksi, plug-in memicu downsampling secara otomatis setelah rollover.

1. Buat indeks dengan rentang waktu tetap dan konfigurasi downsampling. Nilai start_time dan end_time mensimulasikan jendela waktu lampau sehingga kondisi pemicu downsampling (waktu saat ini setidaknya dua jam melewati end_time) langsung terpenuhi.

   Penting

   Setelah langkah ini, periksa end_time dengan menjalankan GET {index}/_settings. Sistem menyesuaikan end_time setiap 5 menit secara default. Lanjutkan ke langkah berikutnya sebelum end_time diperbarui.

   PUT _time_stream/test_stream
   {
     "template": {
       "settings": {
         "index.time_series.start_time": "2022-06-20T00:00:00.000Z",
         "index.time_series.end_time": "2022-06-21T00:00:00.000Z"
       }
     },
     "time_stream": {
       "downsample": [
         {
           "interval": "1m"
         },
         {
           "interval": "10m"
         },
         {
           "interval": "60m"
         }
       ]
     }
   }

2. Tulis dokumen dengan @timestamp diatur ke nilai dalam rentang [start_time, end_time):

   POST test_stream/_doc
   {
     "@timestamp": 1655706106000,
     "metrics": {
       "cpu.idle": 79.67298116109929,
       "disk_ioutil": 17.630910821570456,
       "mem.free": 75.79973639970004
     },
     "labels": {
       "disk_type": "disk_type2",
       "namespace": "namespaces1",
       "clusterId": "clusterId3",
       "nodeId": "nodeId5"
     }
   }

3. Hapus start_time dan end_time dari indeks, dan pertahankan konfigurasi downsampling:

   POST _time_stream/test_stream/_update
   {
     "time_stream": {
       "downsample": [
         {
           "interval": "1m"
         },
         {
           "interval": "10m"
         },
         {
           "interval": "60m"
         }
       ]
     }
   }

4. Lakukan rollover pada indeks:

   POST test_stream/_rollover

5. Setelah rollover selesai, lihat indeks downsampling yang dihasilkan:

   GET _cat/indices/test_stream?v&s=i

   Output yang diharapkan:

   health status index                                          uuid                   pri rep docs.count docs.deleted store.size pri.store.size
   green  open   .ds-test_stream-2022.06.21-000001              vhEwKIlwSGO3ax4RKn****   1   1          9            0     18.5kb         12.1kb
   green  open   .ds-test_stream-2022.06.21-000001_interval_10m r9Tsj0v-SyWJDc64oC****   1   1          1            0     15.8kb          7.9kb
   green  open   .ds-test_stream-2022.06.21-000001_interval_1h  cKsAlMK-T2-luefNAF****   1   1          1            0     15.8kb          7.9kb
   green  open   .ds-test_stream-2022.06.21-000001_interval_1m  L6ocasDFTz-c89KjND****   1   1          1            0     15.8kb          7.9kb
   green  open   .ds-test_stream-2022.06.21-000002              42vlHEFFQrmMAdNdCz****   1   1          0            0       452b           226b

   Tiga indeks downsampling (_interval_1m, _interval_10m, _interval_1h) dibuat bersamaan dengan indeks pendukung baru (000002).