Time Series Database:Strategi\\ migrasi\\ data\\ untuk\\ TSDB\\ for\\ InfluxDB®

Prasyarat

Sebelum memulai, pastikan bahwa:

• Instans TSDB for InfluxDB® Anda telah ditingkatkan ke versi 1.8.14 (versi terbaru).

• Port backup 8088 telah diaktifkan. Ajukan tiket melalui sistem tiket Alibaba Cloud untuk membuka port tersebut.

• Instans InfluxDB self-hosted memenuhi semua kondisi berikut:

  • Berada di wilayah, zona, dan virtual private cloud (VPC) yang sama dengan instans TSDB for InfluxDB® Anda

  • Tipe instans yang sama

  • Terhubung ke vSwitch yang sama

Untuk panduan ini, beli instans ECS yang memenuhi kondisi tersebut dan instal InfluxDB V1.8.10 self-hosted. Lihat Cara cepat membeli instans subscription untuk instruksi pembelian ECS.

Untuk ikhtisar konseptual proses backup dan restore, lihat Backup and restore dalam dokumentasi InfluxDB.

Catatan penggunaan

• Hanya data historis. Proses backup dan restore tidak mendukung migrasi data inkremental. Siapkan dual-write sebelum memigrasikan data historis.

• Kebutuhan penyimpanan. Ruang penyimpanan yang tersedia pada instans tujuan harus lebih dari dua kali ukuran data Anda.

• Ambang batas memori. Jika penggunaan memori instans TSDB for InfluxDB® Anda saat ini melebihi 80%, lakukan peningkatan instans sebelum memulai backup.

• Backup tingkat shard. Backup data satu shard dalam satu waktu. Setiap perintah backup memerlukan nama database, nama kebijakan retensi, dan ID shard.

Aktifkan dual-write

Karena backup dan restore hanya mencakup data historis, mulailah menulis data baru ke kedua instans sebelum migrasi. Hal ini memastikan tidak ada data yang hilang selama jendela migrasi.

Konfigurasikan aplikasi Anda untuk menulis secara simultan ke instans TSDB for InfluxDB® dan instans InfluxDB self-hosted.

Pertahankan dual-write hingga Anda selesai memigrasikan seluruh data historis.

Backup data

Jalankan perintah berikut pada instans ECS tempat InfluxDB self-hosted diinstal.

# Syntax
influxd backup -portable \
  -host <vpc-endpoint>:8088 \
  -db <database-name> \
  -rp <retention-policy-name> \
  -shard <shard-id> \
  <backup-destination-path>

# Example
influxd backup -portable \
  -host ts-xxx.influxdata.tsdb.aliyuncs.com:8088 \
  -db example_db \
  -rp example_rp \
  -shard 123 \
  /root/tmp/influx_backup

Parameter:

Pulihkan data

Untuk referensi lengkap, lihat Restore data to an existing database dalam dokumentasi InfluxDB.

1. Pada instans ECS, pulihkan backup ke database temporary.

   # Syntax
   influxd restore -portable \
     -db <backed-up-database-name> \
     -rp <backed-up-retention-policy-name> \
     -shard <backed-up-shard-id> \
     -newdb <temporary-database-name> \
     <backup-source-path>
   
   # Example
   influxd restore -portable \
     -db example_db \
     -rp example_rp \
     -shard 123 \
     -newdb example_tmp_db \
     /root/tmp/influx_backup

   Parameter	Description
   -db	Nama database dalam backup.
   -rp	Nama kebijakan retensi dalam backup.
   -shard	ID shard dalam backup.
   -newdb	Nama database temporary tempat data dipulihkan.
   <backup-source-path>	Jalur ke folder yang berisi file backup.

2. Gunakan InfluxQL untuk menyalin data dari database temporary ke database tujuan.

   SELECT * INTO "example_db"."example_rp".:MEASUREMENT FROM "example_tmp_db".autogen./.*/ GROUP BY *

3. Hapus database temporary.

   DROP DATABASE "example_tmp_db"

Ulangi langkah 1–3 untuk setiap shard hingga seluruh data berhasil dimigrasikan.

Ekspor data ke CSV

Gunakan Influx CLI (V1.x) untuk melakukan kueri dan ekspor data.

# Ekspor dengan kolom measurement (diperlukan untuk target InfluxDB)
influx -ssl \
  -host ts-xxx.influxdata.tsdb.aliyuncs.com \
  -port 8086 \
  -username "xxx" \
  -password "xxx" \
  -format "csv" \
  -precision ms \
  -database example_db \
  -execute "select * from sensor" \
  > /root/tmp/ouput.csv

Untuk menghapus kolom measurement (diperlukan untuk LindormTSDB), salurkan output melalui sed:

influx -ssl \
  -host ts-xxx.influxdata.tsdb.aliyuncs.com \
  -port 8086 \
  -username "xxx" \
  -password "xxx" \
  -format "csv" \
  -precision ms \
  -database example_db \
  -execute "select * from sensor" | \
  sed -r 's/^[^,]+,//' \
  > /root/tmp/ouput.csv

Kolom pertama dalam file CSV yang diekspor adalah kolom name, yang merepresentasikan measurement. Perintah sed menghapus kolom ini sebelum menulis ke file.

Impor data ke LindormTSDB

1. Ekspor data dari TSDB for InfluxDB® menggunakan perintah di atas (dengan sed untuk menghapus kolom measurement). Atur presisi ke ms atau rfc3339.

2. Di LindormTSDB, buat database dan tabel tujuan dengan semua bidang yang telah didefinisikan sebelumnya.

3. Impor file CSV menggunakan Lindorm CLI.

   # Syntax
   lindorm-cli -url jdbc:lindorm:tsdb:url=http://<lindorm-endpoint>:8242 \
     -format=csv \
     -input <csv-file-path> \
     -database <database-name> \
     -table <table-name>
   
   # Example
   lindorm-cli -url jdbc:lindorm:tsdb:url=http://ld-xxx-proxy-tsdb-pub.lindorm.rds.aliyuncs.com:8242 \
     -format=csv \
     -input /root/tmp/ouput.csv \
     -database example_db \
     -table example_table

Impor data ke InfluxDB

Semua langkah dalam jalur ini menggunakan alur kerja konversi CSV ke line protocol yang didukung oleh Influx CLI V2.x.

1. Unduh alat yang diperlukan:

   • Influx CLI V1.x (termasuk dalam paket penyebaran InfluxDB): influxdata/influxdb v1.8.10

   • Influx CLI V2.x (paket terpisah): Download and install the influx CLI

2. Ekspor data menggunakan Influx CLI V1.x. Jangan tentukan flag presisi, dan pertahankan kolom measurement.

   influx -ssl \
     -host ts-xxx.influxdata.tsdb.aliyuncs.com \
     -port 8086 \
     -username "xxx" \
     -password "xxx" \
     -format "csv" \
     -database example_db \
     -execute "select * from sensor" \
     > /root/tmp/ouput.csv

3. Gunakan Influx CLI V2.x untuk mengonversi file CSV menjadi file line protocol. Lihat Write CSV data to InfluxDB untuk detail format anotasi.

   # Syntax
   influx write dryrun \
     --format csv \
     --header "<column-name>|<data-type>|<default-value>,..." \
     --skipHeader=1 \
     -f <csv-file-path> \
     > <line-protocol-output-path>
   
   # Example
   influx write dryrun \
     --format csv \
     --header "name|measurement,time|dateTime,device_id|tag,humidity|long|0,region|tag,temperature|double|0.0" \
     --skipHeader=1 \
     -f /root/tmp/ouput.csv \
     > /root/tmp/ouput.line

   Format --header adalah column_name|data_type|default_value. Untuk tipe kolom waktu, lihat Specify the time type.

4. Tulis file line protocol ke instans InfluxDB V1.x self-hosted Anda.