Time Series Database：Solusi migrasi data untuk TSDB for InfluxDB®

Prasyarat

• Instans TSDB for InfluxDB® Anda harus ditingkatkan ke versi terbaru (1.8.14).

• Port backup 8088 harus diaktifkan.

  Anda dapat mengajukan tiket melalui sistem tiket Alibaba Cloud untuk membuka port backup.

• Instans InfluxDB self-hosted dan instans TSDB for InfluxDB® harus berada di wilayah, zona, dan virtual private cloud (VPC) yang sama. Keduanya juga harus menggunakan tipe instans yang sama serta terhubung ke virtual switch yang sama.

  Topik ini menggunakan lingkungan Elastic Compute Service (ECS) sebagai contoh. Beli instans ECS yang memenuhi persyaratan ini dan instal InfluxDB self-hosted V1.8.10. Untuk informasi selengkapnya, lihat Cara cepat membeli instans langganan.

Untuk memahami proses migrasi, lihat bagian Backup and restore dalam dokumentasi resmi InfluxDB.

Catatan

• Proses backup dan pemulihan hanya mendukung migrasi data historis. Tidak mendukung migrasi data inkremental. Oleh karena itu, Anda harus menulis data secara bersamaan ke instans TSDB for InfluxDB® dan instans InfluxDB self-hosted sebelum melakukan migrasi data historis.

• Backup memerlukan ruang penyimpanan tambahan. Pastikan ruang penyimpanan yang tersedia lebih dari dua kali ukuran data Anda.

• Jika penggunaan memori instans saat ini melebihi 80%, tingkatkan instans tersebut sebelum melakukan backup dan migrasi data.

• Anda harus melakukan backup data per shard. Hal ini mengharuskan Anda menentukan database, kebijakan retensi, dan shard untuk backup tersebut.

Backup

Jalankan perintah berikut pada instans ECS tempat InfluxDB self-hosted Anda diinstal.

influxd backup -portable \
  -host ts-xxx.influxdata.tsdb.aliyuncs.com:8088 \
  -db example_db \
  -rp example_rp \
  -shard 123 \
  /root/tmp/influx_backup

Parameter:

• host: Titik akhir VPC dari instans TSDB for InfluxDB®. Anda dapat login ke Konsol TSDB dan menemukan VPC Endpoint pada halaman Instance Details.

• -db: Nama database yang akan di-backup. Anda dapat menemukan nama database tersebut di Konsol TSDB pada halaman Instance Database Management > Database Management.

• -rp: Nama kebijakan retensi yang akan di-backup. Untuk menemukan nama tersebut, login ke Konsol TSDB, buka halaman Instance Management > Database Management, lalu klik Storage Policy Management pada kolom Actions untuk database yang dituju.

• -shard: ID shard yang akan dicadangkan. Anda dapat menjalankan perintah show shards untuk menemukan ID shard tersebut.

• Jalur ke folder tujuan untuk file backup.

Pulihkan data

Untuk petunjuknya, lihat dokumentasi resmi tentang cara memulihkan data yang telah di-backup ke database yang sudah ada.

1. Pada instans ECS tempat InfluxDB self-hosted Anda diinstal, jalankan perintah berikut untuk memulihkan data ke database temporary.

   influxd restore -portable \
     -db example_db \
     -rp example_rp \
     -shard 123 \
     -newdb example_tmp_db \
     /root/tmp/influx_backup

   Parameter:

   • -db: Nama database yang telah di-backup.

   • -rp: Nama kebijakan retensi yang telah di-backup.

   • -shard: ID shard yang telah di-backup.

   • newdb: Nama database temporary untuk pemulihan.

   • Jalur ke folder yang berisi file backup.

2. Gunakan InfluxQL untuk mengkueri data dari database temporary dan menuliskannya kembali ke database tujuan.

   SELECT * INTO "example_db"."example_rp".:MEASUREMENT FROM "example_tmp_db".autogen./.*/ GROUP BY *

3. Hapus database sementara.

   DROP DATABASE "example_tmp_db"

Catatan

Anda harus menambahkan kondisi filter tag dan time pada kueri Anda. Jika tidak, kueri besar dapat menyebabkan instans menjadi tidak stabil.

Ekspor data ke file CSV

Anda dapat menggunakan tool Influx-cli (V1.x) untuk menjalankan kueri dan mengekspor hasilnya ke file CSV.

influx -ssl \
  -host ts-xxx.influxdata.tsdb.aliyuncs.com \
  -port 8086 \
  -username "xxx" \
  -password "xxx" \
  -format "csv" \
  -precision ms \
  -database example_db \
  -execute "select * from sensor" | \
  > /root/tmp/ouput.csv

Kolom pertama dalam file CSV yang diekspor adalah kolom name, yang merepresentasikan measurement. Jika Anda tidak memerlukan kolom ini, jalankan perintah berikut.

influx -ssl \
  -host ts-xxx.influxdata.tsdb.aliyuncs.com \
  -port 8086 \
  -username "xxx" \
  -password "xxx" \
  -format "csv" \
  -precision ms \
  -database example_db \
  -execute "select * from sensor" | \
  sed -r 's/^[^,]+,//' | \
  > /root/tmp/ouput.csv

Impor data ke database lain

Gunakan tool open source atau tulis program untuk mengimpor file CSV ke database lain. Bagian berikut menyediakan contoh.

lindorm-cli -url jdbc:lindorm:tsdb:url=http://ld-xxx-proxy-tsdb-pub.lindorm.rds.aliyuncs.com:8242 \
  -format=csv \
  -input /root/tmp/ouput.csv \
  -database example_db \
  -table example_table