Time Series Database:TSDB for InfluxDB® のデータ移行ソリューション

前提条件

• ご利用の TSDB for InfluxDB® インスタンスを最新バージョン (1.8.14) にスペックアップする必要があります。

• バックアップポート 8088 を有効にする必要があります。

  Alibaba Cloud チケットシステムからチケットを送信して、バックアップポートを開くことができます。

• セルフホスト型 InfluxDB インスタンスと TSDB for InfluxDB® インスタンスは、同じリージョン、ゾーン、VPC にある必要があります。また、同じインスタンスタイプを使用し、同じ vSwitch に接続されている必要があります。

  このトピックでは、Elastic Compute Service (ECS) 環境を例として使用します。これらの条件を満たす ECS インスタンスを購入し、セルフホスト型 InfluxDB V1.8.10 をインストールします。詳細については、「サブスクリプションインスタンスのクイック購入」をご参照ください。

移行プロセスを理解するには、InfluxDB 公式ドキュメントの「バックアップと復元」セクションをご参照ください。

注意事項

• バックアップと復元のプロセスは、既存データの移行のみをサポートし、増分データ移行はサポートしていません。そのため、既存データを移行する前に、TSDB for InfluxDB® インスタンスとセルフホスト型 InfluxDB インスタンスの両方に同時にデータを書き込む必要があります。

• バックアップには追加のストレージ容量が必要です。利用可能なストレージ容量がデータサイズの 2 倍以上あることを確認してください。

• インスタンスの現在のメモリ使用量が 80% を超える場合は、データをバックアップして移行する前にインスタンスをスペックアップしてください。

• データはシャードごとにバックアップする必要があります。これには、バックアップ対象のデータベース、保持ポリシー、シャードを指定する必要があります。

バックアップ

セルフホスト型 InfluxDB がインストールされている ECS インスタンスで、次のコマンドを実行します。

influxd backup -portable \
  -host ts-xxx.influxdata.tsdb.aliyuncs.com:8088 \
  -db example_db \
  -rp example_rp \
  -shard 123 \
  /root/tmp/influx_backup

パラメーター:

• host：TSDB for InfluxDB® インスタンスの VPC エンドポイントです。TSDB コンソールにログインし、[インスタンス詳細] ページで [VPC エンドポイント] を確認できます。

• -db：バックアップするデータベースの名前です。TSDB コンソールの インスタンスデータベース管理 > データベース管理 ページでデータベース名を確認できます。

• -rp：バックアップする保持ポリシーの名前です。名前を確認するには、TSDB コンソールにログインし、インスタンス管理 > データベース管理 ページに移動し、対象のデータベースの [操作] 列にある [ストレージポリシー管理] をクリックします。

• -shard: バックアップするシャードの ID。 show shards コマンドを実行してシャード ID を確認できます。

• バックアップファイルの保存先フォルダへのパスです。

データの復元

手順については、公式ドキュメントの「バックアップされたデータを既存のデータベースに復元する方法」をご参照ください。

1. セルフホスト型 InfluxDB がインストールされている ECS インスタンスで、次のコマンドを実行してデータを一時データベースに復元します。

   influxd restore -portable \
     -db example_db \
     -rp example_rp \
     -shard 123 \
     -newdb example_tmp_db \
     /root/tmp/influx_backup

   パラメーター:

   • -db：バックアップされたデータベースの名前です。

   • -rp：バックアップされた保持ポリシーの名前です。

   • -shard：バックアップされたシャードの ID です。

   • newdb：復元用の一時データベースの名前です。

   • バックアップファイルが含まれるフォルダへのパスです。

2. InfluxQL を使用して一時データベースからデータをクエリし、ターゲットデータベースに書き戻します。

   SELECT * INTO "example_db"."example_rp".:MEASUREMENT FROM "example_tmp_db".autogen./.*/ GROUP BY *

3. 一時データベースを削除します。

   DROP DATABASE "example_tmp_db"

注意事項

クエリにはタグと時間フィルター条件を追加する必要があります。そうしないと、大規模なクエリによってインスタンスが不安定になる可能性があります。

データを CSV ファイルにエクスポートする

Influx-cli ツール (V1.x) を使用してクエリを実行し、結果を CSV ファイルにエクスポートできます。

influx -ssl \
  -host ts-xxx.influxdata.tsdb.aliyuncs.com \
  -port 8086 \
  -username "xxx" \
  -password "xxx" \
  -format "csv" \
  -precision ms \
  -database example_db \
  -execute "select * from sensor" | \
  > /root/tmp/ouput.csv

エクスポートされた CSV ファイルの最初の列は、メジャメントを表す name 列です。この列が不要な場合は、次のコマンドを実行します。

influx -ssl \
  -host ts-xxx.influxdata.tsdb.aliyuncs.com \
  -port 8086 \
  -username "xxx" \
  -password "xxx" \
  -format "csv" \
  -precision ms \
  -database example_db \
  -execute "select * from sensor" | \
  sed -r 's/^[^,]+,//' | \
  > /root/tmp/ouput.csv

別のデータベースへのデータのインポート

オープンソースツールを使用するか、プログラムを作成して CSV ファイルを別のデータベースにインポートします。以下のセクションで例を示します。

lindorm-cli -url jdbc:lindorm:tsdb:url=http://ld-xxx-proxy-tsdb-pub.lindorm.rds.aliyuncs.com:8242 \
  -format=csv \
  -input /root/tmp/ouput.csv \
  -database example_db \
  -table example_table