Time Series Database:Solução de migração de dados para InfluxDB em nuvem

Visualize a lista de shards

Antes de realizar o backup, execute a seguinte instrução InfluxQL para visualizar as informações de todos os shards e determinar quais devem ser migrados:

SHOW SHARDS

No resultado, obtenha os campos id, database e retention_policy de cada shard. Esses campos são usados como parâmetros nos comandos de backup subsequentes. As operações de backup e restauração devem ser executadas individualmente em cada shard.

backup

Execute o comando de backup na instância ECS que hospeda o InfluxDB auto-hospedado para fazer o backup dos dados shard por shard. É necessário especificar o nome do banco de dados, o nome da política de retenção e o ID do shard para cada backup.

• Sintaxe

  influxd backup -portable \
    -host <source instance VPC address:8088> \
    -db <database name> \
    -rp <retention policy name> \
    -shard <shard ID> \
    <backup directory>

• Parâmetros

  Parâmetro	Descrição
  -portable	Utiliza o formato de backup portátil.
  -host	O endpoint VPC e a porta de backup da instância do Cloud TSDB for InfluxDB, no formato ts-xxx:8088.
  -db	Nome do banco de dados a ser copiado.
  -rp	Nome da política de retenção a ser copiada.
  -shard	ID do shard a ser copiado. Execute SHOW SHARDS para obter os IDs dos shards.
  <backup directory>	Diretório onde os arquivos de backup são salvos, por exemplo, /root/tmp/influx_backup.

• Exemplo

  influxd backup -portable \
    -host ts-xxx.influxdata.tsdb.aliyuncs.com:8088 \
    -db example_db \
    -rp example_rp \
    -shard 123 \
    /root/tmp/influx_backup

  Nota

  Neste exemplo, substitua ts-xxx.influxdata.tsdb.aliyuncs.com:8088, example_db, example_rp, 123 e /root/tmp/influx_backup pelos valores adequados ao escopo real da sua migração.

restore

Consulte a documentação oficial para restaurar dados em um banco de dados existente.

1. Na instância ECS que hospeda o InfluxDB auto-hospedado, execute o comando de restauração para recuperar os dados em um banco de dados temporário.

   • Sintaxe

     influxd restore -portable \
       -db <backed-up database name> \
       -rp <backed-up retention policy name> \
       -shard <shard ID> \
       -newdb <temporary database name> \
       <backup directory>
     

   • Parâmetros

     Parâmetro	Descrição
     -portable	Lê o formato de backup portátil.
     -db	Nome do banco de dados que teve backup realizado.
     -rp	Nome da política de retenção que teve backup realizado.
     -shard	ID do shard que teve backup realizado.
     -newdb	Nome do banco de dados temporário onde os dados serão restaurados.
     <backup directory>	Diretório onde os dados de backup estão armazenados, por exemplo, /root/tmp/influx_backup.

   • Exemplo

     influxd restore -portable \
       -db example_db \
       -rp example_rp \
       -shard 123 \
       -newdb example_tmp_db \
       /root/tmp/influx_backup

     Neste exemplo, substitua example_db , example_rp , 123 , example_tmp_db e /root/tmp/influx_backup pelos valores correspondentes ao conteúdo real do seu backup.

2. Utilize InfluxQL para consultar dados do banco de dados temporário e gravá-los no banco de dados de destino.

   Para grandes volumes de dados, o comando SELECT INTO pode gerar dados incompletos devido a tempos limite de consulta. Confirme os pontos abaixo antes da execução:

   • Se um tempo limite de consulta estiver ativado (ou seja, INFLUXDB_COORDINATOR_QUERY_TIMEOUT estiver definido), aumente-o para um valor suficientemente grande. Por padrão, o InfluxDB não impõe tempo limite de consulta.

   • Em cenários com grandes volumes de dados, execute SELECT INTO em lotes por intervalo de tempo para evitar tempos limite em uma única consulta.

     SELECT *
     INTO "example_db"."example_rp".:MEASUREMENT
     FROM "example_tmp_db"."example_rp"/.*/
     GROUP BY *

   /.*/ é uma sintaxe de expressão regular do InfluxQL que corresponde a todas as medições.

3. Verifique a integridade dos dados. Consulte a contagem de linhas tanto no banco de dados temporário quanto no banco de dados de destino. Confirme se os dados estão consistentes antes de prosseguir para a próxima etapa.

   SELECT COUNT(*) FROM "example_tmp_db"."example_rp"/.*/
   SELECT COUNT(*) FROM "example_db"."example_rp"/.*/

4. Exclua o banco de dados temporário.

   DROP DATABASE "example_tmp_db";