Lindorm:Migrate full data from TSDB to LindormTSDB

Pré-requisitos

Antes de começar, verifique se você tem:

• Um cliente Linux ou macOS com os seguintes itens instalados:

  • Java Development Kit (JDK) 1.8 ou posterior

  • Python 2.x ou 3.x

• Uma instância do TSDB executando a versão 2.7.4 ou posterior

• Uma instância do Lindorm com o LindormTSDB ativado. Para mais detalhes, consulte Crie uma instância

Funcionamento da ferramenta de migração

A ferramenta processa os dados na seguinte sequência:

1. Lê todos os dados de séries temporais da instância do TSDB e salva-os em um arquivo local.

2. Divide a tarefa de migração em grupos de tempo com base em beginDateTime, endDateTime e splitIntervalMs. Em cada grupo de tempo, divide a carga de trabalho em subtarefas de leitura conforme o parâmetro oidBatch. Cada subtarefa lê um lote de séries temporais dentro do intervalo especificado e envia os dados ao componente de gravação.

3. Após a conclusão de todas as subtarefas de leitura em um grupo de tempo, registra o ID do grupo, o ID da tarefa de migração e o status da tarefa em uma lista chamada internal_datax_job<jobName>.

4. O componente de gravação recebe os dados de cada subtarefa de leitura e os grava no LindormTSDB usando o modelo de dados de múltiplos valores.

Antes de começar

Configure a tarefa de migração

Salve sua configuração de migração como um arquivo JSON (por exemplo, job.json). A configuração possui três seções: configurações da tarefa, leitor (origem TSDB) e gravador (destino LindormTSDB).

100 × 604800000 / 3600000 = 16,800 data points per subtask

{
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0.00
            }
        },
        "content": [
            {
                "reader": {
                    "name": "tsdbreader",
                    "parameter": {
                        "sinkDbType": "LINDORM-MIGRATION",
                        "endpoint": "ts-xxxx:3242",
                        "beginDateTime": "2022-5-2 00:00:00",
                        "endDateTime": "2022-7-2 00:00:00",
                        "splitIntervalMs": 86400000,
                        "jobName": "myjob",
                        "selfId": 1,
                        "jobIds": [1],
                        "oidPath": "{$myworkplace}/oidfile",
                        "oidBatch": 100,
                        "oidCache": true
                    }
                },
                "writer": {
                    "name": "tsdbwriter",
                    "parameter": {
                        "endpoint": "ld-xxxx:8242",
                        "multiField": true,
                        "batchSize": 500
                    }
                }
            }
        ]
    }
}

Execute a migração

1. Baixe a ferramenta de migração.

2. Descompacte o pacote:

   tar -zxvf tsdb2lindorm.tar.gz

3. Inicie a tarefa de migração:

   python datax/bin/datax.py --jvm="-Xms8G -Xmx8G" job.json > job.result

   Substitua job pelo nome do seu arquivo de configuração.

4. Após a conclusão do comando, verifique se há erros em job.result. Se o arquivo não contiver saída de erro, a migração foi concluída com sucesso.

5. (Opcional) Se a tarefa falhar, consulte a lista de status da tarefa para identificar quais grupos de tempo foram concluídos com sucesso e onde retomar:

   curl -u <username>:<password> <tsdb-endpoint>:3242/api/mquery -XPOST -d '{
       "start": 1,
       "queries": [
           {
               "metric": "internal_datax_job<jobName>",
               "fields": [
                   {
                       "field": "*",
                       "aggregator": "none"
                   }
               ]
           }
       ]
   }'

   Substitua os espaços reservados:

   Espaço reservado	Descrição	Exemplo
   <username>:<password>	Credenciais da conta do TSDB. Consulte Gerencie contas.	admin:mypassword
   <tsdb-endpoint>	ID da instância do TSDB	ts-****
   <jobName>	Nome da tarefa de migração	internal_datax_jobmyjob

   A resposta lista cada grupo de tempo com seu status de conclusão:

   Timestamp (endtime)	jobId (tag)	state (field)
   1651795199999 (2022-05-05 23:59:59.999)	3	ok
   1651795199999 (2022-05-05 23:59:59.999)	2	ok
   1651795199999 (2022-05-05 23:59:59.999)	1	ok
   1651881599999 (2022-05-06 23:59:59.999)	2	ok

   Para retomar sem remigrar os grupos de tempo já concluídos, atualize beginDateTime em job.json para o início do primeiro grupo de tempo incompleto antes de reiniciar. Neste exemplo, defina beginDateTime como 2022-05-06 00:00:00.

Visualize dados migrados

Os dados do TSDB originalmente gravados com o modelo de valor único ficam armazenados no LindormTSDB sob o modelo de dados de múltiplos valores. Use o endpoint /api/mquery e o formato de consulta de múltiplos valores ao ler esses dados.

O exemplo a seguir mostra a diferença de consulta para uma métrica chamada test_metric:

Consulta no TSDB:

curl -u username:password ts-xxxxx:3242/api/query -XPOST -d '{
    "start": 1657004460,
    "queries": [
        {
            "aggregator": "none",
            "metric": "test_metric"
        }
    ]
}'

Resposta do TSDB:

[
    {
        "aggregateTags": [],
        "dps": {
            "1657004460": 1.0
        },
        "fieldName": "",
        "metric": "test_metric",
        "tags": {
            "tagkey1": "1"
        }
    }
]

Consulta no LindormTSDB:

curl -u username:password ld-xxxxx:8242/api/mquery -XPOST -d '{
    "start": 1657004460,
    "queries": [
        {
            "metric": "test_metric",
            "fields": [
                {
                    "field": "*",
                    "aggregator": "none"
                }
            ],
            "aggregator": "none"
        }
    ]
}'

Resposta do LindormTSDB:

[
  {
    "aggregatedTags": [],
    "columns": [
      "timestamp",
      "value"
    ],
    "metric": "test_metric",
    "tags": {
      "tagkey1": "1"
    },
    "values": [
      [
        1657004460000,
        1.0
      ]
    ]
  }
]

Principais diferenças:

• Use /api/mquery em vez de /api/query.

• Especifique os campos explicitamente usando o array fields.

• Os timestamps nas respostas do LindormTSDB estão em milissegundos (13 dígitos), enquanto no TSDB estão em segundos (10 dígitos).

Resultados de testes de desempenho

Use os resultados a seguir como referência ao planejar sua migração. O desempenho real depende da especificação da sua instância, do volume de dados e da frequência de reporte.

TSDB Basic Edition II (4 núcleos de CPU, 8 GB de memória) — 2 instâncias

TSDB Standard Edition I (8 núcleos de CPU, 16 GB de memória) — 2 instâncias

Próximos passos

• Para consultar dados migrados usando SQL, crie uma tabela de séries temporais no LindormTSDB antes de migrar. Consulte a documentação do LindormTSDB para obter instruções sobre como criar tabelas de séries temporais.

• Após a migração, valide uma amostra dos seus dados no LindormTSDB usando os exemplos de consulta em Visualize dados migrados.