Use a ferramenta de cópia distribuída do Apache Hadoop (DistCp) para migrar dados completos ou incrementais de um cluster auto-gerenciado do Hadoop Distributed File System (HDFS) para o LindormDFS (LDPS). Para obter mais informações sobre o DistCp, consulte o Guia do DistCp.
Pré-requisitos
Antes de começar, verifique se:
O LindormDFS está ativado na sua instância do Lindorm. Consulte Ativar o LindormDFS.
A configuração do Hadoop foi atualizada para apontar para o LindormDFS. Consulte Usar clientes HDFS open source para conectar e utilizar o LindormDFS.
A ferramenta DistCp está preparada e disponível no seu cluster Hadoop auto-gerenciado.
Verificar conectividade
Execute o comando a seguir no cluster Hadoop auto-gerenciado para confirmar o acesso ao LindormDFS:
hadoop fs -ls hdfs://<instance-id>/Substitua <instance-id> pelo ID da sua instância do Lindorm. Se o comando listar os arquivos no LindormDFS, a conexão estará estabelecida e você poderá prosseguir com a migração.
Migrar dados para o LindormDFS
Se a instância do Elastic Compute Service (ECS) onde o cluster Hadoop auto-gerenciado está implantado e o LindormDFS estiverem na mesma Virtual Private Cloud (VPC), migre os dados pela VPC. Execute o seguinte comando do DistCp para copiar os dados:
hadoop distcp -m 1000 -bandwidth 30 hdfs://oldcluster:8020/user/hive/warehouse hdfs://<instance-id>/user/hive/warehouse|
Parâmetro |
Descrição |
|
|
Número de tarefas Map paralelas. Aumente este valor para acelerar a migração em clusters grandes ou reduza-o para diminuir a carga no cluster de origem. |
|
|
Limite de largura de banda por tarefa Map. |
|
|
Caminho de origem. Substitua |
|
|
Caminho de destino. Substitua |
Perguntas frequentes
Como estimar o tempo de migração para grandes volumes de dados?
O tempo de migração depende do tamanho total dos dados e do throughput de rede entre o cluster auto-gerenciado e o LindormDFS. Migre alguns diretórios representativos primeiro, meça o tempo gasto e extrapole os resultados para estimar a duração total.
Se a migração só puder ocorrer em janelas de manutenção específicas, divida o diretório de origem em subdiretórios menores e migre-os sequencialmente ao longo de várias janelas.
Como lidar com gravações de clientes durante uma migração completa?
Interrompa todas as gravações de clientes no cluster auto-gerenciado antes de iniciar uma migração completa. Caso não seja viável parar as gravações, configure os clientes para gravar simultaneamente no cluster auto-gerenciado e no LindormDFS durante o período de migração. Após a conclusão da migração, atualize a configuração dos clientes para gravar exclusivamente no LindormDFS.