E-MapReduce:Guia do usuário do JindoDistCp

O que é o JindoDistCp

O JindoDistCp é uma ferramenta de cópia distribuída de arquivos desenvolvida pela equipe do Alibaba Cloud Data Lake Storage para transferências de dados em grande escala dentro e entre clusters. Ela usa MapReduce para distribuir arquivos, tratar erros e recuperar-se de falhas. A ferramenta recebe uma lista de arquivos e diretórios como entrada para tarefas MapReduce, em que cada tarefa copia uma parte da lista de origem. Há suporte completo a cenários de cópia de dados entre Hadoop Distributed File System (HDFS), OSS-HDFS, OSS e S3. Diversos parâmetros e estratégias personalizadas de cópia estão disponíveis. A ferramenta é otimizada para copiar dados do HDFS para o OSS-HDFS. Com um CopyCommitter personalizado, ela executa cópias sem renomeação (No-Rename) e garante a consistência dos dados após a conclusão. Seus recursos estão totalmente alinhados aos do S3 DistCp e do HDFS DistCp, com melhorias significativas de desempenho em relação ao HDFS DistCp. O JindoDistCp foi projetado para ser uma ferramenta de cópia de dados eficiente, estável e segura.

Requisitos de ambiente

• JDK 1.8.0 ou posterior.

• Hadoop 2.3 ou posterior. Baixe a versão mais recente do arquivo jindo-distcp-tool-x.x.x.jar. Esse arquivo JAR está incluído no pacote jindosdk-${version}.tar.gz. Após descompactar o pacote, localize o arquivo JAR no diretório tools/. Para mais informações, consulte JindoData downloads.

  Nota

  O JindoDistCp vem implantado em clusters que executam EMR V5.6.0 ou posterior e EMR V3.40.0 ou posterior. Encontre o arquivo jindo-distcp-tool-x.x.x.jar no diretório /opt/apps/JINDOSDK/jindosdk-current/tools.

Parâmetros

--src e --dest (obrigatórios)

• --src: Especifique o caminho dos arquivos de origem.

• --dest: Defina o caminho dos arquivos de destino.

hadoop jar jindo-distcp-tool-${version}.jar --src /data/hourly_table  --dest oss://example-oss-bucket/hourly_table

Use o caminho dest para indicar o diretório de destino. Por exemplo, o comando anterior copia arquivos de /data/hourly_table para o diretório hourly_table no bucket example-oss-bucket. Esse comportamento difere do Hadoop DistCp. Por padrão, o JindoDistCp copia todos os arquivos do diretório de origem para o caminho de destino especificado, sem incluir o diretório raiz da origem. É possível definir um diretório raiz no caminho de destino; caso não exista, ele será criado automaticamente.

hadoop jar jindo-distcp-tool-${version}.jar --src /test.txt --dest oss://example-oss-bucket/tmp

Uso do --bandWidth

--bandWidth: Limita a largura de banda que um único nó pode consumir na tarefa DistCp, em MB. Esse parâmetro evita que um nó use largura de banda excessiva.

jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --bandWidth 6

Uso do --codec

Frequentemente, arquivos de origem são armazenados no OSS ou OSS-HDFS como texto não compactado, o que não é ideal para custos de armazenamento ou análise de dados. Use a opção --codec para armazenar dados de forma eficiente, comprimindo arquivos online.

jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --codec gz

[root@emr-header-1 opt]# hdfs dfs -ls oss://example-oss-bucket/hourly_table/2017-02-01/03
Found 6 items
-rw-rw-rw-   1        938 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/000151.sst.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/1.log.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/2.log.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/OPTIONS-000109.gz
-rw-rw-rw-   1        506 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/emp01.txt.gz
-rw-rw-rw-   1        506 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/emp06.txt.gz

Uso do --filters

--filters: Especifique um arquivo contendo regras de filtro.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --filters filter.txt

Por exemplo, se o arquivo filter.txt contiver .*test.*, arquivos cujos caminhos incluam a string "test" não serão copiados para o OSS.

Uso do --srcPrefixesFile

--srcPrefixesFile: Especifique um arquivo com regras de inclusão.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --srcPrefixesFile prefixes.txt

Se o arquivo prefixes.txt contiver .*test.*, por exemplo, apenas arquivos cujos caminhos contenham a string "test" serão copiados para o OSS.

Uso do --parallelism

--parallelism: Defina o parâmetro mapreduce.job.maps para a tarefa MapReduce. Em ambientes EMR, o valor padrão é 10. Personalize esse valor conforme os recursos do seu cluster para controlar a simultaneidade da tarefa DistCp.

 jindo-distcp-tool-${version}.jar --src /opt/tmp --dest oss://example-oss-bucket/tmp --parallelism 20

Uso do --taskBatch

--taskBatch: Defina quantos arquivos cada tarefa DistCp deve processar. O valor padrão é 1.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --taskBatch 1

Uso do --tmp

--tmp: Defina um diretório temporário no HDFS para armazenar dados provisórios. O valor padrão é /tmp, correspondente a hdfs:///tmp/.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table  --tmp /tmp

Configure um AccessKey para acessar o OSS ou OSS-HDFS

--hadoopConf: Fora de um ambiente EMR ou caso o service de acesso sem senha apresente problemas, use esta opção para fornecer um AccessKey de acesso ao OSS ou OSS-HDFS.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --hadoopConf fs.oss.accessKeyId=yourkey --hadoopConf fs.oss.accessKeySecret=yoursecret

<configuration>
    <property>
        <name>fs.oss.accessKeyId</name>
        <value>xxx</value>
    </property>

    <property>
        <name>fs.oss.accessKeySecret</name>
        <value>xxx</value>
    </property>
</configuration>

Uso do --disableChecksum

--disableChecksum: Desativa a verificação de checksum dos arquivos.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --disableChecksum

Uso do --deleteOnSuccess

--deleteOnSuccess: Move dados em vez de copiá-los. Funciona de maneira semelhante a uma operação mv: primeiro copia os arquivos e depois os exclui da origem.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --deleteOnSuccess

Uso do --enableTransaction

--enableTransaction: Por padrão, o JindoDistCp garante integridade no nível da tarefa. Use este parâmetro para assegurar integridade no nível do job e ativar suporte transacional entre jobs.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --enableTransaction

Uso do --ignore

--ignore: Ignora exceções ocorridas durante a migração de dados. Erros não interrompem a tarefa; em vez disso, são reportados como valores JindoCounter. Se o CMS estiver ativado, uma notificação também é enviada.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --ignore

Uso do --diff

--diff: Compara arquivos entre origem e destino. Caso um arquivo de origem não esteja sincronizado com o destino, um arquivo contendo as diferenças é gerado no diretório atual. Se sua tarefa JindoDistCp envolver compressão ou descompressão, --diff não conseguirá mostrar as diferenças corretas, pois o tamanho do arquivo muda durante o processo.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --diff

JindoCounter
DIFF_FILES=1

Se o seu --dest for um caminho HDFS, há suporte aos formatos /path, hdfs://hostname:ip/path e hdfs://headerIp:ip/path. Os formatos hdfs:///path, hdfs:/path ou outros personalizados não são suportados.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --diff --preserveMeta

Uso do --update

--update: Ative a sincronização incremental. Essa opção ignora arquivos e diretórios idênticos, sincronizando apenas itens novos ou modificados da origem para o destino.

Se uma tarefa JindoDistCp falhar, use este parâmetro para retomá-la do ponto de interrupção, copiando apenas os arquivos restantes. Também é possível usar esse parâmetro para copiar novos arquivos adicionados à origem após a conclusão de uma tarefa JindoDistCp anterior.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --update

Gravar dados no OSS nas classes de armazenamento Cold Archive, Archive ou IA

--policy: Defina a classe de armazenamento para dados gravados no OSS. Configure este parâmetro como Cold Archive, Archive ou IA. Sem essa especificação, os dados são gravados na classe Standard por padrão.

• Gravar dados na classe Cold Archive (coldArchive) no OSS

  Esse recurso está disponível apenas em regiões específicas. Para mais detalhes, consulte OSS storage classes. Exemplo de comando:

   jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-bucket/hourly_table --policy coldArchive --parallelism 20

• Gravar dados na classe Archive (archive) no OSS

   jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-bucket/hourly_table --policy archive --parallelism 20

• Gravar dados na classe IA (ia) no OSS

   jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-bucket/hourly_table --policy ia --parallelism 20

Uso do --preserveMeta

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --preserveMeta

Uso do --jobBatch

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --jobBatch 50000

Uso do --enableCMS

--enableCMS: Ative o recurso de alertas do CMS .

Contadores do JindoDistCp

Os contadores do JindoDistCp resumem os resultados de uma tarefa. A tabela a seguir descreve cada contador.