E-MapReduce:Guía de usuario de JindoDistCp

Qué es JindoDistCp

JindoDistCp es una herramienta de copia distribuida de archivos desarrollada por el equipo de Alibaba Cloud Data Lake Storage para transferencias de datos a gran escala dentro de un clúster y entre clústeres. Utiliza MapReduce para distribuir archivos, gestionar errores y recuperarse de fallos. Toma como entrada una lista de archivos y directorios para las tareas de MapReduce, donde cada tarea copia una parte de la lista de origen. Admite completamente escenarios de copia de datos entre Hadoop Distributed File System (HDFS), OSS-HDFS, OSS y S3. Ofrece diversos parámetros y estrategias de copia personalizables. Está optimizado para copiar datos de HDFS a OSS-HDFS. Mediante un CopyCommitter personalizado, realiza copias sin cambio de nombre (No-Rename) y garantiza la consistencia de los datos al finalizar. Sus funciones están totalmente alineadas con las de S3 DistCp y HDFS DistCp. Ofrece mejoras significativas de rendimiento respecto a HDFS DistCp. JindoDistCp está diseñado para ser una herramienta de copia de datos eficiente, estable y segura.

Requisitos del entorno

• JDK 1.8.0 o posterior.

• Hadoop 2.3 o posterior. Debe descargar la versión más reciente del archivo jindo-distcp-tool-x.x.x.jar. Este archivo JAR se incluye en el paquete jindosdk-${version}.tar.gz. Tras descomprimir el paquete, encontrará el archivo JAR en el directorio tools/. Para obtener más información, consulte JindoData downloads.

  Nota

  JindoDistCp se despliega en clústeres que ejecutan EMR V5.6.0 o posterior y EMR V3.40.0 o posterior. Puede encontrar el archivo jindo-distcp-tool-x.x.x.jar en el directorio /opt/apps/JINDOSDK/jindosdk-current/tools.

Parámetros

--src y --dest (obligatorios)

• --src: Especifica la ruta de los archivos de origen.

• --dest: Especifica la ruta de los archivos de destino.

hadoop jar jindo-distcp-tool-${version}.jar --src /data/hourly_table  --dest oss://example-oss-bucket/hourly_table

Puede especificar el directorio de destino mediante la ruta dest. Por ejemplo, el comando anterior copia archivos de /data/hourly_table al directorio hourly_table en el bucket example-oss-bucket. Este comportamiento difiere del de Hadoop DistCp. De forma predeterminada, JindoDistCp copia todos los archivos del directorio de origen a la ruta de destino especificada, pero no incluye el directorio raíz del origen. Puede especificar un directorio raíz en la ruta de destino. Si el directorio no existe, se crea automáticamente.

hadoop jar jindo-distcp-tool-${version}.jar --src /test.txt --dest oss://example-oss-bucket/tmp

Uso de --bandWidth

--bandWidth: Especifica el ancho de banda que puede utilizar un solo nodo para la tarea de DistCp, en MB. Este parámetro evita que un solo nodo consuma demasiado ancho de banda.

jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --bandWidth 6

Uso de --codec

Los archivos de origen suelen almacenarse en OSS u OSS-HDFS como texto sin comprimir, lo cual no es ideal para los costos de almacenamiento ni para el análisis de datos. Puede usar la opción --codec para almacenar datos de manera eficiente mediante la compresión de archivos en línea.

jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --codec gz

[root@emr-header-1 opt]# hdfs dfs -ls oss://example-oss-bucket/hourly_table/2017-02-01/03
Found 6 items
-rw-rw-rw-   1        938 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/000151.sst.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/1.log.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/2.log.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/OPTIONS-000109.gz
-rw-rw-rw-   1        506 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/emp01.txt.gz
-rw-rw-rw-   1        506 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/emp06.txt.gz

Uso de --filters

--filters: Especifica un archivo que contiene reglas de filtro.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --filters filter.txt

Por ejemplo, si el archivo filter.txt contiene .*test.*, los archivos cuyas rutas contengan la cadena "test" no se copiarán a OSS.

Uso de --srcPrefixesFile

--srcPrefixesFile: Especifica un archivo que contiene reglas de inclusión.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --srcPrefixesFile prefixes.txt

Por ejemplo, si el archivo prefixes.txt contiene .*test.*, solo los archivos cuyas rutas contengan la cadena "test" se copiarán a OSS.

Uso de --parallelism

--parallelism: Especifica el parámetro mapreduce.job.maps para la tarea de MapReduce. El valor predeterminado de este parámetro en un entorno EMR es 10. Puede personalizar el valor de este parámetro según los recursos de su clúster para controlar la concurrencia de la tarea de DistCp.

 jindo-distcp-tool-${version}.jar --src /opt/tmp --dest oss://example-oss-bucket/tmp --parallelism 20

Uso de --taskBatch

--taskBatch: Especifica el número de archivos que procesará cada tarea de DistCp. El valor predeterminado es 1.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --taskBatch 1

Uso de --tmp

--tmp: Especifica un directorio temporal en HDFS para almacenar datos temporales. El valor predeterminado es /tmp, que corresponde a hdfs:///tmp/.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table  --tmp /tmp

Configurar una AccessKey para acceder a OSS u OSS-HDFS

--hadoopConf: Si no se encuentra en un entorno EMR o si el servicio de acceso sin contraseña presenta problemas, puede usar esta opción para especificar una AccessKey y acceder a OSS u OSS-HDFS.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --hadoopConf fs.oss.accessKeyId=yourkey --hadoopConf fs.oss.accessKeySecret=yoursecret

<configuration>
    <property>
        <name>fs.oss.accessKeyId</name>
        <value>xxx</value>
    </property>

    <property>
        <name>fs.oss.accessKeySecret</name>
        <value>xxx</value>
    </property>
</configuration>

Uso de --disableChecksum

--disableChecksum: Deshabilita la verificación de la suma de comprobación de archivos.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --disableChecksum

Uso de --deleteOnSuccess

--deleteOnSuccess: Mueve datos en lugar de copiarlos. Esta opción es similar a una operación mv. Primero copia los archivos y luego los elimina del origen.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --deleteOnSuccess

Uso de --enableTransaction

--enableTransaction: De forma predeterminada, JindoDistCp garantiza la integridad a nivel de tarea. Puede usar este parámetro para garantizar la integridad a nivel de trabajo y habilitar el soporte transaccional entre trabajos.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --enableTransaction

Uso de --ignore

--ignore: Ignora las excepciones que ocurren durante la migración de datos. Los errores no interrumpen la tarea; en su lugar, se reportan como valores de JindoCounter. Si CMS está habilitado, también se envía una notificación.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --ignore

Uso de --diff

--diff: Compara los archivos del origen y el destino. Si un archivo de origen no se ha sincronizado con el destino, se genera un archivo con las diferencias en el directorio actual. Si su tarea de JindoDistCp implica compresión o descompresión, --diff no podrá mostrar las diferencias correctas entre archivos porque el tamaño del archivo cambia durante el proceso.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --diff

JindoCounter
DIFF_FILES=1

Si su --dest es una ruta de HDFS, se admiten los formatos /path, hdfs://hostname:ip/path y hdfs://headerIp:ip/path. No se admiten los formatos hdfs:///path, hdfs:/path ni otros formatos personalizados.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --diff --preserveMeta

Uso de --update

--update: Habilita la sincronización incremental. Esta opción omite archivos y directorios idénticos, y sincroniza del origen al destino únicamente los archivos y directorios nuevos o modificados.

Si una tarea de JindoDistCp falla, puede usar este parámetro para reanudarla desde el punto de interrupción y copiar solo los archivos restantes. También puede utilizar este parámetro para copiar archivos nuevos que se hayan agregado al origen después de completar la tarea anterior de JindoDistCp.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --update

Escritura de datos en OSS con clases de almacenamiento Cold Archive, Archive o IA

--policy: Especifica la clase de almacenamiento para los datos que se escriben en OSS. Puede establecer este parámetro en Cold Archive, Archive o IA. Si no especifica este parámetro, los datos se escriben en la clase de almacenamiento Standard de forma predeterminada.

• Escritura de datos en la clase de almacenamiento Cold Archive (coldArchive) en OSS

  Esta función solo está disponible en regiones específicas. Para obtener más información, consulte OSS storage classes. A continuación se muestra un ejemplo de comando:

   jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-bucket/hourly_table --policy coldArchive --parallelism 20

• Escritura de datos en la clase de almacenamiento Archive (archive) en OSS

   jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-bucket/hourly_table --policy archive --parallelism 20

• Escritura de datos en la clase de almacenamiento IA (ia) en OSS

   jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-bucket/hourly_table --policy ia --parallelism 20

Uso de --preserveMeta

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --preserveMeta

Uso de --jobBatch

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --jobBatch 50000

Uso de --enableCMS

--enableCMS: Habilita la función de alertas de CMS .

Contadores de JindoDistCp

Los contadores de JindoDistCp resumen los resultados de una tarea de JindoDistCp. La siguiente tabla describe los contadores.