E-MapReduce:Guide d'utilisation de JindoDistCp

Qu'est-ce que JindoDistCp ?

JindoDistCp est un outil de copie de fichiers distribué développé par l'équipe Alibaba Cloud Data Lake Storage pour les transferts de données à grande échelle au sein des clusters et entre ceux-ci. Il s'appuie sur MapReduce pour distribuer les fichiers, gérer les erreurs et assurer la récupération après incident. Il prend en entrée une liste de fichiers et de répertoires pour les tâches MapReduce, chaque tâche copiant une partie de la liste source. Il prend entièrement en charge les scénarios de copie de données entre le système de fichiers distribué Hadoop (HDFS), OSS-HDFS, OSS et S3. Il propose divers paramètres et stratégies de copie personnalisés. Il est optimisé pour la copie de données depuis HDFS vers OSS-HDFS. Grâce à un CopyCommitter personnalisé, il effectue des copies sans renommage (No-Rename) et garantit la cohérence des données à la fin du processus. Ses fonctionnalités sont parfaitement alignées sur celles de S3 DistCp et HDFS DistCp. Il offre des améliorations significatives en termes de performances par rapport à HDFS DistCp. JindoDistCp est conçu pour être un outil de copie de données efficace, stable et sécurisé.

Prérequis environnementaux

• JDK 1.8.0 ou version ultérieure.

• Hadoop 2.3 ou version ultérieure. Vous devez télécharger la dernière version du fichier jindo-distcp-tool-x.x.x.jar. Ce fichier JAR est inclus dans le package jindosdk-${version}.tar.gz. Après avoir décompressé le package, vous trouverez le fichier JAR dans le répertoire tools/. Pour plus d'informations, consultez Téléchargements JindoData.

  Remarque

  JindoDistCp est déployé sur les clusters exécutant EMR V5.6.0 ou version ultérieure, ainsi que EMR V3.40.0 ou version ultérieure. Vous pouvez trouver le fichier jindo-distcp-tool-x.x.x.jar dans le répertoire /opt/apps/JINDOSDK/jindosdk-current/tools.

Paramètres

--src et --dest (obligatoires)

• --src : spécifie le chemin des fichiers source.

• --dest : spécifie le chemin des fichiers de destination.

hadoop jar jindo-distcp-tool-${version}.jar --src /data/hourly_table  --dest oss://example-oss-bucket/hourly_table

Vous pouvez spécifier le répertoire de destination à l'aide du chemin dest. Par exemple, la commande précédente copie les fichiers de /data/hourly_table vers le répertoire hourly_table du bucket example-oss-bucket. Ce comportement diffère de celui de Hadoop DistCp. Par défaut, JindoDistCp copie tous les fichiers du répertoire source vers le chemin de destination spécifié, mais n'inclut pas le répertoire racine de la source. Vous pouvez spécifier un répertoire racine dans le chemin de destination. Si le répertoire n'existe pas, il est automatiquement créé.

hadoop jar jindo-distcp-tool-${version}.jar --src /test.txt --dest oss://example-oss-bucket/tmp

Utilisation de --bandWidth

--bandWidth : spécifie la bande passante qu'un seul nœud peut utiliser pour la tâche DistCp, en Mo. Ce paramètre empêche un seul nœud de consommer trop de bande passante.

jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --bandWidth 6

Utilisation de --codec

Les fichiers source sont souvent stockés dans OSS ou OSS-HDFS sous forme de texte non compressé, ce qui n'est pas idéal pour les coûts de stockage ou l'analyse des données. Vous pouvez utiliser l'option --codec pour stocker efficacement les données en compressant les fichiers en ligne.

jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --codec gz

[root@emr-header-1 opt]# hdfs dfs -ls oss://example-oss-bucket/hourly_table/2017-02-01/03
Found 6 items
-rw-rw-rw-   1        938 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/000151.sst.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/1.log.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/2.log.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/OPTIONS-000109.gz
-rw-rw-rw-   1        506 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/emp01.txt.gz
-rw-rw-rw-   1        506 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/emp06.txt.gz

Utilisation de --filters

--filters : spécifie un fichier contenant les règles de filtrage.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --filters filter.txt

Par exemple, si le fichier filter.txt contient .*test.*, les fichiers dont les chemins contiennent la chaîne « test » ne sont pas copiés vers OSS.

Utilisation de --srcPrefixesFile

--srcPrefixesFile : spécifie un fichier contenant les règles d'inclusion.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --srcPrefixesFile prefixes.txt

Par exemple, si le fichier prefixes.txt contient .*test.*, seuls les fichiers dont les chemins contiennent la chaîne « test » sont copiés vers OSS.

Utilisation de --parallelism

--parallelism : spécifie le paramètre mapreduce.job.maps pour la tâche MapReduce. La valeur par défaut de ce paramètre dans un environnement EMR est 10. Vous pouvez personnaliser la valeur de ce paramètre en fonction des ressources de votre cluster pour contrôler la concurrence de la tâche DistCp.

 jindo-distcp-tool-${version}.jar --src /opt/tmp --dest oss://example-oss-bucket/tmp --parallelism 20

Utilisation de --taskBatch

--taskBatch : spécifie le nombre de fichiers à traiter par chaque tâche DistCp. La valeur par défaut est 1.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --taskBatch 1

Utilisation de --tmp

--tmp : spécifie un répertoire temporaire dans HDFS pour stocker les données temporaires. La valeur par défaut est /tmp, qui correspond à hdfs:///tmp/.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table  --tmp /tmp

Configuration d'une AccessKey pour accéder à OSS ou OSS-HDFS

--hadoopConf : si vous n'êtes pas dans un environnement EMR ou si le service d'accès sans mot de passe rencontre des problèmes, vous pouvez utiliser cette option pour spécifier une AccessKey afin d'accéder à OSS ou OSS-HDFS.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --hadoopConf fs.oss.accessKeyId=yourkey --hadoopConf fs.oss.accessKeySecret=yoursecret

<configuration>
    <property>
        <name>fs.oss.accessKeyId</name>
        <value>xxx</value>
    </property>

    <property>
        <name>fs.oss.accessKeySecret</name>
        <value>xxx</value>
    </property>
</configuration>

Utilisation de --disableChecksum

--disableChecksum : désactive la vérification de la somme de contrôle des fichiers.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --disableChecksum

Utilisation de --deleteOnSuccess

--deleteOnSuccess : déplace les données au lieu de les copier. Cette option est similaire à une opération mv. Elle copie d'abord les fichiers, puis les supprime de la source.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --deleteOnSuccess

Utilisation de --enableTransaction

--enableTransaction : par défaut, JindoDistCp garantit l'intégrité au niveau de la tâche. Vous pouvez utiliser ce paramètre pour garantir l'intégrité au niveau du job et activer la prise en charge transactionnelle entre les jobs.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --enableTransaction

Utilisation de --ignore

--ignore : ignore les exceptions qui se produisent lors de la migration des données. Les erreurs n'interrompent pas la tâche. Elles sont plutôt signalées sous forme de valeurs JindoCounter. Si CMS est activé, une notification est également envoyée.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --ignore

Utilisation de --diff

--diff : compare les fichiers source et de destination. Si un fichier source n'est pas synchronisé vers la destination, un fichier contenant les différences est généré dans le répertoire actuel. Si votre tâche JindoDistCp implique une compression ou une décompression, --diff ne peut pas afficher les différences de fichiers correctes car la taille du fichier change pendant le processus.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --diff

JindoCounter
DIFF_FILES=1

Si votre --dest est un chemin HDFS, les formats /path, hdfs://hostname:ip/path et hdfs://headerIp:ip/path sont pris en charge. Les formats hdfs:///path, hdfs:/path ou autres formats personnalisés ne sont pas pris en charge.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --diff --preserveMeta

Utilisation de --update

--update : active la synchronisation incrémentielle. Cette option ignore les fichiers et répertoires identiques et ne synchronise que les nouveaux fichiers et répertoires ou ceux ayant été modifiés, de la source vers la destination.

Si une tâche JindoDistCp échoue, vous pouvez utiliser ce paramètre pour la reprendre à partir du point d'arrêt et copier uniquement les fichiers restants. Vous pouvez également utiliser ce paramètre pour copier les nouveaux fichiers ajoutés à la source après la fin de la tâche JindoDistCp précédente.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --update

Écriture de données dans OSS avec les classes de stockage Cold Archive, Archive ou IA

--policy : spécifie la classe de stockage pour les données écrites dans OSS. Vous pouvez définir ce paramètre sur Cold Archive, Archive ou IA. Si vous ne spécifiez pas ce paramètre, les données sont écrites par défaut dans la classe de stockage Standard.

• Écrire des données dans la classe de stockage Cold Archive (coldArchive) dans OSS

  Cette fonctionnalité est disponible uniquement dans certaines régions. Pour plus d'informations, consultez Classes de stockage OSS. La commande suivante fournit un exemple :

   jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-bucket/hourly_table --policy coldArchive --parallelism 20

• Écrire des données dans la classe de stockage Archive (archive) dans OSS

   jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-bucket/hourly_table --policy archive --parallelism 20

• Écrire des données dans la classe de stockage IA (ia) dans OSS

   jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-bucket/hourly_table --policy ia --parallelism 20

Utilisation de --preserveMeta

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --preserveMeta

Utilisation de --jobBatch

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --jobBatch 50000

Utilisation de --enableCMS

--enableCMS : active la fonctionnalité d'alerte CMS .

Compteurs JindoDistCp

Les compteurs JindoDistCp résument les résultats d'une tâche JindoDistCp. Le tableau suivant décrit les compteurs.