Présentation de SmartData 3.1.x - E-MapReduce - Centre de documentation Alibaba Cloud

Le composant SmartData constitue la couche de stockage du moteur EMR Jindo. Il offre un stockage unifié, une mise en cache, une optimisation des calculs et des extensions de fonctionnalités pour divers moteurs de calcul EMR. Le composant SmartData comprend JindoFS, JindoTable et un ensemble d'outils associés. Cette rubrique décrit les mises à jour apportées dans SmartData 3.1.x.

Contexte

Les limitations suivantes s'appliquent lors de l'utilisation de SmartData 3.1.x :

JindoFS en mode cache prend en charge la mise en cache des métadonnées, activable via le commutateur meta-cache. Cette fonctionnalité est conçue uniquement pour les scénarios d'entraînement. Ne l'utilisez pas pour les scénarios d'analyse, car une configuration incorrecte peut entraîner des problèmes de synchronisation avec d'autres chemins d'écriture.
Les noms d'espace de noms JindoFS ne peuvent contenir que des lettres, des chiffres et des traits d'union (-).
La taille maximale de fichier prise en charge par Jindo DistCp est de 78 Go.
Bien que JindoFS en mode bloc prenne en charge la fonctionnalité de somme de contrôle (checksum), Jindo DistCp ne la prend pas encore en charge.

Optimisation du stockage JindoFS

Prise en charge de la fonctionnalité de somme de contrôle (checksum) des fichiers. Cette fonctionnalité s'aligne sur les interfaces liées aux sommes de contrôle du système de fichiers distribué Hadoop (HDFS) open source et prend en charge deux algorithmes : MD5MD5CRC et COMPOSITE_CRC. Pour l'algorithme MD5MD5CRC, une interface étendue permet de transmettre la taille de bloc. Les commandes Shell correspondantes sont également prises en charge. Cela offre une meilleure compatibilité pour la comparaison de fichiers avec les fichiers HDFS.
La fonctionnalité de compression transparente des fichiers vous permet de définir une politique de compression pour un répertoire. Les nouveaux blocs de fichiers écrits dans le répertoire sont compressés avant d'être stockés dans le backend OSS. Pour les données présentant un taux de compression élevé, cela permet d'économiser considérablement de l'espace de stockage et de réduire le volume de données lu et écrit.
Prise en charge de la sémantique flush pour l'écriture de fichiers. Après l'appel de l'interface flush, les données sont persistées à la position actuelle et le fichier devient lisible.
Correction d'un problème où la commande hadoop fs -ls -R échouait pour les répertoires ayant une hiérarchie profonde et de nombreux sous-répertoires, car les threads entraient dans un état d'attente.
Amélioration de la commande hadoop fs -stat pour afficher des informations telles que atime et les privilèges.
Ajout d'une fonctionnalité de réécriture de chemin pour le client Jindo HDFS afin de réduire la charge de travail liée à la modification des chemins lors de la migration de cluster.

Pour plus d'informations, consultez la rubrique Réécrire les chemins du client Jindo HDFS.

Optimisation du cache JindoFS

Une optimisation du cache pour les petits fichiers est proposée pour les scénarios d'entraînement en apprentissage automatique. Cela améliore considérablement l'efficacité du cache et les performances de lecture pour les nombreux petits fichiers.
La commande cache permet de précharger les répertoires de petits fichiers, ce qui améliore considérablement l'efficacité du préchargement.
Prise en charge du déclenchement automatique de la mise en cache des données. Vous pouvez définir un répertoire cible à suivre et un intervalle de temps. À chaque intervalle, le système détecte automatiquement les nouveaux fichiers dans le répertoire et déclenche une opération de mise en cache.

Optimisation des calculs JindoTable

JindoTable Dump au format TF prend désormais en charge les tableaux bidimensionnels.
Jindo mc dump prend désormais en charge la compression Gzip à l'aide du paramètre -c.

Administration système JindoManager

Le service JindoManager est un nouvel ajout qui centralise la gestion des opérations, la surveillance de l'état et d'autres fonctionnalités pour le système Jindo. Il fournit une interface utilisateur web pour consulter l'état des différents composants du système Jindo.

Ensemble d'outils JindoTools

Optimisation de la logique Job Committer pour les petits fichiers dans l'outil Jindo DistCp. Cela réduit considérablement le nombre de requêtes vers OSS et améliore les performances de DistCp lors du traitement de nombreux petits fichiers.
Optimisation du regroupement par lots de fichiers dans l'outil Jindo DistCp grâce à la mise en œuvre d'une politique de lot plus efficace, ce qui améliore les performances globales.

Prise en charge de l'écosystème JindoFS

Les jobs de streaming Flink peuvent désormais écrire dans JindoFS avec récupérabilité. Les modes bloc et cache sont tous deux pris en charge. Lorsqu'ils sont combinés à une source de données rejouable, telle que Kafka, vous pouvez obtenir une sémantique Exactly-Once.
Flink implémente désormais la fonctionnalité d'injection d'entropie. Lorsque les jobs de streaming écrivent des données dans OSS ou JindoFS en mode bloc ou cache, vous pouvez utiliser l'injection d'entropie pour les chemins d'écriture. Cette fonctionnalité vous permet de remplacer une partie spécifique d'un chemin par une chaîne aléatoire afin d'améliorer l'efficacité d'écriture.
Prise en charge du connecteur JindoFS Tensorflow. En implémentant le système de fichiers Tensorflow, le connecteur prend en charge les interfaces d'E/S natives de Tensorflow. Il prend en charge Tensorflow 1.15 et versions ultérieures, ainsi que Tensorflow 2.3 et versions ultérieures.