JindoData est une suite d'accélération du stockage de data lake destinée aux écosystèmes Big Data et IA. Elle offre une accélération complète de l'accès aux systèmes de stockage de data lake sur Alibaba Cloud et d'autres plateformes.
Reposant sur une architecture et un noyau unifiés, la suite JindoData comprend le système de stockage JindoFS (anciennement mode Block de JindoFS), le système d'accélération du stockage JindoFSx (anciennement mode Cache de JindoFS), le SDK JindoSDK pour le Big Data, ainsi que des outils d'écosystème entièrement compatibles tels que JindoFuse et JindoDistCp.
Notes
JindoData s'applique à EMR 5.14.0 et versions antérieures, ainsi qu'à EMR 3.48.0 et versions antérieures.
JindoData n'est pas pris en charge dans EMR 5.15.0 et versions ultérieures ou EMR 3.49.0 et versions ultérieures. Utilisez JindoCache pour la mise en cache et DLF-Auth pour l'authentification.
Système de stockage JindoFS
JindoFS est un système de stockage cloud-native basé sur OSS d'Alibaba Cloud. Il est binairement compatible avec Apache HDFS et propose un ensemble de fonctionnalités similaire, ce qui simplifie l'utilisation et la migration depuis HDFS. JindoFS constitue une évolution majeure de l'ancien mode Block de JindoFS.
Le service OSS-HDFS d'Alibaba Cloud (service JindoFS) est la version managée de JindoFS sur Alibaba Cloud. Intégré en profondeur à OSS d'Alibaba Cloud, il est prêt à l'emploi et élimine la nécessité de déployer et de maintenir JindoFS sur des clusters auto-gérés.
Pour plus d'informations sur le service OSS-HDFS, consultez la rubrique Présentation du service OSS-HDFS.
Système d'accélération du stockage JindoFSx
JindoFSx, également connu sous le nom de service JindoData, représente une évolution majeure de l'ancien mode Cache de JindoFS. Ce système d'accélération cloud-native accélère l'accès au stockage cloud pour les charges de travail Big Data et IA grâce à la mise en cache des données, la mise en cache des métadonnées et l'accélération P2P. JindoFSx gère plusieurs systèmes de stockage backend sous un namespace unifié tout en restant compatible avec les protocoles d'accès natifs de chaque système et en fournissant une gestion unifiée des autorisations. Il est optimisé nativement pour OSS d'Alibaba Cloud et le service OSS-HDFS d'Alibaba Cloud, et prend également en charge le stockage objet multicloud tel qu'Amazon S3, Apache HDFS et NAS.
Prise en charge de l'écosystème et outils
-
Prise en charge de JindoSDK.
JindoSDK fournit un SDK Hadoop et des interfaces HDFS basées sur le cloud avec des optimisations intégrées pour OSS d'Alibaba Cloud, offrant des performances nettement supérieures à l'édition communautaire de Hadoop. Il prend également en charge le système et le service de stockage JindoFS, le système d'accélération du stockage JindoFSx, ainsi que le stockage objet multicloud.
-
Prise en charge de l'interface CLI JindoShell.
JindoShell est une interface de ligne de commande (CLI) qui étend les commandes shell HDFS avec des fonctionnalités supplémentaires et des optimisations de performance pour les opérations d'accès aux données.
-
Prise en charge POSIX via JindoFuse
JindoData offre la prise en charge POSIX pour OSS d'Alibaba Cloud, le système et le service de stockage JindoFS, ainsi que le système d'accélération du stockage JindoFSx.
-
Utilisez JindoDistCp pour la migration des données.
JindoDistCp migre les données depuis HDFS sur site vers le cloud et entre différents fournisseurs cloud. Il prend en charge la migration depuis divers systèmes de stockage vers OSS d'Alibaba Cloud et le service JindoFS, et son utilisation est similaire à celle de Hadoop DistCp.
-
Prise en charge de JindoTable.
JindoTable fonctionne avec des moteurs de calcul tels que Spark, Hive et Presto pour fournir des fonctionnalités de gestion des données tabulaires.
-
Plug-ins d'écosystème
Au-delà de la prise en charge Hadoop par défaut de JindoSDK, JindoData propose des plug-ins supplémentaires tels que le connecteur Flink.