SmartData est un composant propriétaire central d'E-MapReduce (EMR). Il offre une optimisation unifiée du stockage et du cache, une accélération des calculs ainsi que diverses extensions fonctionnelles liées au stockage, notamment l'accès aux données, la gouvernance des données et la sécurité des données.
Le schéma suivant illustre l'intégration de SmartData dans l'architecture EMR.
SmartData comprend les composants suivants :
Sous-système principal JindoFS : assure la mise en cache et l'accélération par cache pour divers systèmes de stockage distants. Pour plus d'informations, consultez Présentation et utilisation de JindoFS.
Sous-système principal JindoTable : offre une optimisation et une administration au niveau des tables et des partitions pour les sources de données tabulaires, telles que les entrepôts de données Hive. Pour plus d'informations, consultez Utiliser JindoTable.
JindoManager : met à disposition une interface de gestion pour les services JindoFS et JindoTable. Vous pouvez y consulter, entre autres, les métriques statistiques relatives aux fichiers et aux tables présents dans le cache.
JindoSDK : propose un SDK unifié destiné aux moteurs de calcul open source intégrés à EMR. JindoSDK prend en charge Java, C, C++ et Python, via des interfaces Hadoop Compatible File System (HCFS), des API basées sur POSIX et des interfaces Table.
Ensembles d'outils : regroupent des utilitaires tels que l'outil Jindo et l'outil de migration Jindo DistCp.
Divers connecteurs : incluent des connecteurs pour Hadoop, Flink et TensorFlow, ainsi qu'une prise en charge supplémentaire pour Kite SDK, Apache Beam, Flume, Sqoop et Kafka.
SmartData prend actuellement en charge les sources de données suivantes via JindoFS et JindoTable : Alibaba Cloud OSS, Apache Hadoop Distributed File System (HDFS), les entrepôts de données Hive et Alibaba Cloud MaxCompute.
SmartData fait l'objet d'un développement et d'une publication indépendants. Pour obtenir des détails spécifiques à chaque version, consultez Distributions.
Pour accéder à la documentation SmartData spécifique à chaque version, reportez-vous aux rubriques suivantes :