SmartData es un componente central y propietario de E-MapReduce (EMR). Ofrece optimización unificada de almacenamiento, optimización de caché, aceleración de cómputo y diversas extensiones de funciones de almacenamiento, como acceso a datos, gobernanza de datos y seguridad de datos.
A continuación se muestra dónde encaja SmartData dentro de la arquitectura de EMR.
SmartData incluye los siguientes componentes:
Subsistema central JindoFS: proporciona almacenamiento en caché y aceleración de caché para diversos sistemas de almacenamiento remoto. Para obtener más información, consulte JindoFS overview and usage.
Subsistema central JindoTable: ofrece optimización y administración a nivel de tabla y de partición para orígenes de datos tabulares, como los almacenes de datos de Hive. Para obtener más información, consulte Use JindoTable.
JindoManager: proporciona una página de administración para los servicios JindoFS y JindoTable. Desde ahí, usted puede ejecutar tareas como consultar las métricas estadísticas de archivos y tablas almacenados en la caché.
JindoSDK: ofrece un SDK unificado para los motores de cómputo de código abierto en EMR. JindoSDK es compatible con Java, C, C++ y Python. Sus métodos de acceso incluyen interfaces Hadoop Compatible File System (HCFS), API basadas en POSIX e interfaces Table.
Conjuntos de herramientas: incluye utilidades como la herramienta Jindo y la herramienta de migración Jindo DistCp.
Diversos conectores: abarca conectores para Hadoop, Flink y TensorFlow, además de admitir Kite SDK, Apache Beam, Flume, Sqoop y Kafka.
Actualmente, SmartData admite los siguientes orígenes de datos mediante JindoFS y JindoTable: Alibaba Cloud OSS, Apache Hadoop Distributed File System (HDFS), almacenes de datos de Hive y Alibaba Cloud MaxCompute.
SmartData se desarrolla y publica de forma independiente. Para conocer los detalles específicos de cada versión, consulte Distributions.
Para consultar la documentación de SmartData correspondiente a cada versión, revise los siguientes enlaces: