El componente SmartData es la capa de almacenamiento del motor EMR Jindo. Proporciona almacenamiento unificado, caché, optimización de cómputo y extensiones de funciones para diversos motores de cómputo de EMR. El componente SmartData está formado por JindoFS, JindoTable y conjuntos de herramientas relacionados. Este tema describe las actualizaciones en SmartData 3.6.x.
JindoFS
A continuación se describen las nuevas funciones de JindoFS en esta versión.
| Función | Descripción |
| JindoFS es compatible con multinube, el protocolo S3 y la aceleración de caché | JindoFS admite el protocolo S3, lo que permite acceder a Amazon S3 y a otros sistemas compatibles con S3. También ofrece aceleración de caché para lograr un acceso más eficiente. |
| JindoFS admite la aceleración de caché para HDFS | JindoFS incorpora compatibilidad con la aceleración de caché al acceder al sistema de archivos distribuidos de Hadoop (HDFS), lo que mejora la eficiencia de acceso. |
| JindoFS admite transacciones para MetaSync y Data Cache | JindoFS ofrece una opción de carga transaccional para el almacenamiento en caché de metadatos. Esto garantiza que toda la tarea de precarga sea transaccional y evita que aparezcan estados intermedios incompletos en la vista de metadatos durante la carga. |
| JindoFS optimiza el mecanismo de precarga de caché |
|
JindoSDK
A continuación se describen las nuevas funciones de JindoSDK en esta versión.
|
Función |
Descripción |
|
JindoSDK admite la directiva de caché local |
JindoSDK incluye una directiva de caché local que permite almacenar datos en caché localmente incluso sin un servicio SmartData desplegado, lo que mejora la eficiencia de acceso a los datos de OSS. |
|
JindoSDK admite la API Object Store, equivalente a la API FileSystem |
Además de su compatibilidad existente con la semántica de FileSystem, JindoSDK ahora admite la semántica de la API Object Store. Esta API se ajusta mejor a los sistemas de object storage como OSS, lo que facilita su uso. Asimismo, optimiza operaciones como Copy y Rename para mejorar la eficiencia de ejecución. |
|
JindoSDK admite la optimización de caché del lado del servidor para OSS |
JindoSDK es compatible con la función de acelerador de OSS. Al habilitar esta función, puede personalizar el ancho de banda de acceso a OSS según la capacidad del acelerador. |
|
JindoSDK admite endpoints de dominio de segundo nivel para OSS |
JindoSDK introduce una nueva función que permite usar un dominio de segundo nivel o una dirección IP para acceder al servicio OSS en entornos específicos. El acceso mediante endpoints de dominio de segundo nivel está deshabilitado de forma predeterminada. |
JindoTable
A continuación se describen las nuevas funciones de JindoTable en esta versión.
|
Función |
Descripción |
|
JindoTable admite la organización de datos en niveles para HDFS y el archivado en OSS |
JindoTable agrega nuevos comandos para mover tablas o particiones a OSS en lotes y sincronizar metadatos. Puede seleccionar particiones mediante condiciones de filtro y especificar una directiva de almacenamiento para copiar datos a OSS. Para los datos que ya se encuentran en OSS, se admite el archivado por lotes. |
|
JindoTable admite la restauración y recuperación de datos archivados desde OSS |
JindoTable proporciona nuevos comandos para restaurar y recuperar datos almacenados en OSS en lotes. |
|
JindoTable admite la aceleración de consultas Presto para datos Parquet |
El motor de aceleración de consultas NativeEngine de JindoTable es compatible con escenarios que utilizan Presto y Parquet. Esta función mejora significativamente la eficiencia de consulta de datos Parquet con Presto. |
|
JindoTable admite la aceleración de consultas Spark 3 para datos Parquet y ORC |
El motor de aceleración de consultas NativeEngine de JindoTable ahora es compatible con el motor de cómputo Spark 3 y con datos en formatos Parquet y ORC. Esto mejora integralmente la eficiencia de consulta de Spark 3. |
|
JindoTable admite la aceleración de consultas para datos almacenados en HDFS |
El motor de aceleración de consultas NativeEngine de JindoTable ahora admite el almacenamiento HDFS. Esto permite que Spark y Presto lean archivos HDFS de manera eficiente a través de NativeEngine. |
|
JindoTable admite el análisis de registros de acceso de OSS |
Puede analizar los registros de acceso de OSS mediante instrucciones SQL. |
JindoFuse
A continuación se describen las nuevas funciones de JindoFuse en esta versión.
|
Función |
Descripción |
|
JindoFuse mejora la compatibilidad con escenarios de entrenamiento y en línea |
JindoFuse agrega compatibilidad para montar volúmenes mediante la especificación de un namespace de JindoFS. También puede montar volúmenes si especifica una carpeta de OSS en modo SDK. |