Introducción a SmartData 3.1.x - E-MapReduce - Centro de documentación de Alibaba Cloud

El componente SmartData es la capa de almacenamiento del motor EMR Jindo. Proporciona almacenamiento unificado, caché, optimización de cómputo y extensiones de funciones para diversos motores de cómputo de EMR. Este componente incluye JindoFS, JindoTable y un conjunto de herramientas asociado. En este tema se describen las actualizaciones de SmartData 3.1.x.

Contexto

A continuación se detallan las limitaciones que aplican al usar SmartData 3.1.x:

JindoFS en modo caché admite el almacenamiento en caché de metadatos. Para habilitar esta función, modifique el interruptor meta-cache. Está diseñada exclusivamente para escenarios de entrenamiento; no la utilice en escenarios de análisis, ya que una configuración incorrecta provoca problemas de sincronización con otras rutas de escritura.
Los nombres de namespace de JindoFS solo pueden contener letras, dígitos y guiones (-).
El tamaño máximo de archivo compatible actualmente con Jindo DistCp es de 78 GB.
Aunque JindoFS en modo bloque admite la función de suma de verificación, Jindo DistCp aún no es compatible con ella.

Optimización del almacenamiento de JindoFS

Se añadió compatibilidad con la función de suma de verificación de archivos. Esta función se alinea con las interfaces de suma de verificación de código abierto de Hadoop Distributed File System (HDFS) y admite dos algoritmos: MD5MD5CRC y COMPOSITE_CRC. Para el algoritmo MD5MD5CRC, se implementó una interfaz extendida que permite pasar el tamaño de bloque. También se admiten los comandos de shell correspondientes. Esto mejora la comparación de archivos con los de HDFS.
La función de compresión transparente de archivos permite establecer una directiva de compresión para un directorio. Los nuevos bloques de archivos escritos en ese directorio se comprimen antes de almacenarse en el backend de OSS. En datos con una alta tasa de compresión, esto ahorra espacio de almacenamiento de forma significativa y reduce la cantidad de información leída y escrita.
Se incorporó compatibilidad con la semántica flush para la escritura de archivos. Después de llamar a la interfaz flush, los datos se conservan en la posición actual y el archivo queda disponible para lectura.
Se corrigió un problema por el cual el comando hadoop fs -ls -R no se ejecutaba en directorios con jerarquías profundas y muchos subdirectorios, debido a que los hilos entraban en estado de espera.
Se mejoró el comando hadoop fs -stat para mostrar información como atime y privilegios.
Se agregó una función de reescritura de rutas al cliente Jindo HDFS para reducir el trabajo de modificar rutas durante la migración de clústeres.

Para obtener más información, consulte Rewrite Jindo HDFS client paths.

Optimización de la caché de JindoFS

Se incluyó una optimización de la caché de archivos pequeños para escenarios de entrenamiento de aprendizaje automático. Esto mejora notablemente la eficiencia de la caché y el rendimiento de lectura cuando se manejan muchos archivos pequeños.
Se proporcionó el comando cache para precargar directorios de archivos pequeños, lo cual aumenta de manera considerable la eficiencia de la precarga.
Se añadió compatibilidad para activar automáticamente el almacenamiento de datos en caché. Establezca un directorio de destino para rastrear y un intervalo de tiempo. En cada intervalo, el sistema detecta automáticamente los archivos nuevos del directorio y activa una operación de caché.

Optimización del cómputo de JindoTable

JindoTable Dump en formato TF ahora admite matrices bidimensionales.
Jindo mc dump ahora admite la compresión Gzip mediante el parámetro -c.

Administración del sistema JindoManager

El servicio JindoManager es una incorporación reciente que centraliza la gestión de operaciones, el monitoreo de estado y otras funciones del sistema Jindo. Ofrece una interfaz web para consultar el estado de los diversos componentes de dicho sistema.

Conjunto de herramientas JindoTools

Se optimizó la lógica de Job Committer para archivos pequeños en la herramienta Jindo DistCp. Esto reduce significativamente la cantidad de solicitudes a OSS y mejora el rendimiento de DistCp al procesar muchos archivos pequeños.
Se optimizó la agrupación de archivos en la herramienta Jindo DistCp mediante la implementación de una directiva de agrupación más eficaz, lo cual mejora el rendimiento general.

Compatibilidad con el ecosistema de JindoFS

Ahora los trabajos de streaming de Flink se escriben en JindoFS con capacidad de recuperación. Se admiten tanto el modo bloque como el modo caché. Al combinarlos con un origen de datos reproducible, como Kafka, se logra la semántica Exactly-Once.
Flink ahora implementa la función de inyección de entropía. Cuando los trabajos de streaming escriben datos en OSS o JindoFS, ya sea en modo bloque o en modo caché, aplique la inyección de entropía a las rutas de escritura. Esta función permite reemplazar una parte específica de una ruta con una cadena aleatoria para mejorar la eficiencia de escritura.
Se añadió compatibilidad con JindoFS Tensorflow Connector. Al implementar Tensorflow Filesystem, el conector admite las interfaces nativas de E/S de Tensorflow. Es compatible con Tensorflow 1.15 y versiones posteriores, así como con Tensorflow 2.3 y versiones posteriores.