SmartData es un servicio de almacenamiento para el motor Jindo de E-MapReduce (EMR). Proporciona almacenamiento unificado, optimización de caché y aceleración de cómputo para los motores de EMR. SmartData está compuesto por JindoFS, JindoTable y herramientas relacionadas. Este tema describe las actualizaciones de SmartData 3.2.X.
Escalabilidad del almacenamiento OSS en JindoFS
JindoFS admite varios métodos sin contraseña para obtener tokens de acceso a OSS, con opciones de personalización y extensión.
Alibaba Cloud Tablestore implementa la exclusión mutua en operaciones de cambio de nombre concurrentes.
Puede escribir datos en OSS mediante Delta o Hudi.
Optimización de caché basada en JindoFS
JindoFS optimiza el almacenamiento en caché de metadatos para grandes volúmenes de archivos pequeños en escenarios de entrenamiento de IA. Esto mejora el rendimiento de la precarga de metadatos y las operaciones de listado.
Optimización de cómputo basada en JindoTable
JindoTable se integra con AliORC para proporcionar un lector nativo de Optimized Row Columnar (ORC). Esto permite a Spark y Presto leer archivos ORC con mayor rapidez y mejorar el rendimiento de cómputo.
JindoTable recopila estadísticas de frecuencia de acceso a tablas Hive para Presto.
Compatibilidad con el ecosistema para JindoFS
Cuando utilice Spark para escribir datos en OSS, establezca spark.hadoop.mapreduce.fileoutputcommitter.marksuccessfuljobs en false para evitar que se genere un archivo _SUCCESS.