SmartData组件是EMR Jindo引擎的存储部分,为EMR各个计算引擎提供统一的存储、缓存、计算优化以及功能扩展。SmartData组件主要包括JindoFS、JindoTable和相关工具集。本文为您介绍SmartData(3.7.x)版本的新增内容。

JindoFS

此版本中JindoFS的新特性如下表所示。

特性 描述
JindoFS支持展示统计信息 SmartData 3.7.2及后续版本支持该特性。

JindoFS服务收集汇总了一些重要的指标信息,例如OSS读写吞吐、缓存读写吞吐、缓存使用率等,可用于对接Prometheus,进行可视化监控。

JindoFS分层存储支持冷归档 SmartData 3.7.3及后续版本支持该特性。

分层存储命令支持了OSS冷归档存储类型,可以对冷数据进一步节省成本,详情请参见分层存储命令使用说明

JindoSDK

此版本中JindoSDK的新特性如下表所示。

特性 描述
支持访问AWS S3文件系统 JindoFS客户端支持了AWS S3文件系统,可以用来访问S3上的数据。
支持OSS PrefixLink特性 JindoFS客户端支持了OSS PrefixLink特性,通过提升Rename性能,能够有效加速Hive作业,特别对于Hive ETL场景有明显优化效果。
支持OSS原子Rename SmartData 3.7.2及后续版本支持该特性。

JindoFS客户端利用OSS新特性实现了原子Rename,适用于Delta场景。

JindoTable

此版本中JindoTable的新特性如下表所示。

特性 描述
归档、解冻功能支持冷归档 SmartData 3.7.2及后续版本支持该特性。

JindoTable SDK模式归档和解冻命令支持了OSS冷归档存储类型,详情请参见JindoTable SDK模式归档和解冻命令介绍