全部产品
Search
文档中心

开源大数据平台E-MapReduce:JindoData版本已知问题

更新时间:Dec 20, 2023

本文为您介绍JindoData 4.x版本的已知问题。

4.6.x版本

4.6.2版本

JindoSDK 4.6.0及以上版本支持对写路径进行CRC64校验,即默认打开fs.oss.checksum.crc64.enable

该配置目前对写入OSS-HDFS性能有较大影响,在性能优先的场景下可以考虑关闭该配置。如需关闭,请在EMR控制台Hadoop-Common服务的配置页签,在 core-site.xml中新增参数为fs.oss.checksum.crc64.enable,参数值为false的配置项。新增配置项的操作,请参见管理配置项

4.6.1版本

  • JindoSDK 4.6.1版本在EMR集群使用免密访问OSS-HDFS出现等待Token更新,导致部分作业中断的问题。

    您可以使用固定AccessKey或者升级到4.6.2及以上版本,EMR集群JindoSDK升级请参见EMR集群JindoSDK升级流程(新版控制台)

  • JindoSDK 4.6.1版本在EMR集群通过免密使用JindoUtil工具时,会产生权限错误问题。

    您可以使用固定AccessKey或者升级到4.6.2及以上版本,EMR集群JindoSDK升级请参见EMR集群JindoSDK升级流程(新版控制台)

  • JindoSDK 4.6.0及以上版本支持对写路径进行CRC64校验,即默认打开fs.oss.checksum.crc64.enable

    该配置目前对写入OSS-HDFS性能有较大影响,在性能优先的场景下可以考虑关闭该配置。如需关闭,请在EMR控制台Hadoop-Common服务的配置页签,在 core-site.xml中新增参数为fs.oss.checksum.crc64.enable,参数值为false的配置项。新增配置项的操作,请参见管理配置项

4.6.0版本

  • JindoSDK 4.6.0版本在EMR集群使用免密访问OSS-HDFS出现等待Token更新,导致部分作业卡住的问题。

    您可以使用固定AccessKey或者升级到4.6.2及以上版本,EMR集群JindoSDK升级请参见EMR集群JindoSDK升级流程(新版控制台)

  • JindoSDK 4.6.0和 JindoFSx 4.6.0版本在Kerberos集群配置使用fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider时,存在JindoFSx Namespace Service内存泄露问题。

    您需要将JindoFSx和JindoSDK升级到4.6.2及以上版本,具体请参见EMR集群JindoData升级流程(新版控制台)EMR集群JindoSDK升级流程(新版控制台)

  • JindoSDK 4.6.0版本在EMR集群使用免密下JindoUtil工具时,会产生权限错误问题。

    您可以使用固定AccessKey或者升级到4.6.2及以上版本,EMR集群JindoSDK升级请参见EMR集群JindoSDK升级流程(新版控制台)

  • JindoSDK 4.6.0及以上版本支持对写路径进行CRC64校验,即默认打开fs.oss.checksum.crc64.enable

    该配置目前对写入OSS-HDFS性能有较大影响,在性能优先的场景下可以考虑关闭该配置。如需关闭,请在EMR控制台Hadoop-Common服务的配置页签,在 core-site.xml中新增参数为fs.oss.checksum.crc64.enable,参数值为false的配置项。新增配置项的操作,请参见管理配置项

4.5.x版本

4.5.2版本

4.5.1版本

4.5.0版本

4.4.x版本

4.3.x版本

  • JindoSDK 4.3.0版本(EMR-3.40.0或EMR-5.6.0版本集群)由于显示目录时间会导致ls性能出现一定程度退化,暂不显示目录时间情况。

    如果您需要显示时间,可以将JindoSDK升级到4.3.1及以上版本,EMR集群JindoSDK升级请参见EMR集群JindoSDK升级流程(新版控制台)

  • JindoSDK 4.3.0版本(EMR-3.40.0或EMR-5.6.0版本集群)使用MagicCommitter时,会有频繁调用uploadPart问题,出现“Part number must be an integer between 1 and 10000”异常。

    您可以将JindoSDK升级到4.3.1及以上版本,EMR集群JindoSDK升级请参见EMR集群JindoSDK升级流程(新版控制台)

  • JindoFSx 4.3.0版本服务端读取缓存数据在部分路径下存在出错处理异常,相关错误未能正确返回客户端,导致客户端返回错误的数据内容。

    您可以将JindoFSx升级到4.3.1及以上版本,具体请参见EMR集群JindoData升级流程(新版控制台)

  • JindoFSx 4.3.0版本服务端处理内存缓存预加载命令存在问题,导致加载到内存中的数据内容可能发生错误,造成后续读取到错误的数据内容。

    您可以将JindoFSx升级到4.3.1及以上版本,具体请参见EMR集群JindoData升级流程(新版控制台)

  • JindoFSx 4.3.0和4.3.1版本服务端存在文件句柄泄漏问题,长时间运行后可能达到操作系统规定的进程上限,导致服务无法打开新的文件句柄,造成服务不可用。

    您可以将JindoFSx升级到4.3.2及以上版本,具体请参见EMR集群JindoData升级流程(新版控制台)

4.2.x版本

JindoSDK 4.2.0版本在大文件SEEK时存在溢出问题,会导致部分使用SEEK的任务出现读取OSS大文件失败。

4.1.x版本

JindoSDK 4.1.0版本在大文件SEEK时存在溢出问题,会导致部分使用SEEK的任务出现读取OSS大文件失败。

4.0.x版本

JindoSDK 4.0.0版本 (EMR-3.39.0或EMR-5.5.0版本集群) 在大文件SEEK时存在溢出问题,会导致部分使用SEEK的任务出现读取OSS大文件失败。

其他问题

  • JindoSDK暂不支持OSS上超大文件写入(大于80 GB)。

  • JindoSDK暂不支持OSS append方式写入。

  • JindoSDK暂不支持OSS客户端加密。

  • JindoSDK暂不支持旧版本JindoFS Block模式和Cache模式。

  • 阿里云OSS-HDFS服务(JindoFS 服务)暂不支持旧版本JindoFS Block模式系统升级。

    您可以通过JindoDistCp迁移工具将数据从旧系统迁移到新服务。