O JindoData 4.x apresenta problemas conhecidos que podem afetar a estabilidade, o desempenho ou a integridade dos dados. Verifique os problemas correspondentes à sua versão e aplique as correções recomendadas.
Versão 4.6.x
Versão 4.6.2
O JindoSDK 4.6.0 e versões posteriores oferecem suporte à verificação de checksum CRC64 para caminhos de gravação. Por padrão, o parâmetro fs.oss.checksum.crc64.enable está ativado.
Essa configuração reduz significativamente o desempenho de gravação do OSS-HDFS. Se o desempenho for prioritário, desative esse recurso. Na aba Configure do service Hadoop-Common no EMR Configure, adicione um item de configuração em core-site.xml para definir o parâmetro fs.oss.checksum.crc64.enable como false. Para obter mais informações sobre como adicionar um item de configuração, consulte Gerencie itens de configuração.
Versão 4.6.1
-
No JindoSDK 4.6.1, ao usar acesso sem senha ao OSS-HDFS em um cluster EMR, alguns jobs são interrompidos durante a atualização do token.
Use uma AccessKey fixa ou atualize o JindoSDK para a versão 4.6.2 ou posterior. Para instruções de atualização, consulte Atualize e reverta o JindoSDK para um cluster EMR (X86).
-
No JindoSDK 4.6.1, o uso da ferramenta JindoUtil com acesso sem senha em um cluster EMR gera um erro de permissão.
Use uma AccessKey fixa ou atualize o JindoSDK para a versão 4.6.2 ou posterior. Para instruções de atualização, consulte Atualize e reverta o JindoSDK para um cluster EMR (X86).
-
O JindoSDK 4.6.0 e versões posteriores oferecem suporte à verificação de checksum CRC64 para caminhos de gravação. Por padrão, o parâmetro fs.oss.checksum.crc64.enable está ativado.
Essa configuração reduz significativamente o desempenho de gravação do OSS-HDFS. Se o desempenho for prioritário, desative esse recurso. Na aba Configure do service Hadoop-Common no EMR Configure, adicione um item de configuração em core-site.xml para definir o parâmetro fs.oss.checksum.crc64.enable como false. Para obter mais informações sobre como adicionar um item de configuração, consulte Gerencie itens de configuração.
Versão 4.6.0
-
No JindoSDK 4.6.0, ao usar acesso sem senha ao OSS-HDFS em um cluster EMR, alguns jobs ficam paralisados durante a atualização do token.
Use uma AccessKey fixa ou atualize o JindoSDK para a versão 4.6.2 ou posterior. Para instruções de atualização, consulte Atualize e reverta o JindoSDK para um cluster EMR (X86).
-
No JindoSDK 4.6.0 e no JindoFSx 4.6.0, definir fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider em um cluster Kerberos causa vazamento de memória no JindoFSx Namespace Service.
Atualize o JindoFSx e o JindoSDK para a versão 4.6.2 ou posterior. Para obter mais informações, consulte Atualize o JindoData para um cluster EMR e Atualize e reverta o JindoSDK para um cluster EMR (X86).
-
No JindoSDK 4.6.0, o uso da ferramenta JindoUtil com acesso sem senha em um cluster EMR gera um erro de permissão.
Use uma AccessKey fixa ou atualize o JindoSDK para a versão 4.6.2 ou posterior. Para instruções de atualização, consulte Atualize e reverta o JindoSDK para um cluster EMR (X86).
-
O JindoSDK 4.6.0 e versões posteriores oferecem suporte à verificação de checksum CRC64 para caminhos de gravação. Por padrão, o parâmetro fs.oss.checksum.crc64.enable está ativado.
Essa configuração reduz significativamente o desempenho de gravação do OSS-HDFS. Se o desempenho for prioritário, desative esse recurso. Na aba Configure do service Hadoop-Common no EMR Configure, adicione um item de configuração em core-site.xml para definir o parâmetro fs.oss.checksum.crc64.enable como false. Para obter mais informações sobre como adicionar um item de configuração, consulte Gerencie itens de configuração.
Versão 4.5.x
Versão 4.5.2
-
No JindoSDK 4.5.2 e no JindoFSx 4.5.2, definir fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider em um cluster Kerberos causa vazamento de memória no JindoFSx Namespace Service.
Atualize o JindoFSx e o JindoSDK para a versão 4.6.2 ou posterior. Para obter mais informações, consulte Atualize o JindoData para um cluster EMR e Atualize e reverta o JindoSDK para um cluster EMR (X86).
-
No JindoSDK 4.5.2, o uso da ferramenta JindoUtil com acesso sem senha em um cluster EMR gera um erro de permissão.
Use uma AccessKey fixa ou atualize o JindoSDK para a versão 4.6.2 ou posterior. Para instruções de atualização, consulte Atualize e reverta o JindoSDK para um cluster EMR (X86).
Versão 4.5.1
-
No JindoSDK 4.5.1 e no JindoFSx 4.5.1, definir fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider em um cluster Kerberos causa vazamento de memória no JindoFSx Namespace Service.
Atualize o JindoFSx e o JindoSDK para a versão 4.6.2 ou posterior. Para obter mais informações, consulte Atualize o JindoData para um cluster EMR e Atualize e reverta o JindoSDK para um cluster EMR (X86).
-
No JindoSDK 4.5.1, o uso da ferramenta JindoUtil com acesso sem senha em um cluster EMR gera um erro de permissão.
Use uma AccessKey fixa ou atualize o JindoSDK para a versão 4.6.2 ou posterior. Para instruções de atualização, consulte Atualize e reverta o JindoSDK para um cluster EMR (X86).
Versão 4.5.0
-
No JindoSDK 4.5.0 e no JindoFSx 4.5.0, definir fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider em um cluster Kerberos causa vazamento de memória no JindoFSx Namespace Service.
Atualize o JindoFSx e o JindoSDK para a versão 4.6.2 ou posterior. Para obter mais informações, consulte Atualize o JindoData para um cluster EMR e Atualize e reverta o JindoSDK para um cluster EMR (X86).
-
No JindoSDK 4.5.0, se uma tentativa de acesso sem senha ao OSS ou OSS-HDFS falhar em um cluster EMR, o cliente não atualiza o token na nova tentativa, causando a paralisação de alguns jobs.
Use uma AccessKey fixa ou atualize o JindoSDK para a versão 4.6.2 ou posterior. Para instruções de atualização, consulte Atualize e reverta o JindoSDK para um cluster EMR (X86).
-
No JindoSDK 4.5.0, o uso da ferramenta JindoUtil com acesso sem senha em um cluster EMR gera um erro de permissão.
Use uma AccessKey fixa ou atualize o JindoSDK para a versão 4.6.2 ou posterior. Para instruções de atualização, consulte Atualize e reverta o JindoSDK para um cluster EMR (X86).
Versão 4.4.x
-
Nas versões 4.4.0, 4.4.1 e 4.4.2 do JindoSDK e do JindoFSx, definir fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider em um cluster Kerberos causa vazamento de memória no JindoFSx Namespace Service.
Atualize o JindoFSx e o JindoSDK para a versão 4.6.2 ou posterior. Para obter mais informações, consulte Atualize o JindoData para um cluster EMR e Atualize e reverta o JindoSDK para um cluster EMR (X86).
-
No JindoSDK 4.4.0, o acesso sem senha com alta concorrência ao OSS e OSS-HDFS em um cluster EMR pode provocar um core dump.
Use uma AccessKey fixa ou atualize o JindoSDK para a versão 4.6.2 ou posterior. Para instruções de atualização, consulte Atualize e reverta o JindoSDK para um cluster EMR (X86).
Versão 4.3.x
-
No JindoSDK 4.3.0 (em clusters EMR-3.40.0 ou EMR-5.6.0), a exibição de timestamps de diretórios degrada o desempenho do comando
ls, portanto, esses timestamps não são exibidos.Para exibir os timestamps, atualize o JindoSDK para a versão 4.3.1 ou posterior. Para instruções de atualização, consulte Atualize e reverta o JindoSDK para um cluster EMR (X86).
-
No JindoSDK 4.3.0 (em clusters EMR-3.40.0 ou EMR-5.6.0), o MagicCommitter pode acionar chamadas frequentes a
uploadPart, resultando no erro "Part number must be an integer between 1 and 10000".Para resolver esse problema, atualize o JindoSDK para a versão 4.3.1 ou posterior. Para instruções de atualização, consulte Atualize e reverta o JindoSDK para um cluster EMR (X86).
-
O JindoFSx 4.3.0 trata incorretamente erros durante a leitura de dados em cache de determinados caminhos. O servidor não retorna erros ao cliente, que recebe dados incorretos.
Para resolver esse problema, atualize o JindoFSx para a versão 4.3.1 ou posterior. Para obter mais informações, consulte Atualize o JindoData para um cluster EMR.
-
O JindoFSx 4.3.0 processa incorretamente comandos de pré-carregamento de cache de memória, o que pode corromper dados em cache e fazer com que leituras subsequentes retornem resultados incorretos.
Para resolver esse problema, atualize o JindoFSx para a versão 4.3.1 ou posterior. Para obter mais informações, consulte Atualize o JindoData para um cluster EMR.
-
As versões 4.3.0 e 4.3.1 do JindoFSx apresentam vazamento de identificadores de arquivo. Com o tempo, o processo pode atingir o limite de identificadores de arquivo do sistema operacional, impedindo o service de abrir novos identificadores e tornando-o indisponível.
Para resolver esse problema, atualize o JindoFSx para a versão 4.3.2 ou posterior. Para obter mais informações, consulte Atualize o JindoData para um cluster EMR.
Versão 4.2.x
No JindoSDK 4.2.0, a operação SEEK em arquivos grandes pode causar estouro de inteiro, levando à falha de jobs baseados em SEEK que leem arquivos grandes do OSS.
Versão 4.1.x
No JindoSDK 4.1.0, a operação SEEK em arquivos grandes pode causar estouro de inteiro, levando à falha de jobs baseados em SEEK que leem arquivos grandes do OSS.
Versão 4.0.x
No JindoSDK 4.0.0 (em clusters EMR-3.39.0 ou EMR-5.5.0), a operação SEEK em arquivos grandes pode causar estouro de inteiro, levando à falha de jobs baseados em SEEK que leem arquivos grandes do OSS.
Limitações
O JindoSDK não oferece suporte à gravação de arquivos maiores que 80 GB no OSS.
O JindoSDK não oferece suporte à gravação no OSS em modo de anexação.
O JindoSDK não oferece suporte à criptografia no lado do cliente para o OSS.
O JindoSDK não oferece suporte a versões anteriores do JindoFS nos modos de bloco e de cache.
-
O service Alibaba Cloud OSS-HDFS (service JindoFS) não permite atualizações a partir de versões anteriores do JindoFS executadas em modo de bloco.
Use a ferramenta JindoDistCp para migrar dados do sistema antigo para o novo service.