E-MapReduce:Introdução ao SmartData 3.0.x

Otimizações de armazenamento do JindoFS

• A configuração autônoma do service Jindo Namespace foi aprimorada. No modo autônomo, o service agora atualize e grava metadados no Tablestore de forma assíncrona.

• A opção de usar o Tablestore como backend de metadados para o service Jindo Namespace foi removida. A solução de alta disponibilidade (HA) baseada em Tablestore não é mais suportada.

• Adicionamos suporte ao Archive Storage. É possível armazenar dados de arquivos na classe de armazenamento OSS Archive para reduzir custos.

• Incluímos os comandos Archive, Unarchive e Status no armazenamento em camadas do JindoFS. Esses comandos arquivam dados em uma pasta especificada e verificam o progresso e o status das operações de arquivamento.

• Adicionamos o comando ls2 do JindoFS para visualize informações de arquivos.

• O sistema de armazenamento JindoFS agora suporta exportação offline e consultas analíticas de fsimage.

• O sistema de armazenamento JindoFS passou a suportar acesso entre clusters.

Para obter mais informações, consulte Tiered storage command usage instructions.

Otimizações de cache do JindoFS

• Melhoramos a organização dos dados em cache nos discos. Essa alteração remove a dependência do disco do sistema, torna os discos de dados totalmente independentes e aprimora as operações offline de disco.

• O service de cache recebeu melhorias para aumentar a tolerância a falhas de nós e otimizar as operações offline de nós.

• Refinamos a política de seleção para gravação de blocos de cache em disco. Round Robin é agora a política padrão.

• Otimizamos os fluxos de leitura e gravação e aumentamos a tolerância a falhas.

• Adicionamos os comandos Cache, Uncache e Status ao armazenamento em camadas do JindoFS. Tais comandos armazenam dados em cache em uma pasta especificada, permitem o pré-carregamento de dados e verificam o progresso e o status do cache.

• Otimizamos o uso do espaço de cache por arquivos pequenos e fornecemos estatísticas mais precisas para as métricas relacionadas.

Otimizações de computação do JindoTable

• Incluímos o comando JindoTable Optimize. Esse comando otimiza operações de tabelas Hive, como a mesclagem de arquivos pequenos em uma partição.

• Adicionamos os comandos JindoTable Archive, Unarchive e Status. Eles arquivam dados em tabelas e partições específicas e verificam o progresso e o status das operações de arquivamento.

• Adicionamos suporte aos comandos JindoTable Cache, Uncache e Status. Esses comandos armazenam dados em cache em tabelas e partições definidas, habilitam o pré-carregamento de dados e monitoram o progresso e o status do cache.

• O sistema de cache do JindoFS agora suporta a exportação de tabelas do MaxCompute. Isso fornece um mecanismo de pré-carregamento para dados estruturados antes do treinamento de machine learning.

Para obter mais informações, consulte JindoTable usage instructions.

Extensões e suporte do JindoFS OSS

• Adicionamos suporte à integração de permissões do Ranger no cliente. Esse recurso captura várias operações do OSS e utiliza registros do service JindoFS para executar verificações de permissão do Ranger.

• Passamos a suportar auditoria de operações no cliente. Essa funcionalidade captura diversas operações do OSS e as registra por meio do service JindoFS para fins de auditoria.

• Adicionamos suporte ao framework Hadoop Credentials Provider para especificar a configuração do AccessKey do OSS da maneira padrão do Hadoop.

• Passamos a suportar o conector Flink. O mecanismo Flink pode agora usar o OSS para source, sink e armazenamento de checkpoint.

• Disponibilizamos uma versão leve (lite) do SDK do JindoFS OSS (Hadoop Connector). Esta versão foi projetada para ambientes não padronizados, como um cluster de Internet Data Center (IDC) do usuário.

Administração de sistema do JindoManager

O JindoManager agora fornece uma interface de usuário (UI) para visualize o status do sistema, estatísticas de arquivos no sistema de armazenamento JindoFS e métricas de cache no sistema de cache.

Conjunto de ferramentas JindoTools

Aprimoramos o mecanismo de distribuição da ferramenta Jindo DistCp. Agora, fornecemos pacotes de distribuição distintos para uso dentro de clusters EMR e em ambientes fora do EMR.

Disponibilizamos uma versão leve (lite) do Jindo DistCp. Ela foi projetada para ambientes não padronizados, como um cluster IDC do usuário.