Introdução ao SmartData 3.1.x - E-MapReduce: Central de Documentação do Alibaba Cloud

O componente SmartData é a camada de armazenamento do mecanismo EMR Jindo. Ele oferece armazenamento unificado, cache, otimização de computação e extensões de recursos para diversos mecanismos de computação do EMR. O SmartData inclui JindoFS, JindoTable e um conjunto de ferramentas associadas. Este tópico descreve as atualizações do SmartData 3.1.x.

Informações básicas

As seguintes limitações se aplicam ao uso do SmartData 3.1.x:

O JindoFS em modo de cache oferece suporte a cache de metadados. Para ativar esse recurso, modifique a opção meta-cache. Ele destina-se apenas a cenários de treinamento. Não o utilize em cenários de análise, pois uma configuração inadequada pode causar problemas de sincronização com outros caminhos de gravação.
Os nomes de namespace do JindoFS podem conter apenas letras, dígitos e hifens (-).
O tamanho máximo de arquivo que o Jindo DistCp suporta atualmente é de 78 GB.
Embora o JindoFS em modo de bloco ofereça suporte ao recurso de checksum, o Jindo DistCp ainda não o suporta.

Otimização de armazenamento do JindoFS

Suporte ao recurso de checksum de arquivos. Essa funcionalidade está alinhada às interfaces de checksum do Hadoop Distributed File System (HDFS) open source e aceita dois algoritmos: MD5MD5CRC e COMPOSITE_CRC. Para o algoritmo MD5MD5CRC, há uma interface estendida que permite transmitir o tamanho do bloco. Comandos Shell correspondentes também são suportados, facilitando a comparação entre arquivos locais e do HDFS.
A compactação transparente de arquivos permite definir uma política de compactação para um diretório. Novos blocos gravados nesse diretório são compactados antes do armazenamento no backend do OSS. Para dados com alta taxa de compactação, isso economiza espaço de armazenamento e reduz o volume de leitura e escrita.
Suporte à semântica flush na gravação de arquivos. Após a chamada da interface flush, os dados persistem na posição atual e o arquivo torna-se legível.
Correção de falha na execução do comando hadoop fs -ls -R em diretórios com hierarquias profundas e muitos subdiretórios, causada por threads em estado de espera.
Aprimoramento do comando hadoop fs -stat para exibir informações como atime e privilégios.
Inclusão de reescrita de caminho no cliente Jindo HDFS para reduzir o esforço de modificação de caminhos durante a migração de clusters.

Para mais informações, consulte Rewrite Jindo HDFS client paths.

Otimização de cache do JindoFS

Otimização de cache para arquivos pequenos em cenários de treinamento de machine learning, melhorando significativamente a eficiência do cache e o desempenho de leitura.
Comando cache disponível para pré-carregar diretórios de arquivos pequenos, aumentando consideravelmente a eficiência do pré-carregamento.
Acionamento automático de cache de dados. Defina um diretório alvo para rastreamento e um intervalo de tempo. A cada intervalo, o sistema detecta automaticamente novos arquivos no diretório e aciona a operação de cache.

Otimização de computação do JindoTable

O JindoTable Dump no formato TF agora suporta arrays bidimensionais.
O Jindo mc dump agora suporta compactação Gzip por meio do parâmetro -c.

Administração de sistema do JindoManager

O service JindoManager é uma nova adição que centraliza o gerenciamento de operações, o monitoramento de status e outros recursos do sistema Jindo. Ele fornece uma interface web para visualizar o status dos diversos componentes do sistema.

Conjunto de ferramentas JindoTools

Otimização da lógica do Job Committer para arquivos pequenos na ferramenta Jindo DistCp. Essa melhoria reduz significativamente o número de solicitações ao OSS e aumenta o desempenho do DistCp ao processar muitos arquivos pequenos.
Aprimoramento do agrupamento de arquivos na ferramenta Jindo DistCp mediante uma política de lotes mais eficaz, elevando o desempenho geral.

Suporte ao ecossistema JindoFS

Jobs de streaming do Flink agora podem gravar no JindoFS com capacidade de recuperação. Os modos de bloco e de cache são suportados. Combinado com uma fonte de dados reproduzível, como o Kafka, é possível obter semântica Exactly-Once.
O Flink implementou o recurso de injeção de entropia. Quando jobs de streaming gravam dados no OSS ou no JindoFS, seja em modo de bloco ou de cache, use a injeção de entropia nos caminhos de gravação. Esse recurso substitui uma parte específica do caminho por uma string aleatória para melhorar a eficiência de gravação.
Suporte ao JindoFS Tensorflow Connector. Ao implementar o Tensorflow Filesystem, o conector oferece suporte às interfaces nativas de I/O do Tensorflow. São compatíveis as versões Tensorflow 1.15 ou superior e Tensorflow 2.3 ou superior.