O SmartData é um serviço de armazenamento para o mecanismo Jindo do E-MapReduce (EMR). Ele oferece armazenamento centralizado, cache e computação otimizados para os mecanismos de computação do EMR, além de expandir os recursos de armazenamento. O SmartData consiste no JindoFS, no JindoTable e em ferramentas relacionadas. Este tópico descreve as atualizações do SmartData 3.4.X.
Escalabilidade de armazenamento do OSS no JindoFS
Recurso Recoverable OutputStream do Object Storage Service (OSS) adicionado, implementado pelas APIs Flush e Recover. Essa funcionalidade atende a cenários de gravação que exigem alta confiabilidade, como gravações baseadas em Flume.
Eficiência das operações de rename no servidor do OSS aprimorada.
Desempenho das operações de listagem em diretórios do OSS com versionamento de bucket ativado otimizado. Isso impede que uma grande quantidade de arquivos temporários afete a listagem de diretórios.
Desempenho do Jindo OSS Magic Committer para buckets do OSS com versionamento ativado melhorado. O Jindo OSS Direct Committer também foi incluído.
Framework de provedor de credenciais aprimorado com a adição do JindoCommonCredentialsProvider.
Desempenho na criação de arquivos otimizado. A verificação de redundância durante a gravação de dados no OSS foi removida.
Otimização de armazenamento baseada no JindoFS
O JindoFS agora oferece suporte à criptografia de dados no modo de armazenamento em bloco. Você pode usar o Alibaba Cloud Key Management Service (KMS) e o algoritmo Advanced Encryption Standard (AES) para criptografar os dados.
Otimização de computação baseada no JindoTable
O leitor nativo Optimized Row Columnar (ORC) do JindoTable foi aprimorado.
Outras ferramentas do JindoFS
O Jindo DistCp foi aprimorado e a migração incremental, otimizada. Por exemplo, ao migrar dados do HDFS para o OSS, você pode executar checksums nos caminhos de source e destino.
Suporte ao ecossistema para o JindoFS
Jindo OSS SDK for Python adicionado. Esse SDK oferece suporte a operações básicas do OSS e é compatível com as bibliotecas Python OSS2.