O SmartData é um serviço de armazenamento para o mecanismo Jindo do E-MapReduce (EMR). Ele oferece armazenamento unificado, otimização de cache e aceleração de computação para os mecanismos de processamento do EMR. O SmartData inclui JindoFS, JindoTable e ferramentas relacionadas. Este tópico descreve as atualizações do SmartData 3.2.X.
Escalabilidade de armazenamento OSS no JindoFS
O JindoFS oferece vários métodos sem senha para obter tokens de acesso ao OSS, com opções de personalização e extensão.
O Tablestore da Alibaba Cloud implementa exclusão mútua para operações de renomeação simultâneas.
Grave dados no OSS usando Delta ou Hudi.
Otimização de cache baseada no JindoFS
O JindoFS otimiza o cache de metadados para grandes volumes de arquivos pequenos em cenários de treinamento de IA. Isso melhora o desempenho do pré-carregamento de metadados e das operações de listagem.
Otimização de computação baseada no JindoTable
O JindoTable integra-se ao AliORC para fornecer um leitor nativo de Optimized Row Columnar (ORC). Esse recurso permite que Spark e Presto leiam arquivos ORC com leitura de dados acelerada e melhor desempenho de computação.
O JindoTable coleta estatísticas de frequência de acesso a tabelas Hive para o Presto.
Suporte ao ecossistema para JindoFS
Ao usar o Spark para gravar dados no OSS, defina spark.hadoop.mapreduce.fileoutputcommitter.marksuccessfuljobs como false para evitar a geração de um arquivo _SUCCESS.