O componente SmartData é a camada de armazenamento do mecanismo EMR Jindo. Ele oferece armazenamento unificado, cache, otimização de computação e extensões de recursos para diversos mecanismos de computação do EMR. O SmartData consiste em JindoFS, JindoTable e conjuntos de ferramentas relacionados. Este tópico descreve as atualizações do SmartData 3.6.x.
JindoFS
A tabela a seguir descreve os novos recursos do JindoFS nesta versão.
| Recurso | Descrição |
| Suporte a multicloud, protocolo S3 e aceleração de cache no JindoFS | O JindoFS suporta o protocolo S3, o que permite acessar o Amazon S3 e outros sistemas compatíveis com S3. Além disso, oferece aceleração de cache para tornar o acesso mais eficiente. |
| Aceleração de cache para HDFS no JindoFS | Esta versão adiciona suporte à aceleração de cache durante o acesso ao Hadoop Distributed File System (HDFS), o que melhora a eficiência das operações. |
| Transações para MetaSync e Data Cache no JindoFS | O JindoFS disponibiliza uma opção de carregamento transacional para o cache de metadados. Isso garante que toda a tarefa de pré-carregamento seja transacional e evita que estados intermediários incompletos apareçam na visualização de metadados durante o processo. |
| Otimização do mecanismo de pré-carregamento de cache no JindoFS |
|
JindoSDK
A tabela a seguir lista os novos recursos do JindoSDK nesta versão.
|
Recurso |
Descrição |
|
Política de cache local no JindoSDK |
O JindoSDK passa a suportar uma política de cache local. Isso permite armazenar dados em cache localmente mesmo sem um service SmartData implantado, o que aumenta a eficiência no acesso a dados do OSS. |
|
Suporte à API Object Store, equivalente à API FileSystem |
Além da semântica FileSystem já existente, o JindoSDK agora suporta a semântica da API Object Store. Essa API alinha-se melhor a sistemas de armazenamento de objetos como o OSS, facilitando seu uso. Ela também otimiza operações como Copy e Rename para melhorar a eficiência da execução. |
|
Otimização de cache no lado do servidor para OSS no JindoSDK |
O JindoSDK suporta o recurso de acelerador do OSS. Quando esse recurso está ativado, você pode personalizar a largura de banda de acesso ao OSS com base na capacidade do acelerador. |
|
Endpoints de domínio de segundo nível para OSS no JindoSDK |
Uma nova funcionalidade permite usar um domínio de segundo nível ou um endereço IP para acessar o service OSS em ambientes específicos. O acesso via Endpoints de domínio de segundo nível vem desativado por padrão. |
JindoTable
A tabela a seguir descreve os novos recursos do JindoTable nesta versão.
|
Recurso |
Descrição |
|
Camadas de dados para HDFS e arquivamento no OSS pelo JindoTable |
Novos comandos permitem mover tabelas ou partições para o OSS em lotes e sincronizar metadados. É possível selecionar partições usando condições de filtro e definir uma política de armazenamento para copiar dados para o OSS. Para dados que já estão no OSS, há suporte a arquivamento em lote. |
|
Restauração e recuperação de dados arquivados do OSS no JindoTable |
O JindoTable fornece novos comandos para restaurar e recuperar dados armazenados no OSS em lotes. |
|
Aceleração de consultas Presto para dados Parquet no JindoTable |
O mecanismo de aceleração de consultas NativeEngine do JindoTable atende cenários que utilizam Presto e Parquet. Esse recurso melhora significativamente a eficiência de consultas a dados Parquet com o Presto. |
|
Aceleração de consultas Spark 3 para dados Parquet e ORC no JindoTable |
O mecanismo de aceleração de consultas NativeEngine do JindoTable agora suporta o mecanismo de computação Spark 3 e dados nos formatos Parquet e ORC. Isso eleva de forma abrangente a eficiência das consultas no Spark 3. |
|
Aceleração de consultas para dados armazenados no HDFS no JindoTable |
O mecanismo de aceleração de consultas NativeEngine do JindoTable passa a suportar o armazenamento HDFS. Assim, o Spark e o Presto conseguem ler arquivos HDFS de maneira eficiente por meio do NativeEngine. |
|
Análise de logs de acesso do OSS no JindoTable |
Analise logs de acesso do OSS utilizando instruções SQL. |
JindoFuse
A tabela a seguir descreve os novos recursos do JindoFuse nesta versão.
|
Recurso |
Descrição |
|
Melhoria no suporte a cenários de treinamento e online no JindoFuse |
O JindoFuse adiciona suporte à montagem mediante a especificação de um namespace do JindoFS. Também é possível montar especificando uma pasta do OSS no modo sdk. |