Use tiered-storage commands of JindoFS - E-MapReduce: Central de Documentação do Alibaba Cloud

Disponível no E-MapReduce (EMR) V3.30, o armazenamento em camadas do JindoFS permite mover dados entre as classes de armazenamento do Object Storage Service (OSS) — Standard, Infrequent Access (IA), Archive e Cold Archive — e o cache de disco local para equilibrar a velocidade de acesso e o custo de armazenamento.

Todos os comandos de armazenamento em camadas são assíncronos. Cada comando inicia uma tarefa em segundo plano em vez de concluir a operação imediatamente. Use o comando status para monitorar o progresso.

Visão geral dos comandos

Comando	Descrição
`cache`	Copia dados para o disco local para acelerar leituras
`uncache`	Remove a cópia local; os dados permanecem no OSS Standard
`archive`	Move dados para OSS IA, Archive ou Cold Archive
`unarchive`	Restaura dados arquivados para OSS IA ou Standard
`status`	Exibe o progresso da tarefa de armazenamento em camadas
`ls2`	Lista arquivos com a classe de armazenamento atual

Para visualizar a ajuda integrada, execute:

jindo jfs -help archive

Cache

Copia os dados do caminho especificado para o disco local. Leituras subsequentes usam o disco local em vez do OSS, o que reduz a latência de leitura para dados acessados frequentemente.

jindo jfs -cache -p <path>

A flag -p fixa a cópia local para impedir sua remoção com base no uso do disco.

Use cache para conjuntos de dados lidos repetidamente, como tabelas de fatos em consultas com muitos joins ou o conjunto de trabalho de jobs de alta prioridade.

Uncache

Remove a cópia do disco local. Os dados continuam acessíveis no armazenamento OSS Standard.

jindo jfs -uncache <path>

Execute este comando quando um conjunto de dados deixar de ser acessado frequentemente e for necessário liberar espaço em disco local.

Unarchive

Converte dados do armazenamento Archive para uma classe de armazenamento mais acessível. Por padrão (sem opção especificada), os dados são restaurados para o armazenamento OSS Standard.

jindo jfs -unarchive -i/-o <path>

Opção	Comportamento
(nenhuma)	Restaura dados para o armazenamento OSS Standard
`-i`	Restaura dados para o armazenamento OSS Infrequent Access (IA)
`-o`	Desarquiva temporariamente dados do armazenamento OSS Archive; os dados tornam-se legíveis por um dia

Status

Exibe o progresso de uma tarefa de armazenamento em camadas para o caminho especificado. Por padrão, informa o número de arquivos direcionados para armazenamento em camadas no diretório e os dados aos quais o armazenamento em camadas foi aplicado.

jindo jfs -status -detail/-sync <path>

Opção	Comportamento
`-detail`	Exibe o progresso de armazenamento por arquivo
`-sync`	Bloqueia a execução até a conclusão da tarefa de armazenamento em camadas

ls2

Lista os arquivos no caminho especificado com a respectiva classe de armazenamento atual, estendendo a saída padrão do hadoop fs -ls.

hadoop fs -ls2 <path>

Exemplo de saída:

drwxrwxrwx  - -         0    2020-06-05 04:27 oss://xxxx/warehouse
-rw-rw-rw-  1 Archive   1484 2020-09-23 16:40 oss://xxxx/wikipedia_data.csv
-rw-rw-rw-  1 Standard  1676 2020-06-07 20:04 oss://xxxx/wikipedia_data.json

A terceira coluna exibe a classe de armazenamento de cada arquivo.

Opção	Classe de armazenamento de destino
`-i`	OSS Infrequent Access (IA)
`-a`	OSS Archive
`-c`	OSS Cold Archive