A partir da versão V3.30 do E-MapReduce (EMR), o JindoFS oferece armazenamento em camadas. Use os comandos de armazenamento em camadas para mover dados entre discos locais e classes de armazenamento do OSS, equilibrando velocidade de acesso e custo.
Todos os comandos de armazenamento em camadas são assíncronos: envie uma tarefa e retornam imediatamente. Para monitorar o progresso ou aguardar a conclusão, use o comando Status.
Pré-requisitos
Cluster EMR versão V3.30 ou posterior
Classes de armazenamento
O OSS disponibiliza três classes de armazenamento. Escolha a classe adequada com base na frequência de acesso aos dados:
|
Classe de armazenamento |
Velocidade de acesso |
Custo |
Ideal para |
|
Standard |
Mais rápida |
Mais alto |
Dados quentes com acesso frequente |
|
Infrequent Access (IA) |
Rápida |
Mais baixo |
Dados mornos com acesso inferior a uma vez por mês |
|
Archive |
Requer restauração (até 1 dia) |
Mais baixo |
Dados frios com acesso raro |
Para mais informações sobre as classes de armazenamento do OSS, consulte Overview.
Transições entre classes de armazenamento
|
De |
Para |
Comando |
|
Disco local |
OSS Standard |
|
|
Disco local |
OSS IA |
|
|
Disco local |
OSS Archive |
|
|
OSS Archive |
OSS Standard |
|
|
OSS Archive |
OSS IA |
|
|
OSS Archive |
Temporariamente legível |
|
|
OSS Standard |
Disco local |
|
Comandos
Cache
Armazene dados de um caminho nos discos locais. Após o cache, as leituras ocorrem diretamente dos discos locais, e não do OSS.
jindo jfs -cache -p <path>|
Opção |
Descrição |
|
|
Fixa os dados locais para impedir evicção baseada no uso do disco |
Uncache
Remova o backup em disco local de um caminho. Os dados permanecem apenas no armazenamento OSS Standard.
jindo jfs -uncache <path>Archive
Transfira dados dos discos locais para o armazenamento OSS Infrequent Access (IA) ou Archive. O sistema exclui o backup em disco local após a transferência.
jindo jfs -archive -i|-a <path>|
Opção |
Classe de armazenamento de destino |
|
|
Infrequent Access (IA) |
|
|
Archive |
Unarchive
Converta dados do armazenamento Archive para uma classe mais acessível ou restaure-os temporariamente para leitura.
jindo jfs -unarchive [-i|-o] <path>|
Opção |
Classe de armazenamento de destino |
Observações |
|
(nenhuma) |
Standard |
Comportamento padrão |
|
|
Infrequent Access (IA) |
|
|
|
Temporariamente legível |
Os dados tornam-se legíveis em até um dia; não altera permanentemente a classe de armazenamento |
Status
Visualize o progresso de uma tarefa de armazenamento em camadas.
jindo jfs -status [-detail|-sync] <path>|
Opção |
Comportamento |
|
(nenhuma) |
Exibe a quantidade de arquivos direcionados para armazenamento em camadas no diretório e os dados já processados |
|
|
Mostra o progresso de armazenamento por arquivo |
|
|
Bloqueia a execução até a conclusão da tarefa de armazenamento em camadas e encerra |
Como todos os comandos de armazenamento em camadas são assíncronos, use -sync em scripts que precisam aguardar o término de uma tarefa antes de prosseguir — por exemplo, arquivar dados e validar o resultado em seguida.
ls2
Verifique a classe de armazenamento dos arquivos em um caminho. O comando ls2 estende o comando padrão ls do Hadoop com uma coluna de classe de armazenamento.
hadoop fs -ls2 <path>Exemplo de saída:
drwxrwxrwx - - 0 2020-06-05 04:27 oss://xxxx/warehouse
-rw-rw-rw- 1 Archive 1484 2020-09-23 16:40 oss://xxxx/wikipedia_data.csv
-rw-rw-rw- 1 Standard 1676 2020-06-07 20:04 oss://xxxx/wikipedia_data.jsonA terceira coluna indica a classe de armazenamento de cada arquivo. Valores possíveis: Standard, Archive.
Obter ajuda
Execute o comando abaixo para visualizar informações de ajuda sobre os comandos de armazenamento em camadas:
jindo jfs -help archive