Use JindoTable to archive and unarchive tables or partitions in OSS - E-MapReduce: Central de Documentação do Alibaba Cloud

O JindoTable oferece dois comandos de CLI — archiveTable e unarchiveTable — para alterar a classe de armazenamento de tabelas ou partições do Hive no Object Storage Service (OSS). Use esses comandos para mover dados frios para classes de armazenamento de custo mais baixo (Archive, Cold Archive ou Infrequent Access) e restaurá-los quando o acesso for necessário novamente.

Limite

Este recurso exige um metastore do Hive para armazenar metadados.

Arquivar tabelas ou partições

Use o comando archiveTable para alterar a classe de armazenamento dos dados no OSS referenciados por uma tabela ou partição do Hive para Archive, Infrequent Access (IA) ou Cold Archive.

Sintaxe

jindotable -archiveTable -t <dbName.tableName> -i/-a/-ca [-c "<condition>" | -fullTable] [-b/-before <before days>] [-p/-parallel <parallelism>] [-mr/-mapReduce] [-e/-explain] [-w/-workingDir <working directory>] [-l/-logDir <log directory>]

Para visualizar todas as opções disponíveis, execute:

jindotable -help archiveTable

Parâmetros

Parâmetro	Obrigatório	Descrição
`-t <dbName.tableName>`	Sim	Tabela a arquivar, no formato `database.table`. Compatível com tabelas particionadas e não particionadas.
`-i` / `-a` / `-ca`	Sim	Classe de armazenamento de destino: `-a` para Archive, `-i` para Infrequent Access (IA) ou `-ca` para Cold Archive. Ao especificar `-i`, o sistema ignora arquivos que já estão na classe de armazenamento Archive.
`-c "<condition>"` / `-fullTable`	Não	Escopo da operação. Configure `-c "<condition>"` ou `-fullTable`. Use `-fullTable` para arquivar a tabela inteira ou `-c "<condition>"` para filtrar pela chave de partição. Há suporte para operadores de comparação comuns. Por exemplo, para arquivar partições em que a coluna `ds` (tipo String) seja maior que `d`, use `-c " ds > 'd' "`.
`-b` / `-before <before days>`	Não	Arquiva apenas tabelas ou partições criadas há pelo menos essa quantidade de dias.
`-p` / `-parallel <parallelism>`	Não	Número de operações de arquivamento paralelas.
`-mr` / `-mapReduce`	Não	Usa Hadoop MapReduce em vez de multithreading local.
`-e` / `-explain`	Não	Executa no modo de explicação: lista as partições que seriam arquivadas sem realizar alterações.
`-w` / `-workingDir <working directory>`	Não	Diretório de trabalho para um job do MapReduce. O sistema cria arquivos temporários durante o job e os exclui automaticamente após a conclusão. Aplica-se apenas ao uso de `-mr`.
`-l` / `-logDir <log directory>`	Não	Diretório para arquivos de log.

Desarquivar tabelas ou partições

O comando unarchiveTable oferece suporte a dois modos de restauração:

Alteração permanente da classe de armazenamento: Move os dados para uma classe de armazenamento diferente (Standard por padrão, ou IA ou Archive conforme especificado). Recomendado para acesso de longo prazo.
Restauração temporária: Use a opção -o para tornar os dados arquivados acessíveis temporariamente, sem alterar permanentemente sua classe de armazenamento. Os dados retornam ao estado original após o número de dias especificado por -d.

Sintaxe

jindotable -unarchiveTable -t <dbName.tableName> [-i/-a/-o/-cr] [-notWait] [-c "<condition>" | -fullTable] [-d/-restoreDays <restore days>] [-b/-before <before days>] [-p/-parallel <parallelism>] [-mr/-mapReduce] [-e/-explain] [-w/-workingDir <working directory>] [-l/-logDir <log directory>]

Para visualizar todas as opções disponíveis, execute:

jindotable -help unarchiveTable

Parâmetros

Parâmetro	Obrigatório	Descrição
`-t <dbName.tableName>`	Sim	Tabela a desarquivar, no formato `database.table`. Compatível com tabelas particionadas e não particionadas.
`-i` / `-a` / `-o` / `-cr`	Não	Controla a restauração dos dados. Se não especificado, a classe de armazenamento muda para Standard. Opções: `-i` altera para IA (ignora arquivos Standard); `-a` altera para Archive; `-o` restaura temporariamente dados arquivados sem alterar sua classe de armazenamento (ignora arquivos Standard, IA e já restaurados); `-cr` verifica se todos os jobs de restauração foram concluídos.
`-notWait`	Não	Sai imediatamente após enviar a solicitação de restauração para o OSS, sem aguardar a conclusão da operação. Por padrão, o comando aguarda até que a operação seja concluída ou atinja o tempo limite de 10 minutos.
`-c "<condition>"` / `-fullTable`	Não	Escopo da operação. Configure `-fullTable` ou `-c "<condition>"`. Use `-fullTable` para desarquivar a tabela inteira ou `-c "<condition>"` para filtrar pela chave de partição. Há suporte para operadores de comparação comuns.
`-d` / `-restoreDays <restore days>`	Não	Número de dias para manter o estado de restauração temporária ao usar `-o`. O padrão é 1 dia. Aplica-se ao armazenamento Archive e Cold Archive. Não tem efeito ao alterar a classe de armazenamento de IA para Standard.
`-b` / `-before <before days>`	Não	Desarquiva apenas tabelas ou partições criadas há pelo menos essa quantidade de dias.
`-p` / `-parallel <parallelism>`	Não	Número de operações de desarquivamento paralelas.
`-mr` / `-mapReduce`	Não	Usa Hadoop MapReduce em vez de multithreading local.
`-e` / `-explain`	Não	Executa no modo de explicação: lista as partições que seriam desarquivadas sem realizar alterações.
`-w` / `-workingDir <working directory>`	Não	Diretório de trabalho para um job do MapReduce. O sistema cria arquivos temporários durante o job e os exclui automaticamente após a conclusão. Aplica-se apenas ao uso de `-mr`.
`-l` / `-logDir <log directory>`	Não	Diretório para arquivos de log.

Notas sobre o comportamento

Regras de exclusão de classe de armazenamento: Ao usar -i com archiveTable, o sistema ignora arquivos que já estão na classe de armazenamento Archive. Ao usar -i com unarchiveTable, o sistema ignora arquivos que já estão na classe de armazenamento Standard.
Escopo da restauração temporária: A opção -o aplica-se apenas à restauração de dados do armazenamento Archive ou Cold Archive. Não tem efeito sobre dados Standard ou IA. O sistema também ignora arquivos restaurados anteriormente para evitar operações duplicadas.
Duração da restauração: O parâmetro -d define por quanto tempo os dados restaurados temporariamente (via -o) permanecem acessíveis. Após o período de retenção, os dados retornam à sua classe de armazenamento original. Isso se aplica ao armazenamento Archive e Cold Archive.
Comportamento padrão de espera: Por padrão, o unarchiveTable aguarda a conclusão da operação de restauração do OSS ou atinge o tempo limite de 10 minutos. Use -notWait para sair imediatamente após enviar o job e, em seguida, use -cr para verificar o status da restauração posteriormente.
Diretório de trabalho do MapReduce: Ao usar -mr, você pode deixar em branco o diretório de trabalho especificado por -w. O sistema exclui automaticamente os arquivos temporários criados durante o job.