Object Storage Service:Armazene dados frios de forma econômica com o armazenamento em camadas automático do serviço OSS-HDFS

Pré-requisitos

• Dados já foram gravados no serviço OSS-HDFS.

• Para usar o armazenamento em camadas automático nas classes Infrequent Access, Archive e Cold Archive, é necessário enviar um ticket. Para utilizar também a classe Deep Cold Archive, envie um ticket separado. Se esta for a primeira vez que você ativa esse recurso, solicite todas as classes de armazenamento em um único ticket.

• O armazenamento em camadas automático para as classes Infrequent Access, Archive e Cold Archive está disponível nas seguintes regiões: China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Zhangjiakou), China (Ulanqab), China (Hong Kong), Singapura, Alemanha (Frankfurt), EUA (Silicon Valley), EUA (Virginia) e Indonésia (Jakarta).

• O armazenamento em camadas automático para a classe Deep Cold Archive está disponível nas seguintes regiões: China (Hangzhou), China (Shanghai), China (Beijing), China (Ulanqab), China (Shenzhen), China (Zhangjiakou) e Singapura.

• JindoSDK 6.8.0 ou posterior instalado. Para mais informações, consulte Início rápido: Conectar um cluster não EMR ao serviço OSS-HDFS.

Observações de uso

• Se você utilizar uma versão do JindoSDK anterior à 6.8.0, não será possível criar arquivos em diretórios configurados para as classes Infrequent Access, Archive, Cold Archive ou Deep Cold Archive. Como alternativa, crie e feche o arquivo em um diretório da classe Standard e mova-o para o diretório de destino usando a operação rename.

  Para criar arquivos diretamente em diretórios configurados para as classes Infrequent Access, Archive, Cold Archive ou Deep Cold Archive, atualize o JindoSDK para a versão 6.8.0 ou posterior.

• A transição de dados para as classes Archive, Cold Archive ou Deep Cold Archive gera sobrecarga significativa no sistema e tempos de restauração lentos. Escolha essas classes de armazenamento com cuidado.

• As seguintes transições entre classes de armazenamento são suportadas:

  • De quente para frio:

    

  • De frio para quente:

    

Faturamento

• Taxas de recuperação de dados

  Taxas de recuperação de dados são cobradas quando você lê dados das classes Infrequent Access, Archive, Cold Archive ou Deep Cold Archive. Para evitar essas taxas, não utilize essas classes para dados acessados frequentemente. Para mais informações, consulte Taxas de processamento de dados.

• Taxas de tag de objeto

  Ao definir uma política de armazenamento para dados no serviço OSS-HDFS, tags de objeto são adicionadas aos blocos de dados. Essas tags são cobradas conforme as regras de faturamento de tags de objeto do OSS. Para mais informações, consulte Taxas de tag de objeto.

• Taxas por armazenamento abaixo da duração mínima

  A duração mínima de armazenamento é de 30 dias para a classe Infrequent Access, 60 dias para Archive, 180 dias para Cold Archive e 180 dias para Deep Cold Archive. Ao realizar a transição de dados com jindofs, garanta que os dados cumpram a duração mínima da nova classe de armazenamento para evitar cobranças extras. A tabela a seguir apresenta exemplos.

  Tipo de transição	Exemplo	Duração mínima de armazenamento	Custo de armazenamento	Como evitar taxas
  De quente para frio	Standard (armazenado por 10 dias) → Infrequent Access	A duração de armazenamento não é reiniciada; os dias na classe anterior contam para a duração mínima da nova classe.	Custos de 10 dias de armazenamento Standard	Mantenha os dados na classe Infrequent Access por pelo menos mais 20 dias.
  	Infrequent Access (armazenado por 10 dias) → Archive		Custos de 10 dias de armazenamento Infrequent Access	Mantenha os dados na classe Archive por pelo menos mais 50 dias.
  	Standard (armazenado por 10 dias) → Cold Archive	A duração de armazenamento é reiniciada. Os dias gastos na classe anterior não contam para a duração mínima da nova classe.	Custos de 10 dias de armazenamento Standard	Mantenha os dados na classe Cold Archive por 180 dias.
  	Standard (armazenado por 10 dias) → Deep Cold Archive		Custos de 10 dias de armazenamento Standard	Mantenha os dados na classe Deep Cold Archive por 180 dias.
  De frio para quente	Cold Archive (armazenado por 10 dias) → Infrequent Access		Custos de 10 dias de armazenamento Cold Archive	Mantenha os dados na classe Cold Archive por mais 170 dias antes de fazer a transição para Infrequent Access. Após a transição para Infrequent Access, mantenha os dados nessa classe por 30 dias.

Procedimento

1. Conecte-se a uma instância ECS. Para mais informações, consulte Conectar-se a uma instância ECS.

2. Baixe o JindoSDK.

3. Configure o par de chaves de acesso e as variáveis de ambiente.

   1. Acesse o diretório bin do pacote JindoSDK instalado.

      O comando abaixo usa jindofs-sdk-x.x.x-linux como exemplo. Substitua o nome do pacote pelo nome real do seu pacote JindoSDK.

      cd jindofs-sdk-x.x.x-linux/bin/

   2. No diretório bin, crie um arquivo jindofs.cfg com o seguinte conteúdo:

      [client]
      # Specify the AccessKey ID and AccessKey secret used to access the OSS-HDFS service.
      fs.oss.accessKeyId = yourAccessKeyId    
      fs.oss.accessKeySecret = yourAccessKeySecret
      # The following endpoint is for the China (Hangzhou) region. Replace it with the endpoint for your region.
      fs.oss.endpoint = cn-hangzhou.oss-dls.aliyuncs.com                                     

   3. Defina a variável de ambiente.

      Nota

      Substitua pelo caminho absoluto do arquivo de configuração jindofs.cfg.

      export JINDOSDK_CONF_DIR=<JINDOSDK_CONF_DIR>

4. Defina uma política de armazenamento para os dados gravados no serviço OSS-HDFS.

   Cenário	Comando	Resultado
   Define a política de armazenamento dos dados gravados no serviço OSS-HDFS como Infrequent Access.	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir1 -policy CLOUD_IA	O serviço aplica tags nos blocos de dados dos arquivos no diretório dir1/ com a chave transition-storage-class e valor IA.
   Define a política de armazenamento dos dados gravados no serviço OSS-HDFS como Archive.	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir2 -policy CLOUD_AR	O serviço aplica tags nos blocos de dados dos arquivos no diretório dir2/ com a chave transition-storage-class e valor Archive.
   Define a política de armazenamento dos dados gravados no serviço OSS-HDFS como Cold Archive.	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir3 -policy CLOUD_COLD_AR	O serviço aplica tags nos blocos de dados dos arquivos no diretório dir3/ com a chave transition-storage-class e valor ColdArchive.
   Define a política de armazenamento dos dados gravados no serviço OSS-HDFS como Deep Cold Archive.	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir4 -policy CLOUD_DEEP_COLD_AR	O serviço aplica tags nos blocos de dados dos arquivos no diretório dir4/ com a chave transition-storage-class e valor DeepColdArchive.

5. Ative o armazenamento em camadas automático.

   1. Faça login no console do OSS.

   2. No painel de navegação à esquerda, clique em Buckets. Na página Buckets, clique no nome do bucket desejado.

   3. No painel de navegação à esquerda, escolha Data Lake > OSS-HDFS.

   4. Na aba OSS-HDFS, localize o armazenamento em camadas automático e clique em Settings.

   5. No painel Automatic Storage Tiering, vá até a seção Basic Settings e ative a opção Status.

      O armazenamento em camadas automático é implementado por uma regra de ciclo de vida específica, pré-configurada e não modificável. As classes de armazenamento para camadas automáticas incluem Infrequent Access, Archive, Cold Archive e Deep Cold Archive.

      Para evitar que configurações incorretas causem falhas no armazenamento em camadas automático, o OSS cria automaticamente uma regra de ciclo de vida que inclui as quatro políticas seguintes:

      • Transiciona dados no diretório de dados do OSS-HDFS .dlsdata/ marcados com a chave transition-storage-class e valor IA para a classe Infrequent Access após um dia.

      • Transiciona dados no diretório de dados do OSS-HDFS .dlsdata/ marcados com a chave transition-storage-class e valor Archive para a classe Archive após um dia.

      • Transiciona dados no diretório de dados do OSS-HDFS .dlsdata/ marcados com a chave transition-storage-class e valor ColdArchive para a classe Cold Archive após um dia.

      • Transiciona dados no diretório de dados do OSS-HDFS .dlsdata/ marcados com a chave transition-storage-class e valor DeepColdArchive para a classe Deep Cold Archive após um dia.

      Importante

      Após ativar o armazenamento em camadas automático, uma regra de ciclo de vida é criada automaticamente. Essa regra contém políticas para transicionar objetos para as classes Infrequent Access, Archive, Cold Archive e Deep Cold Archive. Não edite essa regra. Caso contrário, os dados no serviço OSS-HDFS ou o próprio serviço podem ficar indisponíveis.

   6. Clique em OK.

      • O serviço OSS-HDFS aplica a política de transição correspondente da regra de ciclo de vida com base na política de armazenamento definida.

      • O OSS carrega uma nova regra de ciclo de vida dentro de 24 horas. Após o carregamento, a regra é executada diariamente às 08:00 (UTC+8). A transição pode ser concluída em apenas 48 horas, embora o tempo exato de execução dependa da quantidade de arquivos.

Comandos relacionados

./jindofs fs -setStoragePolicy -path <path> -policy <policy>

./jindofs fs -getStoragePolicy -path <path>

./jindofs fs -unsetStoragePolicy -path <path>

./jindofs fs -checkStoragePolicy -path <path>

./jindofs fs -setStoragePolicy -path <path> -policy <policy> -restoreDays <restoreDays>

Perguntas frequentes

• O que devo fazer se excluir acidentalmente a regra de ciclo de vida para o armazenamento em camadas automático do serviço OSS-HDFS?

• Posso transicionar arquivos das classes Archive ou Cold Archive para Standard ou Infrequent Access no serviço OSS-HDFS?

Tópicos relacionados

• Visão geral das classes de armazenamento

• Taxas de armazenamento