Object Storage Service:Use tiered storage to store cold data at a low cost with OSS-HDFS

Pré-requisitos

• Dados gravados no OSS-HDFS.

• Para usar o armazenamento em camadas (incluindo as classes Infrequent Access, Archive e Cold Archive), envie um ticket para solicitar a ativação. Caso deseje usar também a classe Deep Cold Archive, abra um ticket separado. Se você nunca ativou o armazenamento em camadas, envie um único ticket solicitando todas as classes, incluindo a Deep Cold Archive.

• A conversão para as classes Infrequent Access, Archive e Cold Archive está disponível nas seguintes regiões: China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Zhangjiakou), China (Ulanqab), China (Hong Kong), Singapore, Germany (Frankfurt), US (Silicon Valley), US (Virginia) e Indonesia (Jakarta).

• A conversão para a classe Deep Cold Archive é suportada nestas regiões: China (Hangzhou), China (Shanghai), China (Beijing), China (Ulanqab), China (Shenzhen), China (Zhangjiakou) e Singapore.

• JindoSDK 6.8.0 ou posterior instalado. Para mais informações, consulte Quick start: Connect a non-EMR cluster to the OSS-HDFS service.

Observações de uso

• Se sua versão do JindoSDK for anterior à 6.8.0, não será possível criar arquivos diretamente em diretórios configurados com as classes Infrequent Access, Archive, Cold Archive ou Deep Cold Archive. Para colocar arquivos nessas classes, crie e feche o arquivo primeiro em um diretório da classe Standard e, em seguida, use a operação rename para movê-lo ao destino desejado.

  Para criar arquivos diretamente em diretórios das classes Infrequent Access, Archive, Cold Archive ou Deep Cold Archive, atualize o JindoSDK para a versão 6.8.0 ou superior.

• A conversão de dados para as classes Archive, Cold Archive ou Deep Cold Archive gera sobrecarga significativa no sistema e a recuperação dos dados é lenta. Escolha essas classes com cautela.

• O armazenamento em camadas permite as seguintes conversões entre classes:

  • Conversão de quente para frio

    

  • Conversão de frio para quente

    

Faturamento

• Taxas de recuperação de dados

  A leitura de dados do OSS-HDFS nas classes Infrequent Access, Archive, Cold Archive ou Deep Cold Archive gera taxas de recuperação calculadas com base no volume de dados recuperados. Por isso, evite usar essas quatro classes para dados que exigem acesso frequente. Para mais informações, consulte Data processing fees.

• Taxas de tagging

  Configurar uma política de armazenamento para dados do OSS-HDFS envolve adicionar tags aos blocos de dados. As taxas de tagging de blocos seguem as regras de faturamento de tagging de objetos do OSS. Para mais detalhes, consulte Object tagging fees.

• Taxas de armazenamento para dados retidos por menos tempo que a duração mínima

  A duração mínima de armazenamento é de 30 dias para a classe Infrequent Access, 60 dias para Archive, 180 dias para Cold Archive e 180 dias para Deep Cold Archive. Ao converter a classe de armazenamento via JindoFS, garanta que a duração mínima de cada classe seja respeitada para evitar cobranças adicionais. Os exemplos abaixo detalham esse funcionamento:

  Método de conversão	Exemplo	Cálculo da duração mínima de armazenamento	Taxas de capacidade já incorridas	Como evitar taxas por armazenamento inferior à duração mínima
  De quente para frio	Standard (armazenado por 10 dias) --> convertido para Infrequent Access	A duração de armazenamento não é recalculada após a conversão. Os dias acumulados antes da conversão contam para a duração mínima da nova classe.	Taxas de capacidade referentes a 10 dias de armazenamento Standard	Mantenha os dados na classe Infrequent Access por mais 20 dias
  	Infrequent Access (armazenado por 10 dias) --> convertido para Archive		Taxas de capacidade referentes a 10 dias de armazenamento Infrequent Access	Mantenha os dados na classe Archive por mais 50 dias
  	Standard (armazenado por 10 dias) --> convertido para Cold Archive	A duração de armazenamento é recalculada após a conversão. Os dias acumulados anteriormente não contam para a duração mínima da nova classe.	Taxas de capacidade referentes a 10 dias de armazenamento Standard	Mantenha os dados na classe Cold Archive por mais 180 dias
  	Standard (armazenado por 10 dias) --> convertido para Deep Cold Archive		Taxas de capacidade referentes a 10 dias de armazenamento Standard	Mantenha os dados na classe Deep Cold Archive por mais 180 dias
  De frio para quente	Cold Archive (armazenado por 10 dias) --> convertido para Infrequent Access		Taxas de capacidade referentes a 10 dias de armazenamento Cold Archive	Mantenha os dados na classe Cold Archive por mais 170 dias e só então converta para Infrequent Access Após a conversão para Infrequent Access, mantenha os dados armazenados por mais 30 dias

Procedimento

1. Conecte-se à instância ECS. Para mais informações, consulte Connect to an instance.

2. Baixe o JindoFS SDK.

3. Configure a chave de acesso e as variáveis de ambiente.

   1. Acesse o diretório bin dentro do pacote JAR do JindoFS instalado.

      O exemplo abaixo usa jindofs-sdk-x.x.x-linux. Caso utilize outra versão do JindoSDK, substitua o nome do pacote JAR adequadamente.

      cd jindofs-sdk-x.x.x-linux/bin/

   2. Crie um arquivo de configuração chamado jindofs.cfg no diretório bin e adicione os seguintes itens de configuração.

      [client]
      <!-- Configure the AccessKey ID and AccessKey secret used to access OSS-HDFS. -->
      fs.oss.accessKeyId = yourAccessKeyId    
      fs.oss.accessKeySecret = yourAccessKeySecret
      <!-- The following example uses the China (Hangzhou) region. Replace it with the actual region. -->
      fs.oss.endpoint = cn-hangzhou.oss-dls.aliyuncs.com                                     

   3. Defina a variável de ambiente.

      Nota

      Em <JINDOSDK_CONF_DIR>, insira o caminho absoluto do diretório onde está localizado o arquivo de configuração jindofs.cfg.

      export JINDOSDK_CONF_DIR=<JINDOSDK_CONF_DIR>

4. Configure uma política de armazenamento para os dados gravados no OSS-HDFS.

   Cenário	Comando	Resultado
   Definir a política de armazenamento dos dados gravados no OSS-HDFS como Infrequent Access	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir1 -policy CLOUD_IA	Os blocos de dados dos arquivos no diretório dir1/ recebem a tag com a chave transition-storage-class e o valor IA.
   Definir a política de armazenamento dos dados gravados no OSS-HDFS como Archive	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir2 -policy CLOUD_AR	Os blocos de dados dos arquivos no diretório dir2/ recebem a tag com a chave transition-storage-class e o valor Archive.
   Definir a política de armazenamento dos dados gravados no OSS-HDFS como Cold Archive	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir3 -policy CLOUD_COLD_AR	Os blocos de dados dos arquivos no diretório dir3/ recebem a tag com a chave transition-storage-class e o valor ColdArchive.
   Definir a política de armazenamento dos dados gravados no OSS-HDFS como Deep Cold Archive	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir4 -policy CLOUD_DEEP_COLD_AR	Os blocos de dados dos arquivos no diretório dir4/ recebem a tag com a chave transition-storage-class e o valor DeepColdArchive.

5. Ative o armazenamento em camadas.

   1. Faça login no OSS console.

   2. No painel de navegação à esquerda, clique em Buckets e selecione o bucket desejado.

   3. No painel de navegação à esquerda, escolha Data Lake > OSS-HDFS.

   4. Na aba OSS-HDFS, clique em Settings referente ao armazenamento em camadas.

   5. Na seção Basic Settings do painel Automatic Storage Tiering, ative o switch de status.

      Uma mensagem aparece no topo da página: O armazenamento em camadas é implementado pela criação de uma regra de ciclo de vida específica. Essa regra é pré-configurada e não pode ser modificada. As classes de armazenamento em camadas incluem Infrequent Access, Archive, Cold Archive e Deep Cold Archive.

      Para evitar mau funcionamento do armazenamento em camadas devido a erros de configuração, o OSS cria automaticamente uma regra de ciclo de vida contendo as quatro políticas abaixo:

      • Dados no diretório de armazenamento do OSS-HDFS .dlsdata/ marcados com a chave transition-storage-class e valor IA são convertidos para a classe Infrequent Access após 1 dia.

      • Dados no diretório de armazenamento do OSS-HDFS .dlsdata/ marcados com a chave transition-storage-class e valor Archive são convertidos para a classe Archive após 1 dia.

      • Dados no diretório de armazenamento do OSS-HDFS .dlsdata/ marcados com a chave transition-storage-class e valor ColdArchive são convertidos para a classe Cold Archive após 1 dia.

      • Dados no diretório de armazenamento do OSS-HDFS .dlsdata/ marcados com a chave transition-storage-class e valor DeepColdArchive são convertidos para a classe Deep Cold Archive após 1 dia.

      Importante

      Após ativar o armazenamento em camadas, uma regra de ciclo de vida é criada automaticamente. Ela contém quatro políticas que convertem dados para as classes Infrequent Access, Archive, Cold Archive e Deep Cold Archive. Não edite essa regra, pois isso pode causar anomalias nos dados e serviços do OSS-HDFS.

   6. Clique em OK.

      • O OSS-HDFS aplica a política de conversão correspondente na regra de ciclo de vida com base na política de armazenamento configurada.

      • O OSS carrega a regra em até 24 horas após sua criação. Depois disso, a execução ocorre diariamente a partir das 08:00 (UTC+8). O horário exato varia conforme a quantidade de arquivos, e a conversão para a classe especificada leva no mínimo 48 horas.

Comandos relacionados

./jindofs fs -setStoragePolicy -path <path> -policy <policy>

./jindofs fs -getStoragePolicy -path <path>

./jindofs fs -unsetStoragePolicy -path <path>

./jindofs fs -checkStoragePolicy -path <path>

./jindofs fs -setStoragePolicy -path <path> -policy <policy> -restoreDays <restoreDays>

Perguntas frequentes

• What should I do if I accidentally delete the lifecycle rule for OSS-HDFS tiered storage?

• Does OSS-HDFS support converting Archive or Cold Archive objects to the Standard or Infrequent Access storage class?

Referências

• Overview of storage classes

• Storage fees