E-MapReduce:Modo de armazenamento em bloco do JindoFS

Informações básicas

O modo de armazenamento em bloco do JindoFS apresenta os seguintes recursos:

• Capacidade de armazenamento elástica ilimitada: o OSS atua como backend de armazenamento. O armazenamento não se limita ao cluster local, permitindo dimensionar o cluster livremente para dentro ou para fora.

• Aceleração de leitura local: o JindoFS utiliza os recursos de armazenamento do cluster local para acelerar a leitura de dados. Este modo é ideal para clusters com capacidade de armazenamento local e melhora o throughput de leitura mesmo com armazenamento limitado. É particularmente eficaz para cargas de trabalho WORM (Write Once Read Many).

• Operações de metadados de alto desempenho: a eficiência das operações de metadados é comparável à do HDFS. Isso evita a latência das operações de metadados do sistema de arquivos OSS e a instabilidade causada pelo acesso frequente.

• Localidade de dados: a localidade dos dados é maximizada durante a execução de jobs, reduzindo o tráfego de rede e melhorando ainda mais o desempenho de leitura.

Configuração

1. Acesse o service SmartData.

   1. Faça login no console EMR.

   2. Na barra de navegação superior, selecione uma região e um grupo de recursos conforme necessário.

   3. Clique na aba Clusters.

   4. Na página Clusters, localize seu cluster e clique em Details na coluna Actions.

   5. No painel de navegação à esquerda, escolha Services > SmartData.

2. Acesse a página de configuração do service bigboot.

   1. Clique na aba Configure.

   2. Clique em bigboot .

3. Configure os seguintes parâmetros.

   O JindoFS suporta múltiplos namespaces. Este tópico usa

   test

   como exemplo de namespace.

   1. Defina jfs.namespaces como test.

      test

      é um nome de namespace de exemplo. Para configurar vários namespaces, separe os nomes por vírgulas (,).

   2. Clique em Custom Configuration. Na caixa de diálogo Add Configuration Item, adicione os seguintes parâmetros e clique em OK.

      Parâmetro	Descrição	Exemplo
      jfs.namespaces.test.oss.uri	O backend de armazenamento OSS para o namespace test.	oss://<oss_bucket>/<oss_dir>/ Nota Recomendamos especificar um diretório dentro de um bucket OSS. O JindoFS armazena os blocos de dados do namespace neste diretório.
      jfs.namespaces.test.mode	O modo de armazenamento para o namespace test.	block
      jfs.namespaces.test.oss.access.key	O AccessKey ID para o backend de armazenamento OSS.	xxxx Nota Para obter desempenho e estabilidade ideais, recomendamos usar um bucket OSS na mesma conta e região do seu cluster E-MapReduce. Nesse caso, o cluster E-MapReduce acessa o OSS sem credenciais, eliminando a necessidade de configurar o AccessKey ID e o AccessKey Secret.
      jfs.namespaces.test.oss.access.secret	O AccessKey Secret para o backend de armazenamento OSS.

   3. Clique em OK.

4. No canto superior direito, clique em Save.

5. No canto superior direito, escolha Actions > Restart Jindo Namespace Service.

   Após a reinicialização do service, acesse os arquivos no JindoFS usando o caminho

   jfs://test/<path_of_file>

   .

Controle de limite de espaço em disco

O JindoFS utiliza o OSS como backend de armazenamento, oferecendo vasta capacidade. No entanto, o espaço em disco local no cluster é finito. Para gerenciar esse espaço, o JindoFS remove automaticamente dados frios do cache local. Controle esse comportamento de remoção com os parâmetros storage.watermark.high.ratio e storage.watermark.low.ratio. Esses parâmetros aceitam valores decimais entre 0 e 1 que representam a proporção do espaço em disco utilizado.

1. Configure os limites de disco.

   Na seção

   Service Configuration

   , clique na aba

   storage

   e modifique os seguintes parâmetros.

   Parâmetro	Descrição
   storage.watermark.high.ratio	Limite superior de uso de disco. Quando o espaço em disco usado pelo diretório de dados do JindoFS em um disco de dados atinge essa proporção, o JindoFS inicia um processo de limpeza. Valor padrão: 0,4.
   storage.watermark.low.ratio	Limite inferior de uso de disco. Após o início do processo de limpeza, o JindoFS exclui dados frios até que o espaço em disco usado pelo diretório de dados do JindoFS caia para esta proporção. Valor padrão: 0,2.

   Nota

   Defina o limite superior para controlar a quantidade de espaço em disco alocada ao JindoFS. O limite inferior deve ser menor que o limite superior. Configure valores adequados para sua carga de trabalho.

2. Salve a configuração.

   1. No canto superior direito, clique em Save.

   2. Na caixa de diálogo Confirm, insira um motivo para a alteração e ative a opção Auto-update Configuration.

   3. Clique em OK.

3. Reinicie o Jindo Storage Service para aplicar as alterações.

   1. No canto superior direito, escolha Actions > Restart Jindo Storage Service.

   2. Na caixa de diálogo Cluster Activities, defina os parâmetros necessários e clique em OK.

   3. Na caixa de diálogo Confirm, clique em OK.