E-MapReduce:Modo de cache do JindoFS

Informações básicas

O modo de cache preserva a semântica original dos objetos OSS. Assim, é possível usar o JindoFS sem migrar ou converter dados existentes. O cache local do cluster melhora o desempenho do acesso aos dados e reduz o consumo de largura de banda nas operações de leitura e escrita no OSS.

Configuração

Esquema OSS (recomendado)

O esquema OSS utiliza o formato de caminho padrão oss://<bucket_name>/<path_of_your_file>. Ele funciona imediatamente após a criação do cluster E-MapReduce, sem necessidade de configuração adicional. Jobs existentes que leem ou escrevem no OSS são executados sem modificações.

Esquema JFS

1. Acesse o service SmartData.

   1. Faça login no EMR console.

   2. Na barra de navegação superior, selecione uma região e um grupo de recursos conforme necessário.

   3. Clique na aba Clusters.

   4. Na página Clusters, localize o cluster e clique em Details na coluna Actions.

   5. No painel de navegação à esquerda, escolha Services > SmartData.

2. Acesse a página de configuração do service bigboot.

   1. Clique na aba Configure.

   2. Clique em bigboot .

3. Configure os seguintes parâmetros.

   O JindoFS oferece suporte a múltiplos namespaces. Este tópico usa

   test

   como exemplo de namespace.

   1. Defina jfs.namespaces como test.

      test

      é um nome de namespace de exemplo. Para configurar múltiplos namespaces, separe os nomes por vírgulas (,).

   2. Clique em Custom Configuration. Na caixa de diálogo Add Configuration Item, adicione os seguintes parâmetros.

      Parameter	Description	Example
      jfs.namespaces.test.oss.uri	O backend de armazenamento do namespace test.	oss://<oss_bucket>/<oss_dir>/ Nota Defina este parâmetro como um diretório específico em um bucket OSS ou como o diretório raiz.
      jfs.namespaces.test.mode	Define que o namespace test utiliza o modo de cache.	cache

4. No canto superior direito, clique em Save.

5. No canto superior direito, escolha Actions > > Restart Jindo Namespace Service.

   Após a reinicialização, acesse os arquivos pelo formato de caminho

   jfs://test/<path_to_your_file>

   . Os arquivos nesse namespace são organizados com base no diretório raiz especificado em

   jfs.namespaces.test.oss.uri

   . Por exemplo,

   jfs://test/hello.txt

   corresponde ao objeto OSS real em

   oss://<oss_bucket>/<oss_dir>/hello.txt

   .

Ativar cache

O JindoFS pode usar discos locais para armazenar em cache blocos de dados acessados frequentemente. O cache vem desativado por padrão, e todas as operações de leitura acessam o OSS diretamente.

1. Na aba Configure do service Services > SmartData, clique na aba client.

2. Defina o parâmetro jfs.cache.data-cache.enable como 1 para ativar o cache.

   Esta é uma configuração do lado do cliente e não exige a reinicialização do service SmartData.

Depois de ativar o cache, o service Jindo gerencia automaticamente o cache local e remove dados com base na marca d'água configurada. Configure a proporção de armazenamento conforme suas necessidades. Para mais informações, consulte Control disk space by using watermarks.

Controle de marca d'água de espaço em disco

O JindoFS utiliza o OSS como backend de armazenamento, o que fornece vasta capacidade de armazenamento. No entanto, o espaço em disco local no cluster é finito. Para gerenciar esse espaço, o JindoFS remove automaticamente dados frios do cache local. É possível controlar esse comportamento de remoção com os parâmetros storage.watermark.high.ratio e storage.watermark.low.ratio. Esses parâmetros aceitam valores decimais entre 0 e 1 que representam a proporção de espaço em disco utilizado.

1. Configure as marcas d'água do disco.

   Na seção

   Service Configuration

   , clique na aba

   storage

   e modifique os seguintes parâmetros.

   Parameter	Description
   storage.watermark.high.ratio	Marca d'água alta para uso de disco. Quando o espaço em disco usado pelo diretório de dados do JindoFS em um disco de dados atinge essa proporção, o JindoFS aciona um processo de limpeza. Valor padrão: 0,4.
   storage.watermark.low.ratio	Marca d'água baixa para uso de disco. Após o acionamento do processo de limpeza, o JindoFS exclui dados frios até que o espaço em disco usado pelo diretório de dados do JindoFS caia para essa proporção. Valor padrão: 0,2.

   Nota

   Defina a marca d'água alta para controlar a quantidade de espaço em disco alocada ao JindoFS. A marca d'água baixa deve ser menor que a marca d'água alta. Defina valores adequados para sua carga de trabalho.

2. Salve a configuração.

   1. No canto superior direito, clique em Save.

   2. Na caixa de diálogo Confirm, insira um motivo para a alteração e ative Auto-update Configuration.

   3. Clique em OK.

3. Reinicie o Jindo Storage Service para aplicar as alterações.

   1. No canto superior direito, escolha Actions > Restart Jindo Storage Service.

   2. Na caixa de diálogo Cluster Activities, defina os parâmetros necessários e clique em OK.

   3. Na caixa de diálogo Confirm, clique em OK.

Acessar buckets OSS

Configurações avançadas

Essas configurações do lado do cliente entram em vigor sem a necessidade de reiniciar o service SmartData.

• Na seção Service Configuration, na aba client, configure os seguintes parâmetros.

  Parameter	Description
  client.oss.upload.threads	Número de threads de upload OSS para cada fluxo de escrita de arquivo. Padrão: 4.
  client.oss.upload.max.parallelism	Número máximo de uploads OSS simultâneos por processo. Limita o consumo de largura de banda e memória das threads de upload. Padrão: 16.

• Na seção Service Configuration, na aba smartdata-site, configure os seguintes parâmetros.

  Parameter	Description
  fs.jfs.cache.copy.simple.max.byte	Tamanho máximo de arquivo para cópia padrão durante uma renomeação. Arquivos abaixo desse limiar usam a interface de cópia padrão; arquivos maiores usam a interface de cópia multipart para melhor eficiência. Nota Se o recurso de cópia rápida do OSS estiver ativado, defina este parâmetro como -1 para usar a interface de cópia padrão para todos os tamanhos de arquivo e aproveitar a cópia rápida para obter desempenho ideal de renomeação.
  fs.jfs.cache.write.buffer.size	Tamanho do buffer para fluxos de escrita de arquivo. Deve ser uma potência de dois, até 8 MB. Reduza este valor se fluxos de escrita simultâneos causarem alto uso de memória. Padrão: 1048576.
  fs.oss.committer.magic.enabled	Ativa o Jindo Job Committer, que melhora o desempenho ao evitar operações de renomeação durante a fase de commit do job. Padrão: true. Nota Sistemas de armazenamento de objetos como o OSS têm baixo desempenho durante operações de renomeação. O Jindo Job Committer resolve isso no modo de cache.