E-MapReduce:Usar o JindoFS no modo cache

Como funciona

O modo cache do JindoFS usa o OSS como backend de armazenamento. Quando um job lê dados, o JindoFS verifica se os dados já estão em cache nos discos locais do cluster. Se estiverem, os dados são servidos a partir do disco local (mais rápido). Se não, o JindoFS os busca no OSS e, opcionalmente, os armazena em cache para leituras futuras.

Quando o uso do disco local excede o nível máximo configurado, o JindoFS exclui automaticamente os dados frios dos discos locais.

Pré-requisitos

Antes de começar, verifique se você tem:

• Um cluster EMR com o serviço SmartData ativado

• Acesso ao console EMR da Alibaba Cloud

Escolha um método de acesso

O modo cache suporta duas formas de acessar arquivos no OSS:

Use o OSS Scheme, a menos que você tenha um motivo específico para usar o JFS Scheme. Os jobs existentes que leem e gravam dados no OSS continuam funcionando sem alterações de configuração.

Configurar o JFS Scheme (opcional)

Ignore esta seção se estiver usando o OSS Scheme.

1. Abra o serviço SmartData no console EMR.

   1. Faça login no console EMR da Alibaba Cloud.

   2. Na barra de navegação superior, selecione a região onde o cluster reside. Selecione um grupo de recursos, se necessário.

   3. Clique na aba Cluster Management.

   4. Localize o cluster e clique em Details na coluna Actions.

   5. No painel de navegação à esquerda, clique em Cluster Service > SmartData.

2. Acesse a configuração do namespace.

   1. Clique na aba Configure.

   2. Na seção Service Configuration, clique na aba namespace.

3. Configure os parâmetros do namespace. Defina jfs.namespaces com o nome do namespace. Este exemplo usa test. Para configurar múltiplos namespaces, separe-os com vírgulas (,). Clique em Custom Configuration. Na caixa de diálogo Add Configuration Item, configure os parâmetros a seguir e clique em OK.

   Parâmetro	Descrição	Exemplo
   jfs.namespaces.test.oss.uri	O backend OSS do namespace test. Defina como um diretório OSS específico ou a raiz de um bucket OSS.	oss://<oss_bucket>/<oss_dir>/
   jfs.namespaces.test.mode	O modo de armazenamento. Defina como cache para o modo cache.	cache

4. No canto superior direito da seção Service Configuration, clique em Save.

5. Na lista suspensa Actions, selecione Restart Jindo Namespace Service.

Após o Namespace Service reiniciar, acesse os arquivos usando jfs://test/<path_of_file>.

Ativar o cache local (opcional)

Por padrão, o cache local está desativado e o EMR lê os dados diretamente do OSS. Ative o cache local para armazenar dados quentes nos discos locais do cluster, o que reduz significativamente a latência para leituras repetidas.

1. No painel de navegação à esquerda, clique em Cluster Service > SmartData. Na página SMARTDATA, clique na aba Configure. Na seção Service Configuration, clique na aba client.

2. Defina jfs.cache.data-cache.enable como 1.

A alteração entra em vigor imediatamente no cliente — não é necessário reiniciar o serviço SmartData.

Após ativar o cache local, o Jindo gerencia automaticamente os dados em cache com base nos níveis máximo e mínimo configurados em Controlar o uso do espaço em disco.

Controlar o uso do espaço em disco

O JindoFS exclui automaticamente os dados frios dos discos locais quando o uso do disco atinge o nível máximo, e para de excluir quando o uso cai para o nível mínimo. Ambos os parâmetros aceitam valores decimais entre 0 e 1.

Ajuste esses níveis com base na carga de trabalho:

• Aumente o nível máximo se o conjunto de dados de trabalho for grande e você quiser armazenar mais dados em cache para maximizar as taxas de acerto.

• Diminua o nível máximo se precisar reservar mais espaço em disco local para tarefas de computação.

O nível máximo deve ser maior que o nível mínimo.

1. Na seção Service Configuration para o serviço SmartData, clique na aba storage e configure os parâmetros a seguir.

   Parâmetro	Descrição	Padrão
   storage.watermark.high.ratio	Limite superior de uso do disco. Quando os dados do JindoFS excederem essa proporção, os dados frios serão automaticamente excluídos dos discos locais.	0.4
   storage.watermark.low.ratio	Alvo inferior de uso do disco. Após o início da exclusão, o JindoFS remove os dados frios até que o uso do disco caia para essa proporção.	0.2

   

2. Salve a configuração.

   1. No canto superior direito da seção Service Configuration, clique em Save.

   2. Na caixa de diálogo Confirm Changes, preencha o campo Description e ative o Auto-update Configuration.

   3. Clique em OK.

3. Reinicie o Jindo Storage Service para aplicar as alterações.

   1. Na lista suspensa Actions, selecione Restart Jindo Storage Service.

   2. Na caixa de diálogo Cluster Activities, configure os parâmetros e clique em OK.

   3. Na mensagem de confirmação, clique em OK.

Acessar um bucket OSS em uma conta ou região diferente

Se o bucket OSS e o cluster EMR estiverem na mesma conta da Alibaba Cloud e na mesma região, nenhuma configuração adicional de credenciais é necessária.

Se o bucket estiver em uma conta ou região diferente, configure o par de AccessKey e o endpoint com base no método de acesso.

Configuração avançada

Esses parâmetros ajustam a taxa de transferência de upload e o comportamento do cache. Todas as alterações entram em vigor imediatamente no cliente — não é necessário reiniciar o serviço SmartData.