Como usar o recurso de coleta de frequência de acesso do JindoTable para distinguir entre dados frios e quentes - E-MapReduce: Central de Documentação do Alibaba Cloud

A coleta da frequência de acesso a tabelas ou partições do JindoTable ajuda você a distinguir entre dados frios e quentes, reduzir custos de armazenamento e melhorar a eficiência do cache.

Pré-requisitos

É necessário ter um cluster do Alibaba Cloud E-MapReduce. Para mais informações, consulte Crie um cluster.

Contexto

O JindoTable oferece suporte à coleta de registros de acesso para tabelas Hive. Os dados coletados são armazenados no namespace do service SmartData.

O SmartData 3.2.x e versões posteriores oferecem suporte à coleta de frequência de acesso para os engines Spark, Hive e Presto. Esse recurso está ativado por padrão para Spark e Presto. Para desativá-lo, consulte Desative a coleta de frequência de acesso. Para Hive, o recurso vem desativado por padrão. Para ativá-lo, consulte Ative a coleta de frequência de acesso para Hive.

Consultar dados

Use um comando do JindoTable para consultar a frequência de acesso.

Sintaxe
```
jindo table -accessStat <-d [days]> <-n [topNums]>
```
Os valores para days e topNums devem ser números inteiros positivos. Se você definir days como 1, o comando consultará todos os registros de acesso desde as 00:00 (hora local) do dia atual até o momento presente.
Função

Consulta as N tabelas ou partições mais acessadas em um intervalo de tempo especificado.
Exemplo: Consultar as 20 tabelas ou partições mais acessadas nos últimos sete dias.
```
jindo table -accessStat -d 7 -n 20
```

Para mais informações sobre o JindoTable, consulte JindoTable User Guide.

Ativar a coleta de frequência de acesso para Hive

Faça login no console do Alibaba Cloud E-MapReduce.
Na barra de navegação superior, selecione sua região e grupo de recursos.
Clique na aba Clusters.
Na página Clusters, localize seu cluster e clique em Details na coluna Actions.
Modifique a configuração do service Hive.
1. No painel de navegação à esquerda, escolha Services > Hive.
2. Na página do service Hive, clique na aba Configure.
3. Pesquise o parâmetro hive.exec.post.hooks e anexe com.aliyun.emr.table.hive.HivePostHook ao seu valor.
Salve a configuração.
1. No canto superior direito, clique em Save.
2. Na caixa de diálogo Confirm, insira um Execution Reason e ative a opção auto-update configuration.
3. Clique em OK.
Reinicie o service.
1. Na página do service Hive, escolha Actions > Restart HiveServer2 no canto superior direito.
2. Na caixa de diálogo Execute Cluster Operation, insira um Execution Reason.
3. Clique em OK.
4. Na caixa de diálogo Confirm, clique em OK.

Desativar a coleta de frequência de acesso

Faça login no console do Alibaba Cloud E-MapReduce.
Na barra de navegação superior, selecione sua região e grupo de recursos.
Clique na aba Clusters.
Na página Clusters, localize seu cluster e clique em Details na coluna Actions.
Modifique os valores dos parâmetros.
- Service Hive:
  1. No painel de navegação à esquerda, escolha Services > Hive.
  2. Na página do service Hive, clique na aba Configure.
  3. Pesquise o parâmetro hive.exec.post.hooks e remova com.aliyun.emr.table.hive.HivePostHook do seu valor. Para localizar esse parâmetro, insira hive.exec.post.hooks na caixa Configuration Search. O parâmetro encontra-se na seção hive-site.
- Service Spark:
  1. No painel de navegação à esquerda, escolha Services > Spark.
  2. Na página do service Spark, clique na aba Configure.
  3. Pesquise o parâmetro spark.sql.queryExecutionListeners e remova com.aliyun.emr.table.spark.SparkSQLQueryListener do seu valor. Para encontrar esse parâmetro, insira spark.sql.queryExecutionListeners na caixa Configuration Search. O parâmetro está na seção spark-defaults e seu valor atual é com.aliyun.emr.table.spark.SparkSQLQueryListener.
- Service Presto:
  1. No painel de navegação à esquerda, escolha Services > Presto.
  2. Na página do service Presto, clique na aba Configure.
  3. Pesquise o parâmetro event-listener.name e limpe seu valor.
Salve a configuração.
1. No canto superior direito, clique em Save.
2. Na caixa de diálogo Confirm, insira um Execution Reason e ative a opção auto-update configuration.
3. Clique em OK.
Reinicie os services.
- Service Hive:
  1. Na página do service Hive, escolha Actions > Restart HiveServer2 no canto superior direito.
  2. Na caixa de diálogo Execute Cluster Operation, insira um Execution Reason.
  3. Clique em OK.
  4. Na caixa de diálogo Confirm, clique em OK.
- Service Spark:
  1. Na página do service Spark, escolha Actions > Restart ThriftServer no canto superior direito.
  2. Na caixa de diálogo Execute Cluster Operation, insira um Execution Reason.
  3. Clique em OK.
  4. Na caixa de diálogo Confirm, clique em OK.
- Service Presto:
  1. Na página do service Presto, escolha Actions > Restart All Components no canto superior direito.
  2. Na caixa de diálogo Execute Cluster Operation, insira um Execution Reason.
  3. Clique em OK.
  4. Na caixa de diálogo Confirm, clique em OK.