Visualize logs from open-source components - E-MapReduce: Central de Documentação do Alibaba Cloud

Pré-requisitos

Crie um cluster no console do EMR. Para mais informações, consulte Create a cluster.
Ative o Simple Log Service (SLS).

Limitações

Este tópico aplica-se apenas a clusters nos seguintes cenários: DataLake, DataFlow, Online Analytical Processing (OLAP), DataServing e DataLake (Hadoop).
O envio de logs é compatível com os seguintes services: hdfs, yarn, yarn_application, hive, spark, jindodata, tez, flink, hbase, zookeeper, kafka, presto, kudu, impala, flume, starrocks, clickhouse, kyuubi, rss e host.

Notas de uso

O Simple Log Service (SLS) cobra separadamente por itens como armazenamento de logs e tráfego indexado, aplicando as taxas padrão. Para obter mais informações, consulte Billable items.
Se estiver usando um usuário RAM, faça login no console do RAM com sua conta Alibaba Cloud e conceda a permissão AliyunLogFullAccess a ele. Para mais detalhes, consulte Manage permissions for a RAM user.

Ative o envio de logs

Acesse a página Log Management.
1. Faça login no console do E-MapReduce.
2. Na barra de navegação superior, selecione uma região e um grupo de recursos conforme necessário.
3. Na página EMR on ECS, clique em Cluster ID do cluster de destino.
4. Clique em Logs.
Configure o escopo de envio de logs.
1. Na página Logs, clique em Set Log Shipping Scope no canto superior direito.
2. Na caixa de diálogo exibida, configure o Project para armazenamento de logs.
  
  Selecione um Project existente ou crie um novo.
  
  Importante
  Não é possível alterar o Project após a seleção.
3. Selecione os services cujos logs deseja enviar e clique em OK.
Visualize os logs do service.
1. Na lista suspensa Please select EMR service, selecione o service cujos logs deseja visualizar.
2. Analise os logs na página de logs.
  
  Especifique um intervalo de tempo e uma instrução de consulta para executar consultas em tempo real. Por exemplo, analise rapidamente a distribuição de um campo específico ao longo de um período ou filtre e agregue registros de acesso com base em condições especificadas.

Desativar o envio de logs

Importante

A desativação do envio de logs em tempo real não exclui o Project automaticamente. Para evitar cobranças desnecessárias após a desativação, acesse o console do Simple Log Service e exclua o Project configurado. Para saber mais, consulte Manage a Project.

Caso não precise mais reter dados de log, siga estas etapas para desativar o envio.

Na página Logs, clique em Disable Log Shipping no canto superior direito.
Na caixa de diálogo exibida, clique em OK.

Gerencie um Project do SLS

Na página Logs, clique em Go to Log Service Console no canto superior direito para abrir o console do Simple Log Service (SLS). No console do SLS, defina os períodos de retenção de log e modifique as configurações do Logstore.

Campos de log

Parâmetro	Descrição
`__source__`	O endereço IP privado do nó.
`__tag__:__hostname__`	O nome do host do nó.
`__tag__:__path__`	O caminho de armazenamento do log.
`__tag__:__user_defined_id__`	O identificador personalizado que o SLS define para o cluster.
`__tag__:_aliyun_user_id_`	O UID da conta Alibaba Cloud.
`__tag__:_ecs_id_`	O ID da instância ECS.
`__tag__:_main_cluster_id_`	O ID do cluster EMR.
`__tag__:_role_`	O nome do nó. Por exemplo, `core-1-1`.
`__topic__`	O tópico do log, usado para categorizar entradas de log.
`content`	O conteúdo bruto de uma entrada de log.
`level`	O nível do log, que indica a gravidade da entrada, como `INFO`, `WARN`, `ERROR` ou `DEBUG`.
`message`	A mensagem principal do log, geralmente extraída após a análise.
`thread`	A thread que gerou a entrada de log.
`time`	O carimbo de data e hora de geração da entrada de log.

Ativos

Projects personalizados e Logstores dedicados

Especifique um Project personalizado. O sistema cria então um Logstore dedicado chamado emr_<service_name>_log nesse Project. Por exemplo, ao enviar logs do service de host, o Logstore correspondente será emr_host_log.
Importante
- Antes de desativar o recurso Log Management, não exclua os Projects e Logstores do SLS usados para os logs do EMR. Caso contrário, os logs existentes serão excluídos e o SLS não receberá novos logs.
- Se usou anteriormente o método de faturamento por dados ingeridos, o sistema cria um Logstore dedicado com esse método por padrão. Para mudar para o método de faturamento por recurso, modifique a configuração do Logstore. Para mais informações, consulte Modify Logstore configurations.
Painéis dedicados

Não há painéis dedicados disponíveis. Crie painéis personalizados para exibir resultados de consultas. Para obter mais informações, consulte Create a dashboard.

Faturamento

O recurso Log Management é atualmente gratuito no EMR.
Se um Logstore usar o método de faturamento por recurso, o SLS cobrará pelos logs do EMR enviados com base em itens como espaço de armazenamento, tráfego de leitura, solicitações, processamento de dados e envio de dados. Para mais detalhes, consulte Billable items of the pay-by-feature billing method.
Se um Logstore usar o método de faturamento por dados ingeridos, o SLS cobrará pelos logs do EMR enviados com base no volume de dados brutos ingeridos. Para saber mais, consulte Billable items of the pay-by-ingested-data billing method.

Perguntas frequentes

P: Ativei o SLS e concedi as permissões necessárias. Por que o console ainda exibe a mensagem "Service log collection is not enabled for this resource. Go to the Log Management page of the cluster in the EMR console to enable it."?

R: Nenhum service está configurado para envio de logs no cluster atual. Clique em Set Log Shipping Scope no canto superior direito para concluir a configuração.