Collect ECS service logs using Filebeat - Elasticsearch: Central de Documentação do Alibaba Cloud

Use shippers (Beats) para coletar dados de instâncias ECS, como arquivos de log, dados de rede e métricas de servidor. Envie os dados coletados para uma instância do Alibaba Cloud Elasticsearch ou Logstash para monitoramento e análise. Este tópico usa o Filebeat como exemplo para demonstrar a coleta de logs de service do ECS.

Pré-requisitos

Antes de começar, conclua as etapas a seguir:

Crie uma instância do Alibaba Cloud Elasticsearch ou do Logstash. Este tópico usa a versão 6.7.0 como exemplo.

Para mais informações, consulte Create an Alibaba Cloud Elasticsearch instance e Create an Alibaba Cloud Logstash instance.
Ative a indexação automática na instância do Elasticsearch.

Por motivos de segurança, o Alibaba Cloud Elasticsearch desativa a indexação automática por padrão. No entanto, o Beats exige esse recurso para coletar logs de service do ECS. Se você selecionar o Elasticsearch como destino de saída do shipper, ative a indexação automática. Para mais informações, consulte Configure YML parameters.
Crie uma instância ECS na mesma VPC da instância do Alibaba Cloud Elasticsearch ou Logstash.

Ao criar a instância, selecione um dos seguintes sistemas operacionais: Alibaba Cloud Linux (Alinux), Red Hat Enterprise Linux (RHEL) ou CentOS. O Beats oferece suporte apenas a esses três sistemas operacionais. Para mais informações, consulte Create an instance by using the wizard.

Importante
O diretório de instalação padrão do Beats é /opt/aliyunbeats/. Após a instalação, o processo cria três diretórios na instância ECS: conf, logs e data. Esses diretórios correspondem, respectivamente, ao arquivo de configuração, aos arquivos de log e aos arquivos de dados do Beats. Para evitar erros ou inconsistências de dados, não exclua nem modifique o conteúdo desses diretórios. Se ocorrer algum problema, verifique os logs do Beats no diretório logs para solucionar a questão.
Instale o Cloud Assistant e o docker na instância ECS de destino.

Para mais informações, consulte Install the Cloud Assistant agent e Deploy and use Docker.

Importante
Use obrigatoriamente o Docker Community Edition (docker-ce). A utilização de outras versões, como podman-docker, causará falha na implantação do Beats.

Procedimento

Faça login no console do Alibaba Cloud Elasticsearch.
Acesse a página Beats Data Shippers.
1. Na barra de navegação superior, selecione uma região.
2. No painel de navegação à esquerda, clique em Beats Data Shippers.
3. Opcional: Se esta for a primeira vez que você acessa a página Beats Data Shippers, leia as informações exibidas na mensagem e clique em OK para autorizar o sistema a criar uma função vinculada ao service para sua conta.
  
  Nota
  Ao coletar dados de diversas fontes, o Beats depende da função vinculada ao service e das regras definidas para ela. Não exclua essa função, pois isso afetará o uso do Beats. Para mais informações, consulte Elasticsearch service-linked roles.

Configure e inicie a coleta de logs de service do ECS.

Nota

As etapas a seguir usam o Filebeat como exemplo.

Na seção Create Shipper, passe o mouse sobre Filebeat e clique em ECS Logs.

Nota
Para outros tipos de shippers, como o Metricbeat, clique diretamente no nome do shipper.

No assistente Configure Shipper, insira ou selecione as informações do shipper.

Parâmetro	Descrição
Shipper Name	Insira um nome personalizado para o shipper. O nome deve ter entre 1 e 30 caracteres, começar com uma letra e conter apenas letras, dígitos, sublinhados (_) e hifens (-).
Version	O Filebeat oferece suporte apenas à versão 6.8.5.
Output	Destino dos dados do Filebeat. Selecione uma instância existente do Alibaba Cloud Elasticsearch ou Logstash. O protocolo de acesso deve corresponder ao protocolo da instância Elasticsearch selecionada. Importante Não há suporte para instâncias do Elasticsearch versão 8.x ou posterior.
Username and Password	Se você selecionar Output como Elasticsearch, forneça o nome de usuário e a senha correspondentes para permitir que o Filebeat grave dados na instância. O nome de usuário padrão é elastic. A senha foi definida durante a criação da instância. Caso tenha esquecido a senha, redefina-a. Para mais informações, consulte Reset the access password of an instance.
Enable Kibana Monitoring	Ativa o monitoramento das métricas do Filebeat. Se Output for definido como Elasticsearch, o monitoramento usará, por padrão, a mesma instância do Alibaba Cloud Elasticsearch configurada no Output. Se Output for Logstash, adicione a configuração manualmente no arquivo de configuração.
Enable Kibana Dashboard	Configura o painel padrão do Kibana. Como o Alibaba Cloud Kibana é implantado em uma VPC, ative o acesso pela rede privada na página de configuração do Kibana. Para mais informações, consulte Log on to the Kibana console.
Filebeat File Path	Como o Alibaba Cloud utiliza docker para implantar o Beats, mapeie os diretórios do host para coleta de logs dentro do container docker. O caminho inserido aqui deve ser um diretório pai dos caminhos especificados no parâmetro `input.path` do arquivo `filebeat.yml`. Caracteres curinga () não são permitidos neste campo. Por exemplo, se `input.path: /var/log//.log` estiver definido, o diretório de arquivos do Filebeat pode ser `/var/` ou `/var/log/`. Importante* O caminho pode ser um diretório ou um caminho completo. Também é possível usar padrões glob para corresponder a tipos específicos de arquivos dentro de um caminho. Para coletar logs de vários diretórios, clique em Add e insira outro caminho. Adicione também o novo caminho ao parâmetro paths na Shipper YML Configuration.
Shipper YML Configuration	Arquivo de configuração do shipper. Use o exemplo abaixo para garantir que a coleta de logs esteja ativada e que os diretórios em paths sejam consistentes com os diretórios inseridos em Filebeat file directories. `filebeat.inputs: - type: log enabled: true paths: - /var/log/*.log` Modifique os demais parâmetros conforme suas necessidades de negócio. Para mais informações, consulte Shipper YML configuration.

Importante

Após especificar o Output, não o configure novamente na Shipper YML Configuration. Configurar duplicadamente causará erro de instalação.
O Filebeat do Alibaba Cloud não oferece suporte a nomes de índice personalizados. Por padrão, ele cria um índice com o nome filebeat-%{[agent.version]}-%{+yyyy.MM.dd}, por exemplo, filebeat-6.8.5-2021.12.11.

Clique em Next.
Opcional: Se esta for a primeira vez que você utiliza o assistente Install Shipper, clique em Authorize Now. Na página Cloud Resource Access Authorization, clique em Authorize para conceder permissões à instância do Elasticsearch para acessar o ECS.
- O service de autorização é fornecido pelo Resource Access Management (RAM). Após conceder a autorização, o sistema cria automaticamente duas funções vinculadas ao service: AliyunElasticsearchAccessingOOSRole e AliyunOOSAccessingECS4ESRole. As políticas de sistema padrão anexadas são, respectivamente, AliyunElasticsearchAccessingOOSRolePolicy e AliyunOOSAccessingECS4ESRolePolicy. Não exclua essas funções ou políticas de sistema.
- Caso tenha excluído uma política padrão ou função de sistema no console RAM, conceda as permissões novamente através da página Cloud Resource Access Authorization. Além disso, conceda ao usuário RAM as seguintes permissões personalizadas para evitar erros de permissão. Para instruções sobre como criar uma política personalizada, consulte Create a custom policy.
```
{
    "Version": "1",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "ram:CreateRole",
                "ram:AttachPolicyToRole",
                "ram:GetRole"
            ],
            "Resource": "acs:ram:*:*:role/*",
            "Condition": {
                "ForAllValues:StringEquals": {
                    "ram:TrustedPrincipalTypes": "Service",
                    "ram:ServiceNames": [
                        "elasticsearch.aliyuncs.com",
                        "oos.aliyuncs.com"
                    ]
                }
            }
        },
        {
            "Effect": "Allow",
            "Action": "ram:AttachPolicyToRole",
            "Resource": "acs:ram:*:*:policy/*"
        },
        {
            "Action": "ram:PassRole",
            "Resource": "*",
            "Effect": "Allow",
            "Condition": {
                "StringEquals": {
                    "acs:Service": "elasticsearch.aliyuncs.com"
                }
            }
        }
    ]
}
```
No assistente Install Shipper, selecione as instâncias ECS de destino.

Nota
A lista exibe todas as instâncias ECS da sua conta que estão na mesma VPC da instância Elasticsearch ou Logstash selecionada no Output. A instalação do shipper só é possível em instâncias ECS que possuem tanto o Cloud Assistant quanto o docker instalados.
Clique em Start.
Na caixa de diálogo Start Shipper, clique em Back to Beats Shippers. Visualize o shipper recém-criado na lista de shippers.

Aguarde até que o Shipper Status mude para Enabled, indicando que o shipper está pronto. Os dois números após Enabled representam a quantidade de instalações bem-sucedidas no ECS e o total de instâncias ECS de destino. Se a instalação for bem-sucedida em todas as instâncias, os dois números serão iguais.

Visualize as instâncias em execução.

Após criar o shipper, visualize suas instâncias em execução para verificar o status da instalação e solucionar exceções.
1. Na seção Manage Shippers, localize o shipper e clique em View Instances na coluna Actions.
2. Na página View Instances, verifique os Installed Shippers.
  
  O status em Installed Shippers pode ser: Normal Heartbeat, No Heartbeat ou Installation Failed. Se o status for No Heartbeat ou Installation Failed, remova o nó problemático ou tente instalar novamente. Caso a nova tentativa falhe, consulte Troubleshoot Beats installation failures.
Opcional: Visualize a página de monitoramento ou o painel.

Se você selecionou Enable Kibana Monitoring ou Enable Kibana Dashboard ao criar o shipper, visualize as informações de monitoramento ou o painel no Kibana após o início do shipper.
1. Na seção Manage Shippers, localize o shipper, clique no ícone > Actions > View Dashboards.
2. Na página de login do Kibana, insira seu nome de usuário e senha e clique em Log in.
3. No painel de navegação à esquerda, clique em Dashboard. Em seguida, clique em uma métrica para visualizar seu painel.
4. No painel de navegação à esquerda, clique em Monitoring. Depois, clique em um item de monitoramento para visualizar suas informações.

Documentação relacionada

Operação de API para criar um shipper (referenciado como collector na API): CreateCollector

Perguntas frequentes

Como usar o Beats para coletar logs de múltiplos diretórios?

Ao configurar o shipper, clique em Add, insira o caminho na caixa de texto e adicione-o ao parâmetro paths na Shipper YML Configuration. Por exemplo, se você adicionar /var/log/*.log e /var/log/messages em Filebeat File Path, a seção de caminhos da Shipper YML Configuration também deverá incluir esses mesmos dois caminhos.
O que fazer se a instalação do Beats em uma instância ECS falhar?

Para informações sobre solução de problemas, consulte Troubleshoot Beats installation failures.