Shipper YML configuration - Elasticsearch: Central de Documentação do Alibaba Cloud

Pré-requisitos

Crie um cluster do Alibaba Cloud Elasticsearch e ative a opção Auto Indexing. Para mais detalhes, consulte Criar um cluster do Alibaba Cloud Elasticsearch.

Por padrão, o Alibaba Cloud Elasticsearch mantém a opção Auto Indexing desativada por motivos de segurança. Como o Beats exige esse recurso, ative a opção Auto Indexing caso o Output do shipper esteja definido como Elasticsearch. Para obter mais informações, consulte Configurar parâmetros YML.

Nota

O Alibaba Cloud não fornece arquivos de configuração separados para os diversos módulos do Beats. Para usar um módulo, adicione sua configuração diretamente ao arquivo YML principal do shipper correspondente. Por exemplo, para ativar o módulo system no Metricbeat, adicione a seguinte configuração ao arquivo metricbeat.yml.

metricbeat.modules:
- module: system
metricsets: ["diskio","network"]
diskio.include_devices: []
period: 1s

Configuração do Filebeat

No arquivo

filebeat.yml

, use

filebeat.inputs

para definir as fontes de entrada. O exemplo a seguir apresenta uma configuração básica de entrada.

#========================== Filebeat inputs ================================

filebeat.inputs:

# Each - is an input. Most options can be set at the input level, so
# you can use different inputs for various configurations.
# Below are the input specific configurations.

- type: log

  # Change to true to enable this input configuration.
  enabled: true

  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    - /opt/test/logs/t1.log
    - /opt/test/logs/t2/*
  fields:
    alilogtype: usercenter_serverlog
  #- c:\programdata\elasticsearch\logs\*

filebeat.inputs:
- type: log
  enabled:true
  paths:
    - /opt/test/logs/t1.log
    - /opt/test/logs/t2/*
  fields:
    alilogtype: usercenter_serverlog

Importante

Se você especificou o Output do shipper ao coletar logs de service ECS usando Filebeat, não configure a saída separadamente na Shipper YML Configuration. Caso contrário, a instalação do shipper na instância ECS falhará.
Cada fonte de entrada começa com um hífen (-). Para múltiplas fontes, preceda cada fonte adicional com um hífen (-).

Parâmetro	Descrição
`type`	Tipo de entrada. O valor padrão é `log`. Outros valores compatíveis incluem `stdin`, `redis`, `tcp` e `syslog`.
`paths`	Logs a monitorar. Especifique um arquivo, como `/log/nginx.log`, ou um diretório, como `log/`. Os arquivos ou diretórios especificados são mapeados para um diretório docker. Importante* Para especificar um diretório, use um padrão curinga, como `/*`. Certifique-se de que os tipos de arquivo no diretório sejam consistentes com o tipo de coleta.
`enabled`	Define se a configuração está ativada: `true`: Ativado `false`: Desativado
`fields`	Campos opcionais para adicionar à saída. Indente os campos a adicionar com dois espaços abaixo deste parâmetro. Por exemplo, se definir este parâmetro como `alilogtype: usercenter_serverlog`, esse campo será adicionado a cada entrada de log para identificar a origem. O Logstash pode então usar esse campo para classificar e processar logs.

Para mais detalhes, consulte a documentação oficial de entrada de log.

Configuração do Metricbeat

O Metricbeat é um shipper leve que envia várias estatísticas de sistema e service. No arquivo

metricbeat.yml

, especifique

metricbeat.modules

para configurar as definições de

module

.

#========================== Modules configuration ============================

metricbeat.config.modules:
    # Glob pattern for configuration loading
    path: ${path.config}/modules.d/*.yml

    # Set to true to enable config reloading
    reload.enabled: false
metricbeat.modules:
  - module: system
    metricsets: ["diskio","network"]
    enabled: true
    hosts: ["http://XX.XX.XX.XX/"]
    period: 10s
    fields:
      dc: west
    tags: ["tag"]
    # Period on which files under path should be checked for changes
    #reload.period: 10s

metricbeat.modules:
- module: system
  metricsets: ["diskio","network"]
  enabled: true
  hosts: ["http://XX.XX.XX.XX/"]
  period: 10s
  fields:
    dc: west
  tags: ["tag"]

Importante

Se você especificou o

Output

do shipper ao

coletar métricas de ECS com Metricbeat

, não configure a saída separadamente na

Shipper YML Configuration

. Caso contrário, a instalação do shipper na instância ECS falhará.

Parâmetro	Descrição
`module`	Nome do módulo a executar. Para obter informações sobre os módulos compatíveis e suas descrições, consulte Módulos.
`metricsets`	Lista de metricsets a executar. Para mais informações sobre os metricsets, consulte Módulos.
`enabled`	Define se esta configuração está ativada. `true` indica que a configuração está ativada; `false` indica que está desativada.
`period`	Frequência de execução dos metricsets. Se um sistema monitorado estiver inacessível, o Metricbeat retornará um erro para aquele período de coleta.
`hosts`	Opcional. Lista de hosts de onde buscar informações.
`fields`	Campos opcionais para enviar com eventos de metricset.
`tags`	Opcional. Lista de tags para enviar com cada evento de metricset.

Para mais detalhes, consulte a documentação oficial do Metricbeat.

Configuração do Heartbeat

O Heartbeat é um shipper leve instalado em um servidor remoto para verificar periodicamente a disponibilidade de services. Diferentemente do Metricbeat, que relata se um service está em execução, o Heartbeat verifica se o service está acessível.

No arquivo

heartbeat.yml

, especifique

heartbeat.monitors

para definir os services a monitorar.

Nota

A configuração principal do Heartbeat consiste em definir quais services monitorar. Para garantir alta disponibilidade, recomendamos implantar o Heartbeat em pelo menos duas instâncias ECS.

# Define a directory to load monitor definitions from. Definitions take the form
# of individual yaml files.
heartbeat.config.monitors:
  # Directory + glob pattern to search for configuration files
  path: ${path.config}/monitors.d/*.yml
  # If enabled, heartbeat will periodically check the config.monitors path for changes
  reload.enabled: false
  # How often to check for changes
  reload.period: 5s

  # Configure monitors inline
heartbeat.monitors:
- type: http
  name: ecs_monitor
  enabled: true
  urls: ["http://localhost:9200"]
  schedule: '@every 5s'
  fields:
    dc: west
#- type: http

heartbeat.monitors:
- type: http
  name: ecs_monitor
  enabled: true
  urls: ["http://localhost:9200"]
  schedule: '@every 5s'
  fields:
    dc: west

Importante

Se você especificou o

Output

do shipper ao

monitorar serviços ECS com Heartbeat

, não configure a saída separadamente na

Shipper YML Configuration

. Caso contrário, a instalação do shipper na instância ECS falhará.

Parâmetro	Descrição
`type`	Tipo de monitor. Valores válidos: `icmp`, `tcp` e `http`.
`name`	Nome do monitor. Este valor aparece no campo monitor em Campos exportados como o nome do job. O campo `type` é usado como o tipo de job.
`enabled`	Define se esta configuração está ativada. `true` indica que a configuração está ativada; `false` indica que está desativada.
`urls`	Opcional. Lista de servidores aos quais se conectar.
`schedule`	Agendamento da tarefa. Por exemplo, `@every 5s` executa a tarefa a cada 5 segundos após o início do Heartbeat. Uma expressão cron como `/5 * * * * *` também executa a tarefa a cada 5 segundos.
`fields`	Campos opcionais para adicionar à saída.

Para mais detalhes, consulte a documentação oficial do Heartbeat.

Configuração do Auditbeat

O Auditbeat é um shipper leve que coleta dados de auditoria do framework de auditoria do Linux e monitora a integridade de arquivos. Ele combina mensagens relacionadas em eventos únicos e estrutura os dados para análise. Além disso, integra-se perfeitamente com Logstash, Elasticsearch e Kibana.

Importante

O Auditbeat depende do framework de auditoria do Linux e requer kernel Linux versão 3,14 ou posterior. Certifique-se de que o service Auditd esteja parado (verifique seu status executando

service auditd status

).

No arquivo auditbeat.yml, use a seção auditbeat.modules para configurar o shipper Auditbeat. O arquivo auditbeat.yml contém configurações de módulos e definições de saída. Ative um módulo adicionando seus parâmetros ao arquivo auditbeat.yml. O exemplo a seguir mostra as configurações para os módulos auditd e file_integrity.

auditbeat.modules:
- module: auditd
  audit_rules: |
    -w /etc/passwd -p wa -k identity
    -a always,exit -F arch=b32 -S open,create,truncate,ftruncate,openat,open_by_handle_at -F exit=-EPERM -k access
- module: file_integrity
  paths:
  - /bin
  - /usr/bin
  - /sbin
  - /usr/sbin
  - /etc

Importante

Se você especificou o

Output

do shipper ao

coletar dados de auditoria de ECS com Auditbeat

, não configure a saída separadamente na

Shipper YML Configuration

. Caso contrário, a instalação do shipper na instância ECS falhará.

Para obter mais informações sobre como configurar o arquivo auditbeat.yml, consulte a documentação oficial do Auditbeat. Para detalhes sobre como configurar cada module, consulte Módulos.