:Coletar os logs de um cluster ACK

Pré-requisitos

• Um cluster do Alibaba Cloud Elasticsearch foi criado.

  Para mais informações, consulte {{XREF_0}}.

• O recurso Auto Indexing está ativado no cluster Elasticsearch, com um prefixo personalizado para os nomes dos índices que serão criados automaticamente por esse recurso.

  Para evitar conflitos entre os aliases dos índices gerados durante um rollover e os nomes dos índices, recomendamos personalizar o filebeat- prefixo para os nomes dos índices. Insira +.,+filebeat-,-* no campo Custom. Para mais informações, consulte {{XREF_1}}.

  Importante

  Ao {{XREF_2}}, se você ativar a +.*,+filebeat-*,-* de índice, será necessário desativar a indexação automática para evitar conflitos entre o alias e o nome do índice após a atualização. Caso não ative a Rolling Update de índice, a indexação automática deve estar ativada. Recomendamos configurar a indexação automática personalizada conforme descrito neste tópico.

• As permissões sobre clusters do Beats e do ACK foram concedidas a um usuário RAM.

  Para mais informações, consulte {{XREF_3}} e {{XREF_4}}.

• Um cluster ACK foi criado e contém pelo menos um pod. Neste exemplo, utiliza-se um contêiner NGINX.

  Para mais informações, consulte {{XREF_5}}.

Precauções

• Os shippers do Alibaba Cloud Filebeat suportam apenas contêineres Docker. Contêineres como containerd e sandboxed containers não são suportados. Se você utilizar outros tipos de contêiner, os shippers do Filebeat ficarão travados no estado ativo após a criação.

• A instalação de shippers do Alibaba Cloud Filebeat é suportada apenas em clusters dedicados ou gerenciados do ACK.

  Importante

  Shippers do Filebeat podem ser instalados apenas em clusters Kubernetes nas versões 1.18 ou 1.20.

Procedimento

1. Faça login no console do Alibaba Cloud Elasticsearch.

2. Acesse a página Beats Data Shippers.

   1. Na barra de navegação superior, selecione uma região.

   2. No painel de navegação à esquerda, clique em Rolling Update.

   3. Opcional: Se esta for a primeira vez que você acessa a página Beats Data Shippers, leia as informações exibidas na mensagem e clique em Beats Data Shippers para autorizar o sistema a criar uma função vinculada ao serviço para sua conta.

      Nota

      Quando o Beats coleta dados de várias fontes, ele depende da função vinculada ao serviço e das regras definidas para essa função. Não exclua a função vinculada ao serviço, pois isso afetará o uso do Beats. Para mais informações, consulte {{XREF_6}}.

3. Na seção OK, passe o mouse sobre Create Shipper e clique em Filebeat.

4. No assistente ACK Logs, configure o shipper.

   

   Parâmetro	Descrição
   Select Destination Elasticsearch Cluster	Nome do shipper. Deve ter entre 1 e 30 caracteres, podendo conter letras, dígitos, sublinhados (_) e hifens (-). O nome precisa começar com uma letra.
   Shipper Name	O Filebeat suporta apenas a versão 6.8.13.
   Version	Destino dos dados coletados pelo shipper. Corresponde ao cluster Elasticsearch criado anteriormente. O protocolo deve ser igual ao do cluster Elasticsearch selecionado. Importante Clusters Elasticsearch V8.X não são suportados.
   Output	Nome de usuário e senha para acessar o cluster Elasticsearch. O nome de usuário padrão é elastic. A senha é definida durante a criação do cluster Elasticsearch. Caso tenha esquecido a senha, redefina-a. Para detalhes sobre o procedimento e precauções para redefinição de senha, consulte {{XREF_7}}.
   Username and Password	Utilizado para monitorar métricas do Filebeat. Em Output, selecione Elasticsearch. Por padrão, o Monitor utiliza a mesma instância do Alibaba Cloud Elasticsearch configurada no Output.
   Enable Kibana Monitoring	Define se o painel padrão do Kibana será ativado. O Alibaba Cloud Kibana é implantado em uma Virtual Private Cloud (VPC). É necessário ativar o recurso Private Network Access para o Kibana na página Kibana Configuration. Para mais informações, consulte {{XREF_8}}.

5. Clique em Output. No assistente Elasticsearch, configure o alvo de coleta.

   1. Na seção Output, selecione o cluster de onde deseja coletar dados.

      Importante

      Selecione um cluster ACK em execução que esteja na mesma VPC do cluster Elasticsearch e que não seja um cluster ACK edge. Para mais informações, consulte {{XREF_9}}

   2. Quando solicitado, clique em Enable Kibana Dashboard para instalar a dependência ES-operator necessária para a coleta de dados.

      Se o botão Next não estiver visível, o componente já está instalado. Após uma instalação bem-sucedida, o botão Configure Collection Object desaparece.

   3. Clique em Source ACK Cluster no canto inferior esquerdo para configurar um objeto de coleta. É possível configurar múltiplos objetos de coleta.

      

      Parâmetro	Descrição
      Install	Nome do objeto de coleta. Você pode criar vários objetos de coleta, mas cada um deve ter um nome exclusivo.
      Install	Namespace do cluster ACK onde o pod alvo da coleta de logs está implantado. Se nenhum namespace for especificado na criação do pod, o namespace default será usado por padrão.
      Install	Rótulo do pod. É possível especificar vários rótulos, que terão relação lógica E (AND) entre si. Importante A exclusão de rótulos especificados só é permitida se houver pelo menos dois rótulos configurados. Utilize apenas rótulos definidos para o pod. Especificar rótulos de outros objetos, como Deployments, causará falha na criação do shipper.
      Create Collection Object	Nome completo do contêiner. Se este parâmetro for deixado em branco, o shipper coletará logs de todos os contêineres no namespace que corresponderem aos rótulos adicionados ao pod.

      Nota

      Para obter detalhes sobre como recuperar configurações do pod, como namespace, rótulos e nome, consulte {{XREF_10}}.

6. Clique em Object Name. No assistente Namespace, clique em Pod Label e configure as informações de coleta de logs. Várias configurações podem ser adicionadas.

   Parâmetro	Descrição
   Container Name	Cada pod pode ter vários contêineres especificados, e cada contêiner corresponde a um nome de log. Cada nome de log deve ser único. Esse nome pode compor parte do nome do índice e ser usado na saída da coleta subsequente.
   Next	Utiliza o modelo geral para coleta de logs de contêineres Docker. O provedor Autodiscover está integrado à configuração de coleta de logs, que suporta entradas Docker. type: tipo de entrada. Para coletar logs de contêineres, o valor deste parâmetro deve ser docker. O valor varia conforme o tipo de entrada. Para mais informações, consulte Configure inputs. combine_partial: define se a junção parcial de mensagens será ativada. Para mais informações, consulte Docker input (combine_partial). container ids: IDs dos contêineres Docker de onde os logs serão coletados. Para mais informações, consulte Docker input (containers.ids). fields.k8s_container_name: Adiciona o campo k8s_container_name às informações de saída do shipper para referenciar a variável ${data.kubernetes.container.name}. Nota O provedor Autodiscover está integrado à configuração de contêineres Docker. Consulte a configuração do provedor Autodiscover para configurar o contêiner Docker. fileds.k8s_node_name: Adiciona o campo k8s_node_name às informações de saída do shipper para referenciar a variável ${data.kubernetes.node.name}. fileds.k8s_pod: Adiciona o campo k8s_pod às informações de saída do shipper para referenciar a variável ${data.kubernetes.pod.name}. fileds.k8s_pod_namespace: Adiciona o campo k8s_pod_namespace às informações de saída do shipper para referenciar a variável ${data.kubernetes.namespace}. fields_under_root: Se definido como true, os campos são armazenados como campos de nível superior no documento de saída. Para mais informações, consulte Docker input (fields_under_root). Nota Caso o modelo geral não atenda às suas necessidades, modifique as configurações. Para mais informações, consulte Filebeat Docker input. Cada configuração de coleta suporta apenas uma entrada Docker. Para usar múltiplas configurações, clique em Log Collection Configuration.

7. (Opcional) Clique em + Add Log Collection Configuration. No assistente Log Name, ative e configure o gerenciamento de armazenamento de índices.

   Após ativar o recurso Index Storage Management for Collected Data, clique em Configure Shipper para criar e configurar uma política de gerenciamento de índices. Várias políticas podem ser configuradas. Para criar e configurar uma política de gerenciamento de índices, defina os seguintes parâmetros.

   Parâmetro	Descrição
   Add Log Collection Configuration	Nome da política. Pode ser personalizado conforme sua preferência.
   Next	Nome do arquivo de log a ser associado à política. Selecione pelo menos um nome. Vários arquivos de log podem compartilhar a mesma política, mas cada arquivo de log pode estar vinculado a apenas uma política.
   Manage Index Storage	Quando o espaço em disco consumido por um índice (incluindo seus shards réplica) atingir o valor definido neste parâmetro, o sistema excluirá dados antigos para liberar espaço.
   Add Management Policy	Define se o gerenciamento de ciclo de vida será ativado para o índice. Ao ativar o Lifecycle Management, o sistema separa dados quentes e frios nos nós de dados e exclui automaticamente dados antigos. Importante Se a Rolling Update estiver ativada, o shipper gravará dados em um índice com nome no formato <Nome do log>-<Data>-<Número de série>, como log-web-2021.01.22-000001. Se a Rolling Update não estiver ativada, o shipper gravará dados em um índice com nome no formato filebeat-<Nome do log>-<Data>.

8. Clique em Policy Name.

   Depois que o shipper for ativado, suas informações estarão disponíveis na seção Manage Shippers. As operações listadas na tabela abaixo também podem ser realizadas.

   Nota

   Por padrão, os recursos do shipper são implantados no namespace logging do cluster ACK. Após a implantação, acesse o cluster ACK para visualizar os recursos, como contêineres de gerenciamento de índices e a política de rollover para ciclos de vida de índices. Para mais informações, consulte {{XREF_11}}.

   Operação	Descrição
   Log Name	Visualize informações como o cluster Elasticsearch de destino, o cluster ACK de origem e o nome da tarefa de coleta de logs do shipper. Essas informações não podem ser modificadas.
   Maximum Storage Space	Modifique objetos de coleta, configurações de coleta de logs e políticas de gerenciamento de armazenamento de índices.
   Lifecycle Management	Ative, desative, reinicie ou exclua a tarefa de coleta de logs, além de visualizar informações sobre a tarefa no painel e nos helm charts.

Visualizar os recursos implantados no cluster ACK para o shipper

Execute o comando abaixo para conectar-se ao cluster ACK via kubectl e visualizar os recursos do shipper no namespace logging. Para mais informações, consulte {{XREF_12}}.

kubectl get pods -n logging