Simple Log Service:Tipos de rede, parâmetros de inicialização e configuração do Logtail

Tipos de rede e seleção

Ao instalar o Logtail, escolha um tipo de rede com base na localização do servidor em relação ao Simple Log Service (SLS). A escolha correta do tipo de rede garante uma transmissão de dados de log mais rápida e confiável.

1. Faça login no console do Simple Log Service. Na página Project Overview do Project, localize Acceleration Endpoint na área Endpoint e clique em Enable ao lado.

2. Leia o aviso na caixa de diálogo e clique em Modify.

3. Configure a aceleração de transferência para o Logtail de uma das seguintes maneiras.

   Instalar com aceleração

   Se você ativar a aceleração de transferência antes de instalar o Logtail, poderá selecionar a opção de aceleração de transferência durante a instalação. Para mais informações, consulte Instalar o Logtail.

   Modificar configuração

   Caso tenha instalado o Logtail antes de ativar a aceleração de transferência, modifique a configuração do Logtail.

   1. Pare o Logtail.

      • Linux

        Execute o comando sudo /etc/init.d/ilogtaild stop.

      • Windows

        1. Escolha Start > Control Panel > Tools > Service.

        2. Na caixa de diálogo Service, localize o serviço LogtailDaemon (para Logtail 1.0.0.0 e posterior) ou o serviço LogtailWorker (para versões 0.x.x.x do Logtail). Clique com o botão direito no serviço e selecione Stop.

   2. Modifique o arquivo de configuração de inicialização do Logtail, ilogtail_config.json.

      No parâmetro data_server_list, altere o endpoint para log-global.aliyuncs.com. Para o caminho do arquivo, consulte Arquivo de configuração de parâmetros de inicialização (ilogtail_config.json).

   3. Inicie o Logtail.

      • Linux

        Execute o comando sudo /etc/init.d/ilogtaild start.

      • Windows

        1. Escolha Start > Control Panel > Tools > Service.

        2. Na caixa de diálogo Service, localize o serviço LogtailDaemon (para Logtail 1.0.0.0 e posterior) ou o serviço LogtailWorker (para versões 0.x.x.x do Logtail). Clique com o botão direito no serviço e selecione Start.

Para mais informações, consulte Gerenciar aceleração de transferência.

Casos de uso

Valores recomendados para parâmetros

As tabelas a seguir listam valores recomendados de parâmetros para coletar arquivos de log JSON padrão. Os modos regex completo e delimitador têm desempenho semelhante ao modo JSON, enquanto o modo simples é cerca de cinco vezes mais rápido. A complexidade dos dados, as regras de análise e o número de diretórios e arquivos também afetam o consumo de CPU e memória. Utilize esses valores como ponto de partida e ajuste conforme sua carga de trabalho.

• Ambiente de host

  Parâmetro	Taxa de coleta padrão	Taxa de coleta > 10 MB/s	Taxa de coleta > 20 MB/s	Taxa de coleta > 40 MB/s
  cpu_usage_limit	0,4	1	2	4
  mem_usage_limit	384	1024	2048	4096
  max_bytes_per_sec	20971520	209715200	209715200	209715200
  process_thread_count	1	2	4	8
  send_request_concurrency	15	20	40	80

• Ambiente de contêiner ou Kubernetes

  Parâmetro	Taxa de coleta padrão	Taxa de coleta > 10 MB/s	Taxa de coleta > 20 MB/s	Taxa de coleta > 40 MB/s
  cpu_usage_limit	2	3	5	9
  mem_usage_limit	2048	2048	2048	4096
  max_bytes_per_sec	209715200	209715200	209715200	209715200
  process_thread_count	1	2	4	8
  send_request_concurrency	15	20	40	80
  resources.limits.cpu	500M	1000M	2000M	4000M
  resources.limits.memory	2 Gi	2 Gi	3 Gi	5 Gi

  Para modificar os parâmetros de inicialização do Logtail em um ambiente de contêiner ou Kubernetes:

  • Se o Logtail estiver implantado em um cluster Kubernetes da Alibaba Cloud e sua versão for Logtail-ds 1.7.3 ou posterior, modifique os parâmetros no console do Container Service for Kubernetes. Na página Add-ons, modifique os parâmetros correspondentes do add-on logtail-ds.

  • Se o Logtail estiver implantado em um ambiente de contêiner autogerenciado ou Kubernetes e sua versão for Logtail-ds 1.7.3 ou posterior, modifique os parâmetros de inicialização do Logtail alterando as variáveis de ambiente no DaemonSet. Alguns ambientes referenciam um ConfigMap. O ConfigMap referenciado é ConfigMap > kube-system > alibaba-log-configuration.

  • Para versões do Logtail-ds anteriores a 1.7.3, modifique os parâmetros de inicialização do Logtail alterando as variáveis de ambiente no DaemonSet. Em alguns ambientes, um ConfigMap é referenciado. O ConfigMap referenciado é ConfigMap > kube-system > alibaba-log-configuration. Além disso, ajuste os parâmetros resources.limits.cpu e resources.limits.memory no DaemonSet > kube-system > logtail-ds para evitar que o contêiner exceda seus limites de recursos.

Com os valores de Taxa de coleta superior a 40 MB/s das tabelas anteriores, o desempenho de coleta do Logtail aproxima-se do seu limite. Aumentar ainda mais a contagem de threads não gera melhorias significativas. A tabela a seguir lista os limites de desempenho de coleta.

Parâmetros de inicialização

1. No servidor onde o Logtail está instalado, abra o arquivo /usr/local/ilogtail/ilogtail_config.json.

   Esta etapa aplica-se a um ambiente de host.

   Em um ambiente de contêiner ou Kubernetes, modifique os parâmetros de inicialização do Logtail editando as variáveis de ambiente do DaemonSet. Alguns ambientes referenciam um ConfigMap, cujo caminho é ConfigMap > kube-system > alibaba-log-configuration.

2. Configure os parâmetros de inicialização conforme necessário.

   A seguir, um exemplo dos parâmetros de inicialização:

   {
       ...
       "cpu_usage_limit" : 0.4,
       "mem_usage_limit" : 384,
       "max_bytes_per_sec" : 20971520,
       "process_thread_count" : 1,
       "send_request_concurrency" : 15,
       "buffer_file_num" : 25,
       "buffer_file_size" : 20971520,
       "buffer_file_path" : "",
       ...
   }

   Nota

   • A tabela a seguir lista apenas parâmetros de inicialização comuns. Para parâmetros não listados, mantenha as configurações padrão.

   • Adicione ou modifique parâmetros conforme necessário.

   Tabela 1. Parâmetros de inicialização do Logtail

   Parâmetro	Tipo	Descrição	Exemplo
   cpu_usage_limit	double	O limiar de uso de CPU, calculado com base em um único núcleo. Intervalo válido: 0,1 até o número de núcleos de CPU no servidor atual. Valor padrão: 0,4 Aviso O parâmetro cpu_usage_limit é um limite flexível. O uso real de CPU pelo Logtail pode exceder esse limite. Se o uso ultrapassar o limite por mais de 5 minutos, isso aciona o circuit breaking e o Logtail reinicia automaticamente. Por exemplo, se você definir este parâmetro como 0,4, o Logtail tentará limitar seu uso de CPU a 40% de um único núcleo. Se o uso exceder esse limite, o Logtail reiniciará automaticamente. Na maioria dos casos, um único núcleo consegue lidar com uma taxa de coleta de dados de aproximadamente 100 MB/s no modo simples e 20 MB/s no modo regex completo. Nota Se você implantar o Logtail-ds 1.7.3 ou posterior em um cluster Container Service for Kubernetes (ACK), recomendamos definir o limiar de uso de CPU no console do Container Service for Kubernetes. Na página Add-ons, modifique o parâmetro LogtailDSLimitCPU do componente logtail-ds. Para mais informações, consulte Gerenciar componentes.	"cpu_usage_limit" : 0.4
   mem_usage_limit	int	O limiar de uso de memória. Intervalo válido: 128 MB a 8192 MB Valor padrão: 384 MB (em host), 2048 MB (para componente ACK) Aviso O parâmetro mem_usage_limit é um limite flexível. O uso real de memória pelo Logtail pode exceder esse limite. Se o uso ultrapassar o limite por mais de 5 minutos, isso aciona o circuit breaking e o Logtail reinicia automaticamente. A taxa de coleta, o número de diretórios e arquivos monitorados e o grau de bloqueio de envio estão relacionados ao parâmetro mem_usage_limit. Para mais informações, consulte Limites do Logtail. Nota Se você implantar o Logtail-ds 1.7.3 ou posterior em um cluster ACK, recomendamos definir o limiar de uso de memória no console do Container Service for Kubernetes. Na página Add-ons, modifique o parâmetro LogtailDSLimitMemory do componente logtail-ds. Para mais informações, consulte Gerenciar componentes.	"mem_usage_limit" : 384
   max_bytes_per_sec	int	A taxa máxima na qual o Logtail envia dados brutos. Unidade: bytes/segundo. Intervalo válido: 1.024 bytes/s a 52.428.800 bytes/s Valor padrão: 20.971.520 bytes/s Importante Se você definir este parâmetro com um valor superior a 20.971.520 (20 MB/s), a taxa de envio não será limitada por este parâmetro. Por exemplo, se você definir este parâmetro como 2097152, o Logtail enviará dados a uma taxa de 2 MB/s. Nota Se você implantar o Logtail-ds 1.7.3 ou posterior em um cluster ACK, recomendamos definir o limite de tráfego no console do Container Service for Kubernetes. Na página Add-ons, modifique o parâmetro LogtailDSMaxBytePerSec do componente logtail-ds. Para mais informações, consulte Gerenciar componentes.	"max_bytes_per_sec" : 2097152
   process_thread_count	int	O número de threads que o Logtail usa para processar dados. Intervalo válido: 1 a 64 Valor padrão: 1 Na maioria dos casos, uma única thread consegue lidar com uma taxa de gravação de dados de 24 MB/s no modo simples ou 12 MB/s no modo regex completo. Geralmente, não é necessário alterar o valor deste parâmetro. Nota Se você implantar o Logtail-ds 1.7.3 ou posterior em um cluster ACK, recomendamos definir o número de threads no console do Container Service for Kubernetes. Na página Add-ons, modifique o parâmetro LogtailDSProcessThreadCount do componente logtail-ds. Para mais informações, consulte Gerenciar componentes.	"process_thread_count" : 1
   send_request_concurrency	int	O número de requisições simultâneas para envio assíncrono de dados. Intervalo válido: 15 a 80 Valor padrão: 15 Se o TPS de gravação for alto, aumente este valor. Como diretriz geral, uma requisição simultânea consegue lidar com um throughput de rede de 0,5 MB/s a 1 MB/s. O throughput real depende da latência da rede. Nota Definir este valor muito alto pode levar ao uso excessivo de portas de rede, exigindo o ajuste de parâmetros relacionados ao TCP. Se você implantar o Logtail-ds 1.7.3 ou posterior em um cluster ACK, recomendamos definir o número de requisições simultâneas no console do Container Service for Kubernetes. Na página Add-ons, modifique o parâmetro LogtailDSSendRequestConcurrency do componente logtail-ds. Para mais informações, consulte Gerenciar componentes.	"send_request_concurrency" : 4
   buffer_file_num	int	O número máximo de arquivos de buffer. Intervalo válido: 1 a 100 Valor padrão: 25 Se ocorrer um erro de rede ou se o limite de gravação for excedido, o Logtail analisa os logs em tempo real e grava os logs analisados em arquivos de buffer locais no diretório de instalação. Após a resolução do problema, o Logtail tenta reenviar os logs armazenados em buffer.	"buffer_file_num" : 25
   buffer_file_size	int	O tamanho máximo de um único arquivo de buffer. Unidade: byte. Intervalo válido: 1.048.576 bytes a 104.857.600 bytes Valor padrão: 20971520 Byte O espaço máximo em disco que os arquivos de buffer podem ocupar é buffer_file_size × buffer_file_num.	"buffer_file_size" : 20971520
   buffer_file_path	String	O diretório onde os arquivos de buffer são armazenados. Por padrão, este parâmetro está vazio, o que significa que os arquivos de buffer são armazenados no diretório de instalação do Logtail /usr/local/ilogtail. Após definir este parâmetro, mova manualmente os arquivos cujos nomes começam com logtail\_buffer\_file_* do diretório original para o novo diretório. Isso garante que o Logtail possa ler os arquivos de buffer e excluí-los após o envio.	"buffer_file_path" : ""
   bind_interface	String	O nome da interface de rede (NIC) vinculada ao servidor. Por padrão, este parâmetro está vazio, o que significa que o Logtail se vincula automaticamente a uma NIC disponível. Se você definir este parâmetro para uma NIC específica, como eth1, o Logtail será forçado a usar essa NIC para fazer upload de logs. Este parâmetro é suportado apenas no Linux.	"bind_interface" : ""
   check_point_filename	String	O caminho onde os arquivos de checkpoint do Logtail são salvos. Valor padrão: /tmp/logtail_check_point.	"check_point_filename" : "/tmp/logtail_check_point"
   check_point_dump_interval	int	O intervalo, em segundos, no qual o Logtail atualiza os arquivos de checkpoint. Padrão: 900 (15 minutos). Este parâmetro é suportado apenas pelo Logtail 1.0.19 ou posterior para Linux e Logtail 1.0.19.0 ou posterior para Windows.	"check_point_dump_interval" : 900
   user_config_file_path	String	O caminho onde o arquivo de configuração do Logtail é salvo. Por padrão, o arquivo é salvo no diretório que contém o binário do processo. O nome do arquivo é user_log_config.json.	"user_config_file_path" : "user_log_config.json"
   docker_file_cache_path	String	Este arquivo registra os mapeamentos de caminho entre arquivos de contêiner e arquivos de host. O caminho padrão é /usr/local/ilogtail/docker_path_config.json. Este parâmetro é suportado apenas pelo Logtail 0.16.54 ou posterior para Linux e Logtail 0.16.54.0 ou posterior para Windows.	"docker_file_cache_path": "/usr/local/ilogtail/docker_path_config.json"
   discard_old_data	Boolean	Especifica se devem ser descartados logs históricos. Valor padrão: true, o que significa que logs gerados há mais de 12 horas são descartados.	"discard_old_data" : true
   ilogtail_discard_interval	int	O limiar de tempo para descarte de logs históricos. Se a diferença entre o timestamp do log e a hora atual exceder esse limiar, o log será descartado. Valor padrão: 43200 (12 horas). Unidade: segundos.	"ilogtail_discard_interval": 43200
   working_ip	String	Por padrão, este parâmetro está vazio, o que significa que o endereço IP é obtido automaticamente do servidor. Se você definir um valor para este parâmetro, o Logtail reportará esse valor como o endereço IP do servidor.	"working_ip" : ""
   working_hostname	String	O hostname que o Logtail reporta para o servidor. Por padrão, este parâmetro está vazio, o que significa que o hostname é obtido automaticamente do servidor.	"working_hostname" : ""
   max_read_buffer_size	long	O tamanho máximo de uma única entrada de log que o Logtail pode ler. Valor padrão: 524.288 (512 KB). Valor máximo: 8.388.608 (8 MB). Unidade: byte. Se uma única entrada de log exceder 524.288 bytes, aumente este valor.	"max_read_buffer_size" : 524288
   oas_connect_timeout	long	O timeout para a fase de conexão das requisições que o Logtail inicia para obter sua configuração ou um par de AccessKey. Valor padrão: 5. Unidade: segundos. Se o estabelecimento de conexões demorar muito devido a condições precárias de rede, aumente este valor.	"oas_connect_timeout" : 5
   oas_request_timeout	long	O timeout total da requisição para obter uma configuração ou um par de AccessKey. Valor padrão: 10. Unidade: segundos. Se a conclusão das requisições demorar muito devido a condições precárias de rede, aumente este valor.	"oas_request_timeout" : 10
   data_server_port	long	Se você definir data_server_port como 443, o Logtail transmitirá dados para o SLS via HTTPS. Este parâmetro é suportado apenas pelo Logtail 1.0.10 ou posterior para Linux e Logtail 1.0.10.0 ou posterior para Windows.	"data_server_port": 443
   enable_log_time_auto_adjust	Boolean	Se você definir enable_log_time_auto_adjust como true, os timestamps dos logs se adaptarão automaticamente à hora local do servidor. Por motivos de segurança, o SLS valida o timestamp em cada requisição, incluindo requisições do Logtail. Se o timestamp diferir da hora do servidor SLS em mais de 15 minutos, o SLS rejeitará a requisição. O Logtail usa a hora local do servidor em suas requisições. Se a hora local do servidor for modificada (por exemplo, para uma hora futura em um ambiente de teste), as requisições do Logtail serão rejeitadas e as gravações de dados falharão. Use este parâmetro para adaptar os timestamps dos logs à hora local do servidor. Este parâmetro é suportado apenas pelo Logtail 1.0.19 ou posterior para Linux e Logtail 1.0.19.0 ou posterior para Windows. Importante Quando este recurso está ativado, o Logtail adiciona o deslocamento entre a hora do servidor SLS e a hora local do servidor ao timestamp do log. O deslocamento é atualizado apenas quando o SLS rejeita uma requisição. Como resultado, o timestamp exibido nas consultas do SLS pode diferir da hora real de gravação. Algumas lógicas do Logtail dependem de uma hora de sistema monotonicamente crescente. Recomendamos reiniciar o Logtail sempre que ajustar o relógio do servidor.	"enable_log_time_auto_adjust": true
   accept_multi_config	Boolean	Especifica se deve permitir que múltiplas configurações do Logtail coletem logs do mesmo arquivo. Valor padrão: false. Por padrão, um arquivo pode ser coletado por apenas uma configuração do Logtail. Use este parâmetro para remover essa restrição. O processamento de cada configuração do Logtail é independente. Se você permitir que múltiplas configurações do Logtail coletem logs do mesmo arquivo, o consumo de CPU e memória aumentará proporcionalmente. Este parâmetro é suportado apenas pelo Logtail 0.16.26 ou posterior para Linux e Logtail 0.16.26.0 ou posterior para Windows.	"accept_multi_config": true
   enable_checkpoint_sync_write	Boolean	Especifica se deve ativar gravações síncronas para checkpoints. Valor padrão: false. Este recurso é usado principalmente com o recurso de gravação ExactlyOnce. Quando o ExactlyOnce está ativado, o Logtail registra informações de checkpoint refinadas, no nível de arquivo, no disco local. Por motivos de desempenho, o Logtail não chama o comando sync para liberar dados para o disco por padrão ao gravar checkpoints. Se a máquina reiniciar antes que os dados em buffer sejam gravados no disco, as informações de checkpoint poderão ser perdidas. Nesse caso, defina enable_checkpoint_sync_write como true para ativar gravações síncronas. Para mais informações, consulte Configurações do Logtail (legado). Este parâmetro é suportado apenas pelo Logtail 1.0.20 ou posterior para Linux e Logtail 1.0.20.0 ou posterior para Windows.	"enable_checkpoint_sync_write": false
   enable_env_ref_in_config	Boolean	Especifica se deve ativar a substituição de variáveis de ambiente nas configurações de coleta. Valor padrão: false. Após ativar este recurso, você pode usar ${xxx} como espaço reservado para a variável de ambiente xxx em uma configuração de coleta do Logtail no console. Por exemplo, se você definir o caminho de coleta como /${xxx}/logs e definir a variável de ambiente como xxx=user, o caminho de coleta efetivo será /user/logs. Se precisar usar os caracteres literais ${ ou } na sua configuração, faça o escape usando $${ ou $}. Este parâmetro é suportado apenas pelo Logtail 1.0.31 ou posterior para Linux e Logtail 1.0.31.0 ou posterior para Windows.	"enable_env_ref_in_config": false
   docker_config_update_interval	int	O intervalo mínimo no qual os caminhos de contêiner são atualizados. Este parâmetro é usado em conjunto com o parâmetro max_docker_config_update_times. Se o limiar de qualquer um dos parâmetros for atingido, as atualizações de caminho de contêiner serão interrompidas. Para Logtail 1.0.32 ou posterior para Linux e Logtail 1.0.32.0 ou posterior para Windows, o valor padrão é 3. Unidade: segundos. Para versões anteriores ao Logtail 1.0.32 para Linux e Logtail 1.0.32.0 para Windows, o valor padrão é 10. Unidade: segundos.	"docker_config_update_interval": 3
   max_docker_config_update_times	int	O número máximo de atualizações de caminho de contêiner permitidas dentro de um período de 3 minutos. Por padrão, se o número de atualizações exceder esse limite dentro de 3 minutos, as atualizações de caminho de contêiner serão interrompidas até o final do período. Para Logtail 1.0.32 ou posterior para Linux e Logtail 1.0.32.0 ou posterior para Windows, o valor padrão é 10. Para versões anteriores ao Logtail 1.0.32 para Linux e Logtail 1.0.32.0 para Windows, o valor padrão é 3.	"max_docker_config_update_times": 10
   DOCKER_HOST	String	O endereço de socket usado para comunicação com o docker. Deve ser configurado como uma variável de ambiente. Valor padrão: uma string vazia, o que significa que o endereço padrão unix:///var/run/docker.sock é usado.	DOCKER_HOST=unix:///var/run/docker.sock
   CONTAINERD_SOCK_PATH	String	O endereço de socket usado para comunicação com o containerd. Deve ser configurado como uma variável de ambiente. Valor padrão: uma string vazia, o que significa que o endereço padrão unix:///run/containerd/containerd.sock é usado. Se você usar um cluster K3s, poderá modificar o valor conforme mostrado no exemplo.	CONTAINERD_SOCK_PATH=/run/k3s/containerd/containerd.sock
   logreader_max_rotate_queue_size	Int	O comprimento máximo da fila de rotação de arquivos. Valor padrão: 20. Se a coleta de logs estiver bloqueada ou atrasada, os arquivos pendentes de coleta mantêm seus identificadores de arquivo e aguardam nesta fila. Se a coleta estiver atrasada e você precisar controlar o uso máximo de disco, considere diminuir este valor. Aviso Quando o número de arquivos atrasados excede este valor, o Logtail ignora a coleta de novos arquivos.	"logreader_max_rotate_queue_size" : 10
   force_release_deleted_file_fd_timeout	Int	O período de timeout para liberar um identificador de arquivo após a saída de um contêiner ou exclusão de um arquivo. Valor padrão: -1, que desativa este recurso. Um valor de 0 indica que o identificador é liberado imediatamente. Unidade: segundos. Se quiser controlar a latência máxima de destruição para contêineres containerd, defina este parâmetro. Aviso Se a coleta de logs estiver atrasada, os dados que excederem o timeout configurado serão perdidos.	"force_release_deleted_file_fd_timeout" : 0
   data_endpoint_policy	string	A política de alternância para o Logtail acessar endpoints do SLS. Valores válidos: Nota No arquivo ilogtail_config.json, verifique se um endpoint padrão está configurado no parâmetro data_server_list. Para mais informações, consulte Arquivo de configuração de parâmetros de inicialização (ilogtail_config.json). designated_first (padrão) Se um endpoint padrão for especificado para uma região e o endpoint estiver disponível, o Logtail usará o endpoint padrão primeiro. Se um endpoint padrão for especificado para uma região, mas o endpoint estiver indisponível, o Logtail selecionará automaticamente um endpoint disponível. Se nenhum endpoint padrão for especificado para uma região, o Logtail selecionará automaticamente um endpoint disponível. designated_locked Se um endpoint padrão for especificado para uma região, o Logtail usará apenas o endpoint padrão, independentemente de sua disponibilidade. Se nenhum endpoint padrão for especificado para uma região, o Logtail selecionará automaticamente um endpoint disponível. Este parâmetro é suportado apenas pelo Logtail 1.5.0 ou posterior para Linux e Logtail 1.5.0.0 ou posterior para Windows.	"data_endpoint_policy" : "designated_first"
   inotify_black_list	Array<String>	A lista de bloqueios de monitoramento inotify. Este parâmetro suporta apenas correspondência exata de caminho. Diretórios nesta lista não são monitorados pelo inotify.	"inotify_black_list": ["/tmp"]
   host_path_blacklist	String	A lista global de bloqueios de caminho de host. Este parâmetro suporta apenas correspondência de substring. Em servidores Linux, use dois pontos (:) para separar múltiplas substrings. Em servidores Windows, use ponto e vírgula (;) para separar múltiplas substrings. Por exemplo, "host_path_blacklist" : "/volumes/kubernetes.io~csi/nas-" proíbe o Logtail de coletar dados de montagens NAS. Este parâmetro é suportado apenas pelo Logtail 1.8.0 ou posterior para Linux e Logtail 1.8.0.0 ou posterior para Windows.	"host_path_blacklist" : "/volumes/kubernetes.io~csi/nas-"
   LOGTAIL_LOG_LEVEL	String	O nível de log para os logs internos do Logtail. Deve ser configurado como uma variável de ambiente. Por padrão, este parâmetro está vazio, correspondendo ao nível INFO. Valores válidos: TRACE, DEBUG, INFO, WARNING, ERROR e FATAL. Este parâmetro é suportado apenas pelo Logtail 1.8.0 ou posterior para Linux e Logtail 1.8.0.0 ou posterior para Windows.	LOGTAIL_LOG_LEVEL=info
   FORCE_RELEASE_STOP_CONTAINER_FILE	Boolean	Método de configuração: Este parâmetro só pode ser configurado usando uma variável de ambiente. Descrição: Se este parâmetro for definido como true, o Logtail libera imediatamente os identificadores de arquivo do contêiner quando o contêiner da aplicação é encerrado. Isso evita que um contêiner falhe ao sair porque seus identificadores de arquivo não foram liberados. Importante: Neste caso, a integridade dos dados coletados do contêiner não pode ser garantida. Para garantir que os logs sejam coletados completamente, adicione um atraso de alguns segundos antes da saída da aplicação. Versões suportadas: Logtail 2.1.6 ou posterior para Linux	"FORCE_RELEASE_STOP_CONTAINER_FILE" : "true"
   default_reader_flush_timeout	int	O período de timeout para determinar a integridade da última linha de log. Valor padrão: 60. Unidade: segundos. Este parâmetro é suportado apenas pelo Logtail 2.0.0 ou posterior.	"default_reader_flush_timeout" : 1

3. Reinicie o Logtail para aplicar a nova configuração.

   /etc/init.d/ilogtaild stop && /etc/init.d/ilogtaild start                        

   Após a reinicialização, execute o comando /etc/init.d/ilogtaild status para verificar o status do Logtail.

Variáveis de ambiente

A tabela a seguir mapeia variáveis de ambiente para parâmetros de inicialização do Logtail.

Arquivo de parâmetros de inicialização (ilogtail_config.json)

• Caminho do arquivo

  • Ambiente de servidor

    Sistema operacional	Logtail	Caminho
    Linux	Logtail (64 bits)	/usr/local/ilogtail/ilogtail_config.json
    Windows (64 bits)	Logtail (64 bits)	C:\Program Files\Alibaba\Logtail\ilogtail_config.json
    	Logtail (32 bits)	C:\Program Files (x86)\Alibaba\Logtail\ilogtail_config.json Nota É possível executar aplicativos de 32 e 64 bits em um sistema operacional Windows de 64 bits. Para compatibilidade, o Windows armazena aplicativos de 32 bits em um diretório x86 separado.
    Windows (32 bits)	Logtail (32 bits)	C:\Program Files\Alibaba\Logtail\ilogtail_config.json

  • Ambiente de contêiner

    O arquivo ilogtail_config.json é armazenado no contêiner do Logtail. O caminho do arquivo é configurado na variável de ambiente ALIYUN_LOGTAIL_CONFIG, que pode ser visualizada executando o comando docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_CONFIG. Por exemplo: /etc/ilogtail/conf/cn-hangzhou/ilogtail_config.json.

• Exemplo de arquivo

  $cat /usr/local/ilogtail/ilogtail_config.json
  {
      "config_server_address" : "http://logtail.cn-hangzhou-intranet.log.aliyuncs.com",
      "data_server_list" :
      [
          {
              "cluster" : "cn-hangzhou",
              "endpoint" : "cn-hangzhou-intranet.log.aliyuncs.com"
          }
      ],
      "cpu_usage_limit" : 0.4,
      "mem_usage_limit" : 100,
      "max_bytes_per_sec" : 2097152,
      "process_thread_count" : 1,
      "send_request_concurrency" : 15,
      "streamlog_open" : false
  }

Arquivo de identificador de usuário

O arquivo de identificador de usuário contém o ID de uma conta raiz da Alibaba Cloud. Ele autoriza o Logtail a acessar o servidor e coletar logs para essa conta. Para mais informações, consulte Configurar um identificador de usuário.

• Caminho do arquivo

  • Ambiente de servidor

    • Linux: /etc/ilogtail/users/

    • Windows: C:\LogtailData\users\

  • Ambiente de contêiner

    O identificador de usuário é armazenado na variável de ambiente ALIYUN_LOGTAIL_USER_ID do contêiner Logtail. Execute o comando docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_USER_ID para visualizá-lo.

• Exemplo de arquivo

  $ls /etc/ilogtail/users/

Arquivo de identificador personalizado (user_defined_id)

O arquivo user_defined_id é usado para configurar um identificador personalizado. Para mais informações, consulte Criar um grupo de máquinas baseado em identificador personalizado.

• Caminho do arquivo

  • Ambiente de host

    • Linux: /etc/ilogtail/user_defined_id.

    • Windows: C:\LogtailData\user_defined_id.

  • Ambiente de contêiner

    O identificador personalizado é configurado na variável de ambiente ALIYUN_LOGTAIL_USER_DEFINED_ID do contêiner Logtail. Visualize o identificador executando o comando docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_USER_DEFINED_ID.

• Exemplo de arquivo

  $cat /etc/ilogtail/user_defined_id
  aliyun-ecs-rs1e16355

Arquivo de configuração do Logtail (user_log_config.json)

O arquivo user_log_config.json é um arquivo JSON que armazena a configuração do Logtail recebida do Simple Log Service. Este arquivo é atualizado sempre que uma configuração do Logtail é modificada. Verifique este arquivo para confirmar que a configuração do Logtail foi entregue ao servidor. Se o arquivo existir e seu conteúdo corresponder à configuração do Logtail no Simple Log Service, a configuração foi entregue com sucesso.

• Caminho do arquivo

  • Ambiente de host

    Sistema operacional	Logtail	Caminho
    Linux	Logtail (64 bits)	/usr/local/ilogtail/user_log_config.json
    Windows (64 bits)	Logtail (64 bits)	C:\Program Files\Alibaba\Logtail\user_log_config.json
    	Logtail (32 bits)	C:\Program Files (x86)\Alibaba\Logtail\user_log_config.json Nota Um sistema operacional Windows de 64 bits pode executar aplicativos de 32 e 64 bits. Para compatibilidade, o Windows armazena aplicativos de 32 bits em um diretório x86 separado.
    Windows (32 bits)	Logtail (32 bits)	C:\Program Files\Alibaba\Logtail\user_log_config.json

  • Ambiente de contêiner

    O arquivo user_log_config.json é armazenado no contêiner Logtail em /usr/local/ilogtail/user_log_config.json.

• Exemplo de arquivo

  $cat /usr/local/ilogtail/user_log_config.json
  {
     "metrics" : {
        "##1.0##k8s-log-c12ba2028*****939f0b$app-java" : {
           "aliuid" : "16542189*****50",
           "category" : "app-java",
           "create_time" : 1534739165,
           "defaultEndpoint" : "cn-hangzhou-intranet.log.aliyuncs.com",
           "delay_alarm_bytes" : 0,
           "enable" : true,
           "enable_tag" : true,
           "filter_keys" : [],
           "filter_regs" : [],
           "group_topic" : "",
           "local_storage" : true,
           "log_type" : "plugin",
           "log_tz" : "",
           "max_send_rate" : -1,
           "merge_type" : "topic",
           "plugin" : {
              "inputs" : [
                 {
                    "detail" : {
                       "IncludeEnv" : {
                          "aliyun_logs_app-java" : "stdout"
                       },
                       "IncludeLable" : {
                          "io.kubernetes.container.name" : "java-log-demo-2",
                          "io.kubernetes.pod.namespace" : "default"
                       },
                       "Stderr" : true,
                       "Stdout" : true
                    },
                    "type" : "service_docker_stdout"
                 }
              ]
           },
           "priority" : 0,
           "project_name" : "k8s-log-c12ba2028c*****ac1286939f0b",
           "raw_log" : false,
           "region" : "cn-hangzhou",
           "send_rate_expire" : 0,
           "sensitive_keys" : [],
           "tz_adjust" : false,
           "version" : 1
        }
     }
  }

Arquivo de registro AppInfo (app_info.json)

O arquivo app_info.json registra informações sobre o Logtail, como horário de inicialização, endereço IP e hostname.

• Caminho do arquivo

  • Ambiente de host

    Sistema operacional	Logtail	Caminho do arquivo app_info.json
    Linux	Logtail (64 bits)	/usr/local/ilogtail/app_info.json
    Windows (64 bits)	Logtail (64 bits)	C:\Program Files\Alibaba\Logtail\app_info.json
    	Logtail (32 bits)	C:\Program Files (x86)\Alibaba\Logtail\app_info.json Nota Um sistema operacional Windows de 64 bits pode executar aplicativos de 32 e 64 bits. Para compatibilidade, o sistema operacional armazena aplicativos de 32 bits em um diretório x86 separado.
    Windows (32 bits)	Logtail (32 bits)	C:\Program Files\Alibaba\Logtail\app_info.json

  • Ambiente de contêiner

    O arquivo app_info.json é armazenado no contêiner Logtail em /usr/local/ilogtail/app_info.json.

• Exemplo de arquivo

  $cat /usr/local/ilogtail/app_info.json
  {
     "UUID" : "",
     "hostname" : "logtail-ds-slpn8",
     "instance_id" : "E5F93BC6-B024-11E8-8831-0A58AC14039E_1**.***.***.***_1536053315",
     "ip" : "1**.***.***.***",
     "logtail_version" : "0.16.13",
     "os" : "Linux; 3.10.0-693.2.2.el7.x86_64; #1 SMP Tue Sep 12 22:26:13 UTC 2017; x86_64",
     "update_time" : "2018-09-04 09:28:36"
  }

  Campo	Descrição
  UUID	O número de série do servidor.
  hostname	O hostname.
  instance_id	Um identificador único gerado aleatoriamente para o Logtail.
  ip	O endereço IP obtido pelo Logtail. Se este campo estiver vazio, o Logtail falhou ao obter um endereço IP e não pode ser executado. Defina um endereço IP para o servidor e reinicie o Logtail. Nota Se criar um grupo de máquinas com base em endereços IP, garanta que o endereço IP configurado no grupo de máquinas corresponda ao endereço IP exibido aqui. Se não corresponderem, confirme o endereço IP correto do host. Em seguida, modifique o endereço IP no grupo de máquinas no console do Simple Log Service ou modifique o valor do parâmetro working_ip em Definir parâmetros de inicialização do Logtail.
  logtail_version	A versão do cliente Logtail.
  os	A versão do sistema operacional.
  update_time	A hora em que o Logtail foi iniciado pela última vez.

Log operacional do Logtail (ilogtail.LOG)

O arquivo ilogtail.LOG registra os logs operacionais do Logtail. Os níveis de log são INFO, WARN e ERROR, em ordem crescente de severidade. Logs de nível INFO geralmente podem ser ignorados.

• Caminho do arquivo

  • Ambiente de servidor

    Sistema operacional	Logtail	Caminho
    Linux	Logtail (64 bits)	/usr/local/ilogtail/ilogtail.LOG
    Windows (64 bits)	Logtail (64 bits)	C:\Program Files\Alibaba\Logtail\ilogtail.LOG
    	Logtail (32 bits)	C:\Program Files (x86)\Alibaba\Logtail\ilogtail.LOG Nota Um sistema operacional Windows de 64 bits pode executar aplicativos de 32 e 64 bits. Para compatibilidade, o Windows armazena aplicativos de 32 bits em um diretório x86 separado.
    Windows (32 bits)	Logtail (32 bits)	C:\Program Files\Alibaba\Logtail\ilogtail.LOG

  • Ambiente de contêiner

    O arquivo ilogtail.LOG é armazenado no contêiner Logtail em /usr/local/ilogtail/ilogtail.LOG.

• Exemplo de arquivo

  $tail /usr/local/ilogtail/ilogtail.LOG
  [2018-09-13 01:13:59.024679]    [INFO]    [3155]    [build/release64/sls/ilogtail/elogtail.cpp:123]    change working dir:/usr/local/ilogtail/
  [2018-09-13 01:13:59.025443]    [INFO]    [3155]    [build/release64/sls/ilogtail/AppConfig.cpp:175]    load logtail config file, path:/etc/ilogtail/conf/ap-southeast-1/ilogtail_config.json
  [2018-09-13 01:13:59.025460]    [INFO]    [3155]    [build/release64/sls/ilogtail/AppConfig.cpp:176]    load logtail config file, detail:{
     "config_server_address" : "http://logtail.ap-southeast-1-intranet.log.aliyuncs.com",
     "data_server_list" : [
        {
           "cluster" : "ap-southeast-1",
           "endpoint" : "ap-southeast-1-intranet.log.aliyuncs.com"
        }
  ]

Log do plugin Logtail (logtail_plugin.LOG)

O arquivo logtail_plugin.LOG registra logs operacionais do plugin Logtail. Os níveis de log, em ordem crescente de severidade, são INFO, WARN e ERROR. Logs de nível INFO podem ser ignorados com segurança.

Para solucionar erros de coleta, como CANAL_RUNTIME_ALARM, verifique o arquivo logtail_plugin.LOG.

• Caminho do arquivo

  • Ambiente de host

    Sistema operacional	Logtail	Caminho do arquivo logtail_plugin.LOG
    Linux	Logtail (64 bits)	/usr/local/ilogtail/logtail_plugin.LOG
    Windows (sistema operacional de 64 bits)	Logtail (64 bits)	C:\Program Files\Alibaba\Logtail\logtail_plugin.LOG
    	Logtail (32 bits)	C:\Program Files (x86)\Alibaba\Logtail\logtail_plugin.LOG Nota Um sistema operacional Windows de 64 bits pode executar aplicativos de 32 e 64 bits. Para compatibilidade, o Windows armazena aplicativos de 32 bits em um diretório x86 separado.
    Windows (sistema operacional de 32 bits)	Logtail (32 bits)	C:\Program Files\Alibaba\Logtail\logtail_plugin.LOG

  • Ambiente de contêiner

    O arquivo logtail_plugin.LOG é armazenado no contêiner Logtail em /usr/local/ilogtail/logtail_plugin.LOG.

• Exemplo

  $tail /usr/local/ilogtail/logtail_plugin.LOG
  2018-09-13 02:55:30 [INF] [docker_center.go:525] [func1] docker fetch all:start
  2018-09-13 02:55:30 [INF] [docker_center.go:529] [func1] docker fetch all:stop
  2018-09-13 03:00:30 [INF] [docker_center.go:525] [func1] docker fetch all:start
  2018-09-13 03:00:30 [INF] [docker_center.go:529] [func1] docker fetch all:stop
  2018-09-13 03:03:26 [INF] [log_file_reader.go:221] [ReadOpen] [##1.0##sls-zc-test-hz-pub$docker-stdout-config,k8s-stdout]    open file for read, file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379573    status:794354-64769-40379963
  2018-09-13 03:03:26 [INF] [log_file_reader.go:221] [ReadOpen] [##1.0##k8s-log-c12ba2028cfb444238cd9ac1286939f0b$docker-stdout-config,k8s-stdout]    open file for read, file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379573    status:794354-64769-40379963
  2018-09-13 03:04:26 [INF] [log_file_reader.go:308] [CloseFile] [##1.0##sls-zc-test-hz-pub$docker-stdout-config,k8s-stdout]    close file, reason:no read timeout    file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379963    status:794354-64769-40379963
  2018-09-13 03:04:27 [INF] [log_file_reader.go:308] [CloseFile] [##1.0##k8s-log-c12ba2028cfb444238cd9ac1286939f0b$docker-stdout-config,k8s-stdout]    close file, reason:no read timeout    file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379963    status:794354-64769-40379963
  2018-09-13 03:05:30 [INF] [docker_center.go:525] [func1] docker fetch all:start
  2018-09-13 03:05:30 [INF] [docker_center.go:529] [func1] docker fetch all:stop

Mapeamento de caminho de contêiner (docker_path_config.json)

O arquivo docker_path_config.json é um arquivo JSON criado apenas quando você coleta logs de contêiner. Ele registra os mapeamentos de caminho entre arquivos de contêiner e de host.

Se o erro DOCKER_FILE_MAPPING_ALARM ocorrer durante o diagnóstico de erros de coleta, isso indica que o mapeamento de caminho de arquivo do docker falhou. Verifique o arquivo docker_path_config.json para solucionar o problema.

• Caminho do arquivo

  /usr/local/ilogtail/docker_path_config.json

• Exemplo

  $cat /usr/local/ilogtail/docker_path_config.json
  {
     "detail" : [
        {
           "config_name" : "##1.0##k8s-log-c12ba2028cfb444238cd9ac1286939f0b$nginx",
           "container_id" : "df19c06e854a0725ea7fca7e0378b0450f7bd3122f94fe3e754d8483fd330d10",
           "params" : "{\n   \"ID\" : \"df19c06e854a0725ea7fca7e0378b0450f7bd3122f94fe3e754d8483fd330d10\",\n   \"Path\" : \"/logtail_host/var/lib/docker/overlay2/947db346695a1f65e63e582ecfd10ae1f57019a1b99260b6c83d00fcd1892874/diff/var/log\",\n   \"Tags\" : [\n      \"nginx-type\",\n      \"access-log\",\n      \"_image_name_\",\n      \"registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest\",\n      \"_container_name_\",\n      \"nginx-log-demo\",\n      \"_pod_name_\",\n      \"nginx-log-demo-h2lzc\",\n      \"_namespace_\",\n      \"default\",\n      \"_pod_uid_\",\n      \"87e56ac3-b65b-11e8-b172-00163f008685\",\n      \"_container_ip_\",\n      \"172.20.4.224\",\n      \"purpose\",\n      \"test\"\n   ]\n}\n"
        } 
     ],
     "version" : "0.1.0"
  }