Introdução às soluções de alta disponibilidade para coleta de dados de clientes - Simple Log Service: Central de Documentação do Alibaba Cloud

O Simple Log Service oferece duas soluções de alta disponibilidade para coleta de dados de clientes: gravação dupla e replicação baseada em transformação de dados com alternância de gravação.

Contexto

Em um ambiente de cluster único, o Simple Log Service armazena três réplicas de cada dado em discos físicos diferentes, distribuídos em servidores distintos, por meio de um algoritmo de armazenamento distribuído. Esse mecanismo de triplicação garante a confiabilidade dos dados, a consistência forte entre réplicas e a alta disponibilidade contra falhas de hardware individuais.

No entanto, um cluster único ainda pode sofrer interrupções de serviço em cenários extremos. Para mitigar esse risco, o Simple Log Service oferece duas soluções de georredundância ativa para coleta de dados de clientes.

Comparação de soluções

Item	Solução 1: Gravação dupla	Solução 2: Replicação baseada em transformação de dados e alternância de gravação
Complexidade de implantação	Baixa	Requer implantação adicional para transformação de dados e alternância de gravação.
Uso de recursos do cliente	O dobro da Solução 2.	Baixo
Consistência dos dados	Forte	Uma porcentagem dos dados pode ser duplicada ou perdida durante a alternância.

Recomendações de rede

O Logtail requer conectividade de rede confiável para coleta de dados de clientes. Recomenda-se o uso de uma linha dedicada para transmissão de dados entre regiões.

Solução 1: Gravação dupla

A solução de gravação dupla grava os dados dos clientes em dois Logstores do Simple Log Service em regiões diferentes simultaneamente.

Em condições normais, os dados ficam disponíveis em ambos os Logstores em tempo real. Se um dos Logstores falhar, os dados do outro Logstore permanecem disponíveis.

Procedimento:

No console do Simple Log Service, crie um Project e um Logstore.
1. Crie o Project A e o Logstore A na Região A.
2. Crie o Project B e o Logstore B na Região B.

No servidor do cliente, configure o arquivo logtail_config.json do Logtail para suportar gravação em duas regiões.

Por exemplo, se a Região A é China (Shanghai) e a Região B é China (Beijing), adicione os itens de configuração config_server_address_list e data_server_list. Defina o nome de domínio de China (Beijing) como o segundo endereço e mantenha as demais configurações inalteradas.

{
    ...
    "config_server_address":"logtail.cn-shanghai-intranet.log.aliyuncs.com",
    "config_server_address_list": [
        "cn-shanghai-intranet.log.aliyuncs.com",
        "cn-beijing-intranet.log.aliyuncs.com"
    ],
    "data_server_list": [
        {
            "cluster": "cn-shanghai",
            "endpoint":"cn-shanghai-intranet.log.aliyuncs.com"
        },
        {
            "cluster": "cn-beijing",
            "endpoint":"cn-beijing-intranet.log.aliyuncs.com"
        }
    ],
    "cpu_usage_limit": 2.0,
    ...
}

No console do Simple Log Service, crie configurações do Logtail.
null
- Defina "accept_multi_config": true nos parâmetros de inicialização do Logtail, ou adicione {"force_multiconfig": true} na seção Advanced Configurations ao criar uma configuração do Logtail. Isso permite coletar logs de um único arquivo várias vezes. Para mais informações, consulte Como coletar várias cópias de logs de um arquivo.
- Ao modificar uma configuração do Logtail, modifique as configurações em ambos os Projects para garantir a consistência.
1. No Project A, crie uma configuração do Logtail no Logstore A.
2. No Project B, crie uma configuração do Logtail no Logstore B.

Solução 2: Replicação baseada em transformação de dados e alternância de gravação

Esta solução coleta dados dos clientes no Logstore A de uma região e utiliza transformação de dados para replicar os dados para o Logstore B em outra região em tempo real. Se o Logstore A falhar, você pode alternar o destino de gravação para o Logstore B.

Em condições normais, os dados ficam disponíveis em ambos os Logstores em tempo real. Se o Logstore A falhar, alterne a coleta de dados para o Logstore B para manter a disponibilidade em tempo real. Se o Logstore B falhar, os dados do Logstore A permanecem disponíveis.

Procedimento:

No console do Simple Log Service, crie um Project e um Logstore.
1. Crie o Project A e o Logstore A na Região A.
2. Crie o Project B e o Logstore B na Região B.

No servidor do cliente, configure o arquivo logtail_config.json do Logtail para suportar gravação em duas regiões.

{
    ...
    "config_server_address":"logtail.cn-shanghai-intranet.log.aliyuncs.com",
    "config_server_address_list": [
        "cn-shanghai-intranet.log.aliyuncs.com",
        "cn-beijing-intranet.log.aliyuncs.com"
    ],
    "data_server_list": [
        {
            "cluster": "cn-shanghai",
            "endpoint":"cn-shanghai-intranet.log.aliyuncs.com"
        },
        {
            "cluster": "cn-beijing",
            "endpoint":"cn-beijing-intranet.log.aliyuncs.com"
        }
    ],
    "cpu_usage_limit": 2.0,
    ...
}

No console do Simple Log Service, crie uma configuração do Logtail no Logstore A do Project A.

null
Defina "accept_multi_config": true nos parâmetros de inicialização do Logtail, ou adicione {"force_multiconfig": true} na seção Advanced Configurations ao criar uma configuração do Logtail. Isso permite que logs de um único arquivo sejam coletados várias vezes. Para mais informações, consulte Como coletar várias cópias de logs de um arquivo.
Use o Terraform ou uma API para fazer backup da configuração do Logtail do Project A. Modifique o backup para criar uma configuração do Logtail para o Project B que possa ser usada para failover.
Crie uma tarefa de transformação de dados para sincronizar os dados do Logstore em tempo real. Para mais informações, consulte Replicar dados do Logstore e Transmitir dados entre regiões.
Se ocorrer um erro no Logstore A, importe a configuração de backup do Logtail da Etapa 4 para o Logstore B.