Saiba quais fatores afetam o desempenho da transformação de dados e como otimizar o throughput ajustando shards e a lógica de transformação.
Com base no funcionamento, a velocidade geral de um job de transformação de dados depende do número de shards no LogStore de origem e da complexidade da lógica de transformação. Como referência, considere um throughput de processamento de 1 MB/s de dados não compactados por shard, equivalente a aproximadamente 85 GB por dia por shard. Por exemplo, se a taxa de gravação de dados do LogStore de origem for de 1 TB por dia, divida-o em pelo menos 12 shards (1.024 GB / 85 GB por shard ≈ 12). Para mais informações sobre divisão de shards, consulte Dividir um shard.
Desempenho da transformação de dados
A velocidade da transformação de dados depende da lógica de transformação. Os principais fatores incluem:
-
Dados de saída
-
O desempenho diminui conforme o volume de dados de saída aumenta. Gerar mais entradas de log (por exemplo, dividindo uma entrada em várias), adicionar mais campos ou aumentar o tamanho do conteúdo consome mais recursos de CPU e rede, o que reduz o throughput.
-
Gravar em múltiplos destinos, adicionar diversas tags a cada entrada de log ou criar mais grupos de log reduz o desempenho. Cada ação aumenta as interações de rede e a sobrecarga.
-
-
Lógica de transformação
Lógica de transformação complexa exige mais buscas, cálculos e sincronizações de recursos externos, o que consome recursos adicionais de computação e rede e reduz o throughput.
-
Fontes de dados externas
Se você utilizar uma fonte de terceiros para enriquecer seus dados, volumes maiores de dados extraídos desaceleram a transformação. Extrações de dados entre regiões, como objetos OSS em outra região, reduzem ainda mais o desempenho.
Escalar a transformação no LogStore de origem
-
Escalar a transformação de dados em tempo real.
Aumente o número de shards para melhorar o desempenho da transformação de dados em tempo real. Para mais informações sobre os métodos de faturamento de shards, consulte Faturamento por recurso.
-
Escalar a transformação de dados históricos.
A divisão de shards afeta apenas dados recém-gravados. Para processar um grande volume de dados históricos em um LogStore com poucos shards, crie múltiplos jobs de transformação de dados. Configure cada job para processar um intervalo de tempo separado e sem sobreposição. Por exemplo, para processar logs históricos de 1 a 10 de setembro, crie dez jobs para processar os dados em incrementos diários, como
[9/1, 9/2), [9/2, 9/3), ..., [9/10, 9/11).nullO tempo de transformação é o horário de recebimento do log. Para mais informações, consulte Criar um job de transformação de dados.
Escalar a transformação no LogStore de destino
A quantidade necessária de shards para um LogStore de destino depende de dois fatores:
-
Throughput de gravação. Um único shard de LogStore suporta um throughput máximo de gravação de 5 MB/s. Estime a quantidade necessária de shards de destino com base no número de shards de origem e na concorrência de processamento.
Por exemplo, se o LogStore de origem tiver 20 shards, o LogStore de destino precisará de pelo menos 4 shards.
-
Requisitos de consulta e análise. Se você criar um índice e executar consultas nos dados do LogStore de destino, planeje a quantidade de shards com base no escopo da consulta. Como regra geral, provisione um shard para cada 50 milhões de entradas de log consultadas simultaneamente.
Por exemplo, suponha que você grave 10 GB de logs diariamente, com uma entrada de log média de 1 KB. Isso equivale a 10 milhões de entradas de log por dia. Se suas consultas precisarem abranger um período de 30 dias, você consultará aproximadamente 300 milhões de entradas de log. Neste cenário, configure o LogStore de destino com 6 shards (300 milhões de entradas / 50 milhões de entradas por shard).