Saiba quais fatores afetam o desempenho da transformação de dados e como otimizar o throughput ajustando shards e a lógica de transformação.
Com base em how it works, a velocidade geral de um job de transformação de dados depende do número de shards no LogStore de source e da complexidade da lógica de transformação. Como diretriz, planeje um throughput de processamento de 1 MB/s de dados não compactados por shard, equivalente a aproximadamente 85 GB por dia por shard. Por exemplo, se a taxa de gravação de dados do LogStore de source for de 1 TB por dia, divida-o em pelo menos 12 shards (1.024 GB / 85 GB por shard ≈ 12). Para obter mais informações sobre a divisão de shards, consulte Split a shard.
Desempenho da transformação de dados
A velocidade da transformação de dados varia conforme a lógica aplicada. Os principais fatores incluem:
-
Dados de saída
O desempenho diminui à medida que o volume de dados de saída aumenta. Gerar mais entradas de log (por exemplo, ao dividir uma entrada em várias), adicionar campos ou aumentar o tamanho do conteúdo consome mais recursos de CPU e rede, o que reduz o throughput.
Gravar em vários destinos, adicionar diversas tags a cada entrada de log ou criar mais grupos de logs torna o processo mais lento. Cada ação aumenta as interações de rede e a sobrecarga do sistema.
-
Lógica de transformação
Lógicas complexas exigem mais buscas, cálculos e sincronizações com recursos externos. Essas operações consomem recursos adicionais de computação e rede, impactando negativamente o throughput.
-
Fontes de dados externas
Ao utilizar uma fonte de terceiros para enriquecer seus dados, volumes maiores de dados extraídos tornam a transformação mais lenta. A extração de dados entre regiões, como objetos do OSS em outra região, reduz ainda mais o desempenho.
Dimensionar a transformação do LogStore de source
-
Dimensionamento da transformação de dados em tempo real.
Aumente o número de shards para melhorar o desempenho da transformação de dados em tempo real. Para obter mais informações sobre os métodos de faturamento de shards, consulte Pay-by-feature billing.
-
Dimensionamento da transformação de dados históricos.
A divisão de shards afeta apenas os dados gravados recentemente. Para processar um grande volume de dados históricos em um LogStore com poucos shards, crie múltiplos jobs de transformação. Configure cada job para processar um intervalo de tempo separado e sem sobreposição. Por exemplo, para processar logs históricos de 1º de setembro a 10 de setembro, crie dez jobs para processar os dados em incrementos diários, como
[9/1, 9/2), [9/2, 9/3), ..., [9/10, 9/11).NotaO tempo de transformação corresponde ao momento de recebimento do log. Para mais detalhes, consulte Create a data transformation job.
Dimensionar a transformação do LogStore de destino
A quantidade necessária de shards para um LogStore de destino depende de dois fatores:
-
Throughput de gravação. Um único shard de LogStore suporta throughput máximo de gravação de 5 MB/s. Estime a quantidade necessária de shards de destino com base no número de shards de source e na concorrência de processamento.
Por exemplo, se o LogStore de source tiver 20 shards, o LogStore de destino precisará de pelo menos 4 shards.
-
Requisitos de consulta e análise. Caso crie um índice e execute consultas nos dados do LogStore de destino, planeje o número de shards conforme o escopo das consultas. Como regra geral, provisione um shard para cada 50 milhões de entradas de log consultadas simultaneamente.
Por exemplo, suponha que você grave 10 GB de logs diariamente, com média de 1 KB por entrada. Isso resulta em 10 milhões de entradas de log por dia. Se suas consultas precisarem abranger um período de 30 dias, você consultará aproximadamente 300 milhões de entradas. Nesse cenário, configure o LogStore de destino com 6 shards (300 milhões de entradas / 50 milhões de entradas por shard).