O console do DataHub oferece métricas no nível do tópico na página de detalhes, incluindo solicitações de leitura e gravação, tráfego em tempo real e histórico. Use essas métricas para monitorar o throughput, diagnosticar falhas e avaliar a integridade do tópico.
Métricas
A página de detalhes do tópico disponibiliza seis métricas:
QPS: solicitações de leitura e gravação por segundo.
RPS: registros de leitura e gravação por segundo.
Throughput: throughput de leitura e gravação por segundo, em KB.
Throughput (não compactado): throughput de leitura e gravação não compactado por segundo, em KB.
Falhas: volume de dados de solicitações com falha por segundo, em KB.
Latência: latência de solicitações de leitura e gravação por solicitação, em microssegundos.
Métricas de QPS
Consultas por segundo (QPS) medem quantas solicitações de leitura e gravação o tópico recebe a cada segundo. Uma queda ou pico repentino ajuda a identificar surtos de ingestão ou problemas de conectividade do cliente.
Métricas de RPS
Registros por segundo (RPS) medem quantos registros individuais são lidos ou gravados no tópico a cada segundo. Compare o RPS com o QPS para entender o tamanho médio do lote por solicitação.
Throughput
O throughput mede o fluxo de dados de leitura e gravação compactados em KB por segundo. Esse valor reflete o que é realmente transmitido pela rede após a compactação.
Métricas de Throughput (não compactado)
Esta métrica foi adicionada no DataHub 2.25.
O Throughput (não compactado) mede o fluxo bruto de dados de leitura e gravação em KB por segundo antes da compactação. Compare este valor com o Throughput para entender sua taxa de compactação efetiva: um valor de Throughput mais baixo indica que os dados estão sendo compactados durante a transmissão.
Se o throughput compactado for maior que o throughput não compactado, isso geralmente ocorre por um dos dois motivos:
A compactação não está ativada para solicitações de leitura e gravação do tópico.
A compactação está ativada, mas as solicitações de leitura e gravação não são enviadas em lotes e o protocolo de gravação é JSON.
Métricas de Falhas
Esta métrica foi adicionada no DataHub 2.25.
Se uma única solicitação gravar em vários shards, toda a solicitação será considerada com falha se qualquer operação de gravação falhar.
A métrica Falhas mede o volume de dados de solicitações com falha por segundo, em KB. Um valor diferente de zero indica que algumas solicitações estão sendo rejeitadas. Quando essa métrica aumentar, investigue limitações de shard ou erros de rede.
Métricas de Latência
A latência mede o tempo de ida e volta de ponta a ponta para solicitações de leitura e gravação, em microssegundos. Uma tendência de aumento da latência — especialmente para solicitações de gravação — frequentemente indica contenção de recursos no shard.
Métricas de tráfego em tempo real e histórico
A página de detalhes do tópico inclui dois gráficos de tráfego que oferecem uma visualização temporal da atividade de solicitações. Clique em nos pontos no canto superior direito da área do gráfico para alternar entre as visualizações.
Os gráficos de tráfego histórico e tráfego em tempo real (não compactado) foram adicionados no DataHub 2.25.
Tráfego em tempo real
O gráfico de tráfego em tempo real mostra a atividade atual de solicitações do tópico. A aparência do gráfico varia dependendo se a compactação está ativada.
Quando os dados não estão compactados, o gráfico tem a seguinte aparência:
Quando os dados estão compactados, o gráfico tem a seguinte aparência:
Tráfego histórico
O gráfico de tráfego histórico exibe o tráfego de solicitações do tópico durante os últimos sete dias. Use esta visualização para identificar tendências de uso e padrões recorrentes de tráfego.
