ApsaraMQ for Kafka:Terms

Apache Kafka

Plataforma distribuída e open-source para processamento de fluxos de dados em tempo real. Permite publicar, inscrever-se, armazenar e processar fluxos de dados em tempo real. Para mais informações, consulte Apache Kafka.

ApsaraMQ for Kafka

Serviço Apache Kafka totalmente gerenciado fornecido pela Alibaba Cloud. O ApsaraMQ for Kafka cuida da implantação e manutenção, oferecendo alta escalabilidade, confiabilidade e throughput com custo reduzido. Para mais informações, consulte O que é o ApsaraMQ for Kafka?

Modelo de publicação-assinatura

Modelo de comunicação assíncrona no qual produtores e consumidores são desacoplados. O produtor envia mensagens para um tópico sem saber quais consumidores as leem. O consumidor lê mensagens de um tópico sem saber qual produtor as enviou. O ApsaraMQ for Kafka utiliza esse modelo. Para mais informações, consulte Modelo de publicação-assinatura do ApsaraMQ Kafka.

Mensagem

Unidade básica de dados no ApsaraMQ for Kafka. Internamente, cada mensagem é um array de bytes. Exemplos comuns incluem visualizações de página, logs de servidor e métricas de recursos do sistema, como uso de CPU e memória.

Duração de retenção de mensagens

Tempo máximo de retenção das mensagens quando há capacidade suficiente em disco.

• Valores válidos: 24 a 480 horas. Valor padrão: 72 horas.

• Quando o uso do disco atinge 85%, o sistema exclui primeiro as mensagens mais antigas para manter a disponibilidade do serviço.

Tamanho máximo da mensagem

Tamanho máximo de uma única mensagem que os produtores podem enviar e os consumidores podem receber.

• Instâncias das edições Standard e Professional suportam mensagens de até 10 MB.

• Antes de alterar este valor, verifique se ele corresponde ao tamanho máximo de mensagem configurado tanto nos produtores quanto nos consumidores.

Broker

Nó de servidor em um cluster do ApsaraMQ for Kafka. A quantidade e as configurações de brokers dimensionam automaticamente com base nas especificações de tráfego da instância. Não é necessário gerenciar brokers manualmente.

ZooKeeper

Serviço de coordenação distribuído e open-source. No ApsaraMQ for Kafka, o ZooKeeper gerencia clusters, armazena configurações e lida com a eleição de líderes. Trata-se de um componente interno que não requer interação do usuário.

Cluster

Conjunto de brokers que trabalham juntos para armazenar e servir mensagens.

Instância

Entidade de recurso independente no ApsaraMQ for Kafka. Cada instância corresponde a um cluster.

Instância conectada à VPC

Instância que expõe apenas um endpoint de virtual private cloud (VPC). Uma instância conectada à VPC é acessível somente a partir da VPC onde está implantada.

Instância conectada à Internet e à VPC

Instância que expõe tanto um endpoint público quanto um endpoint de VPC. Este tipo de instância é acessível a partir da VPC onde está implantada e também pela internet.

Endpoint

Endereço que produtores e consumidores usam para se conectar ao ApsaraMQ for Kafka, em um dos seguintes formatos:

• <broker-ip>:<port> -- endereço IP e porta no nível do broker

• <instance-domain>:<port> -- nome de domínio e porta no nível da instância

Para mais informações, consulte Comparação entre endpoints.

Tópico

Tópico de mensagem usado para classificar mensagens.

Partição

Subdivisão de um tópico. Cada partição é uma fila de mensagens ordenada e legível independentemente. As partições têm duas finalidades:

• Paralelismo: Vários consumidores podem ler de diferentes partições simultaneamente.

• Escalabilidade: O armazenamento de dados e a E/S são distribuídos pelos brokers no cluster.

O número de partições determina o throughput máximo e a concorrência de consumidores para um tópico.

Rebalanceamento de tráfego de tópicos

Operação que redistribui uniformemente o tráfego de tópicos após o scale-out de um cluster do ApsaraMQ for Kafka. Execute um rebalanceamento para garantir que os novos brokers compartilhem a carga. Para mais informações, consulte Rebalancear tráfego de tópicos.

Réplicas

Cópias de cada partição que fornecem redundância de dados e alta disponibilidade. Cada partição possui um número configurável de réplicas, conhecido como fator de replicação.

• Fator de replicação padrão: 3.

• Fatores de replicação maiores aumentam a tolerância a falhas, mas também elevam a sobrecarga de armazenamento e rede.

Réplicas de partição

Contagem total de réplicas em todas as partições de um tópico, calculada da seguinte forma:

Réplicas de partição = Número de partições x Fator de replicação

Por exemplo, um tópico com 10 partições e fator de replicação 3 possui 30 réplicas de partição. Uma contagem maior de réplicas de partição melhora a tolerância a falhas e o desempenho de leitura, mas aumenta a sobrecarga de rede e armazenamento.

Armazenamento em nuvem

Motor de armazenamento construído sobre discos da Alibaba Cloud. Em comparação ao armazenamento local, o armazenamento em nuvem oferece melhor Auto Scaling, confiabilidade, disponibilidade e custo-benefício. Utilize o armazenamento em nuvem para a maioria das cargas de trabalho. Para mais informações, consulte Comparação entre motores de armazenamento.

Armazenamento local

Motor de armazenamento que utiliza o algoritmo In-Sync Replicas (ISR) nativo do Apache Kafka. Use o armazenamento local quando sua carga de trabalho exigir compactação, idempotência, transações ou mensagens ordenadas por partição. Para mais informações, consulte Comparação entre motores de armazenamento.

Política de limpeza

Política de limpeza de log para um tópico. As políticas de limpeza aplicam-se apenas a tópicos que usam armazenamento local em instâncias da Professional Edition. O ApsaraMQ for Kafka suporta duas políticas:

• Delete (padrão): Retém mensagens até o período de retenção configurado. Quando o uso do disco excede 85%, o sistema exclui primeiro as mensagens mais antigas para manter a disponibilidade.

• Compact: Retém apenas o valor mais recente para cada chave de mensagem, seguindo a compactação de log do Apache Kafka. Utilize esta política para cenários de recuperação de estado, como restaurar um sistema ou recarregar um cache após reinicialização. O Kafka Connect e o Confluent Schema Registry exigem tópicos com log compactado.

Produtor

Aplicação que envia mensagens para o ApsaraMQ for Kafka.

Consumidor

Aplicação que lê mensagens do ApsaraMQ for Kafka.

Grupo

Conjunto de consumidores que compartilham o mesmo ID de grupo. Dentro de um grupo de consumidores, cada mensagem de um tópico assinado é entregue a exatamente um consumidor. Isso possibilita:

• Balanceamento de carga: O processamento de mensagens é distribuído entre os membros do grupo.

• Consumo paralelo: Vários consumidores processam mensagens de um tópico simultaneamente.

Assinatura

Relação entre um grupo de consumidores e os tópicos que ele consome. Apenas grupos de consumidores ativamente conectados podem ser consultados. Grupos desconectados não ficam visíveis.

Offset

Número de sequência atribuído a cada mensagem ao chegar em uma partição. Os offsets identificam a posição de uma mensagem dentro do log da partição e são usados para rastrear o progresso do consumo.

Offset inicial

Offset da primeira mensagem disponível em uma partição. Para mais informações, consulte Visualizar status da partição.

Offset máximo

Offset da mensagem mais recente em uma partição. Para mais informações, consulte Visualizar status da partição.

Offset do consumidor

Offset da última mensagem que um grupo de consumidores consumiu em uma partição. Este valor rastreia o progresso de consumo do grupo. Para mais informações, consulte Visualizar informações do consumidor.

Mensagens acumuladas

Número de mensagens não consumidas em uma partição, calculado da seguinte forma:

Mensagens acumuladas = Offset máximo - Offset do consumidor

Uma contagem crescente indica que os consumidores estão ficando para trás — seja por bloqueio ou por consumo mais lento do que o envio dos produtores. Para resolver o acúmulo, analise a integridade dos consumidores e escale o consumo. É possível limpar todas as mensagens acumuladas para consumir a partir do offset mais recente ou redefinir o offset do consumidor para um ponto específico no tempo. Para mais informações, consulte Redefinir offsets do consumidor.

Último horário de consumo

Horário em que a mensagem consumida mais recentemente foi originalmente publicada no broker. Quando não há mensagens acumuladas, este valor fica próximo ao horário atual de envio.

Mensagem normal

Tipo de mensagem padrão. Mensagens com a mesma chave são armazenadas na mesma partição, na ordem de envio. No entanto, se um broker reiniciar ou falhar, um pequeno número de mensagens pode ser entregue fora de ordem. Para mais informações, consulte Comparação entre motores de armazenamento.

Mensagem ordenada por partição

Tipo de mensagem que garante ordenação estrita dentro de uma partição. Mensagens com a mesma chave são armazenadas na mesma partição, na ordem de envio, e essa ordenação se mantém mesmo durante falhas de broker. A contrapartida é que as partições afetadas param de aceitar gravações até que os brokers com falha se recuperem. Para mais informações, consulte Comparação entre motores de armazenamento.

Upgrade de versão principal

Upgrade que altera o número da versão principal de uma instância do ApsaraMQ for Kafka. Por exemplo, fazer upgrade da versão 0.10.x para a versão 2.x. Para mais informações, consulte Atualizar versões da instância.

Atualização de versão secundária

Atualização que mantém inalterado o número da versão principal. Por exemplo, atualizar da versão 0.10 para a versão 0.10.2, ou da versão 0.10.2 para a versão 0.10.2 otimizada para kernel. Para mais informações, consulte Atualizar versões da instância.

RAM

O Resource Access Management (RAM) é um serviço da Alibaba Cloud para gerenciar identidades de usuários e permissões de acesso a recursos. Use o RAM para controlar quem pode acessar recursos do ApsaraMQ for Kafka por meio do console ou de operações de API. Para mais informações, consulte Visão geral.

ACL

As listas de controle de acesso (ACLs) gerenciam permissões para usuários e clientes do Simple Authentication and Security Layer (SASL) enviarem e receberem mensagens por meio de SDKs. As ACLs aplicam-se especificamente a cenários em que você deseja implementar controle de acesso para usuários que utilizam SDKs para enviar e receber mensagens. Esse recurso é consistente com as ACLs do Apache Kafka open-source. Para mais informações, consulte Visão geral.

Connector

Componente que sincroniza dados entre o ApsaraMQ for Kafka e outros serviços da Alibaba Cloud. Para mais informações, consulte Visão geral.

Tag

Par chave-valor associado a um recurso do ApsaraMQ for Kafka. Use tags para classificar, pesquisar e agregar recursos por critérios personalizados. Para mais informações, consulte Gerenciar tags.