Ao criar um tópico em uma instância do ApsaraMQ for Kafka, defina o armazenamento em nuvem ou o armazenamento local como mecanismo de armazenamento. O armazenamento em nuvem utiliza o algoritmo de disco da Alibaba Cloud e oferece baixa latência e alta capacidade de Auto Scaling. Esse mecanismo atende à maioria dos cenários. Se você tiver requisitos específicos para recursos como compactação, idempotência, transações e mensagens ordenadas por partição, use o armazenamento local.
Comparação entre armazenamento em nuvem e armazenamento local
Para obter informações sobre as versões do Apache Kafka compatíveis com as diferentes edições do ApsaraMQ for Kafka, consulte Edições de instância.
Defina o parâmetro Storage Engine como Cloud Storage ou Local Storage durante a criação de tópicos apenas em instâncias não serverless do ApsaraMQ for Kafka Professional Edition. Em outros tipos de instância, o sistema configura automaticamente o parâmetro Storage Engine como Cloud Storage. A atualização do Apsara Distributed File System resolveu problemas de compatibilidade de recursos específicos do armazenamento em nuvem, o que elimina a necessidade de múltiplos mecanismos de armazenamento complementares.
O termo "armazenamento local" não se refere a discos locais físicos, mas ao uso do algoritmo nativo de In-Sync Replicas (ISR).
Item | Cloud storage | Local storage |
Algoritmo subjacente | Algoritmo de disco da Alibaba Cloud | Algoritmo ISR nativo do Apache Kafka |
Requisitos de edição da instância | Nenhum | |
Mecanismo de réplica | Três réplicas em modo distribuído
| Três réplicas em modo distribuído Se você comprar um disco com 300 GB de espaço de armazenamento, poderá armazenar 100 GB de dados de negócios no disco. Os 200 GB restantes de espaço de armazenamento armazenam as duas réplicas dos seus dados de negócios. |
Latência de envio de mensagens | Baixa | Alta |
Proporção de consumo de partições | 1:1 Ao criar um tópico que exige 12 partições, o sistema deduz 12 partições da cota de partições da instância que contém o tópico. | 1:3 Na criação de um tópico com 12 partições, o sistema deduz 36 partições da cota total da instância correspondente. |
Armazenamento fragmentado | Não | Sim |
Compactação | Não suportado | Suportado |
Idempotência | Não suportado | Suportado |
Transação | Não suportado | Suportado |
Tipo de mensagem | Mensagens normais Em caso de reinicializações ou falhas no cluster, um pequeno número de mensagens pode ficar desordenado. | Mensagens ordenadas por partição Diante de falhas no cluster, o sistema seleciona automaticamente um novo líder a partir do ISR. |
Referências
Para saber como selecionar o mecanismo de armazenamento de um tópico criado em uma instância do ApsaraMQ for Kafka Professional Edition, consulte Etapa 1: Criar um tópico.