Todos os produtos
Search
Central de documentação

Simple Log Service:Importar dados do Kafka

Última atualização: Jul 03, 2026

O Simple Log Service impõe os seguintes limites à importação de dados do Kafka.

Limites de coleta

Limite

Descrição

Formato de compactação

O Kafka Producer deve usar compactação gzip, zstd, lz4 ou snappy. O sistema descarta dados compactados em outros formatos.

As entradas descartadas aparecem como Deliver Failed no painel Data Processing Insight. Para mais informações, consulte Visualize a configuração de importação de dados.

Número máximo de tópicos

Uma única configuração de importação de dados suporta até 10.000 tópicos.

Tamanho máximo de log

O tamanho máximo de um único log é de 3 MB. O sistema descarta logs que excedem esse limite.

Os logs descartados aparecem como Deliver Failed no painel Data Processing Insight. Para mais informações, consulte Visualize a configuração de importação de dados.

Posição inicial

Defina a posição inicial apenas como Earliest ou Latest. Não há suporte para importação de dados a partir de um ponto específico no tempo.

Limites de configuração

Limite Descrição
Número de configurações de importação de dados Um único projeto suporta até 100 configurações de importação de dados de todos os tipos. Caso necessite de um limite maior, envie um ticket.
Limite de largura de banda A largura de banda máxima padrão da rede é de 128 MB/s quando uma tarefa de importação lê dados de um cluster Kafka da Alibaba Cloud por meio de uma VPC. Se precisar de mais largura de banda, envie um ticket.

Limites de desempenho

Limite Descrição
Número de subtarefas simultâneas O Simple Log Service cria automaticamente subtarefas simultâneas com base no número de tópicos. Cada subtarefa processa dados descompactados a até 50 MB/s.
  • Se o número de tópicos exceder 2.000, o Simple Log Service cria 16 subtarefas.
  • Para mais de 1.000 tópicos, o serviço cria 8 subtarefas.
  • Acima de 500 tópicos, são geradas 4 subtarefas.
  • Com 500 tópicos ou menos, o Simple Log Service cria 2 subtarefas.

Caso necessite de um limite maior, envie um ticket.

Número de partições de tópico Mais partições em um tópico Kafka melhoram o throughput e permitem o dimensionamento horizontal das subtarefas.

Para tópicos de alto volume, recomendamos aumentar o número de partições para pelo menos 16.

Número de shards do Logstore O desempenho de gravação depende do número de shards no Logstore de destino. Cada shard suporta throughput de gravação de 5 MB/s. Para ingestão de alto volume, aumente o número de shards. Para mais informações, consulte Gerenciar shards.
Compactação de dados Para grandes volumes, compacte os dados antes de gravá-los no Kafka e reduza significativamente o tráfego de rede.

A transmissão pela rede costuma ser mais lenta que a descompactação, especialmente na importação via internet.

Rede Se o cluster Kafka da Alibaba Cloud estiver em uma VPC, ler dados pela rede da VPC economiza tráfego de internet e oferece velocidades maiores, com largura de banda superior a 100 MB/s.

A importação pela internet não garante desempenho nem largura de banda, o que pode causar latência.

Outros limites

Limite Descrição
Latência de sincronização de metadados A tarefa de importação sincroniza metadados do cluster Kafka a cada 10 minutos. Tópicos e partições novos podem levar aproximadamente 10 minutos para reconhecimento.
Nota Se a posição inicial estiver definida como Latest, o sistema poderá ignorar os dados iniciais gravados em um novo tópico (até 10 minutos de dados).
Período de validade do offset do tópico O período máximo de validade para um offset de tópico é de 7 dias. Se nenhum dado for lido de um tópico por 7 dias consecutivos, o sistema descartará o offset anterior. Quando novos dados chegarem, a tarefa de importação definirá o novo offset com base na posição inicial da configuração de importação de dados.