O Simple Log Service impõe os seguintes limites à importação de dados do Kafka.
Limites de coleta
|
Limite |
Descrição |
|
Formato de compactação |
O Kafka Producer deve usar compactação gzip, zstd, lz4 ou snappy. O sistema descarta dados compactados em outros formatos. As entradas descartadas aparecem como Deliver Failed no painel Data Processing Insight. Para mais informações, consulte Visualize a configuração de importação de dados. |
|
Número máximo de tópicos |
Uma única configuração de importação de dados suporta até 10.000 tópicos. |
|
Tamanho máximo de log |
O tamanho máximo de um único log é de 3 MB. O sistema descarta logs que excedem esse limite. Os logs descartados aparecem como Deliver Failed no painel Data Processing Insight. Para mais informações, consulte Visualize a configuração de importação de dados. |
|
Posição inicial |
Defina a posição inicial apenas como Earliest ou Latest. Não há suporte para importação de dados a partir de um ponto específico no tempo. |
Limites de configuração
| Limite | Descrição |
| Número de configurações de importação de dados | Um único projeto suporta até 100 configurações de importação de dados de todos os tipos. Caso necessite de um limite maior, envie um ticket. |
| Limite de largura de banda | A largura de banda máxima padrão da rede é de 128 MB/s quando uma tarefa de importação lê dados de um cluster Kafka da Alibaba Cloud por meio de uma VPC. Se precisar de mais largura de banda, envie um ticket. |
Limites de desempenho
| Limite | Descrição |
| Número de subtarefas simultâneas | O Simple Log Service cria automaticamente subtarefas simultâneas com base no número de tópicos. Cada subtarefa processa dados descompactados a até 50 MB/s.
Caso necessite de um limite maior, envie um ticket. |
| Número de partições de tópico | Mais partições em um tópico Kafka melhoram o throughput e permitem o dimensionamento horizontal das subtarefas. Para tópicos de alto volume, recomendamos aumentar o número de partições para pelo menos 16. |
| Número de shards do Logstore | O desempenho de gravação depende do número de shards no Logstore de destino. Cada shard suporta throughput de gravação de 5 MB/s. Para ingestão de alto volume, aumente o número de shards. Para mais informações, consulte Gerenciar shards. |
| Compactação de dados | Para grandes volumes, compacte os dados antes de gravá-los no Kafka e reduza significativamente o tráfego de rede. A transmissão pela rede costuma ser mais lenta que a descompactação, especialmente na importação via internet. |
| Rede | Se o cluster Kafka da Alibaba Cloud estiver em uma VPC, ler dados pela rede da VPC economiza tráfego de internet e oferece velocidades maiores, com largura de banda superior a 100 MB/s. A importação pela internet não garante desempenho nem largura de banda, o que pode causar latência. |
Outros limites
| Limite | Descrição |
| Latência de sincronização de metadados | A tarefa de importação sincroniza metadados do cluster Kafka a cada 10 minutos. Tópicos e partições novos podem levar aproximadamente 10 minutos para reconhecimento. Nota Se a posição inicial estiver definida como Latest, o sistema poderá ignorar os dados iniciais gravados em um novo tópico (até 10 minutos de dados). |
| Período de validade do offset do tópico | O período máximo de validade para um offset de tópico é de 7 dias. Se nenhum dado for lido de um tópico por 7 dias consecutivos, o sistema descartará o offset anterior. Quando novos dados chegarem, a tarefa de importação definirá o novo offset com base na posição inicial da configuração de importação de dados. |