Importe dados do Kafka para o Simple Log Service para consulta, análise e processamento.
Pré-requisitos
Um cluster Kafka disponível.
Você criou um Project e um Logstore. Para mais informações, consulte Gerencie Projects e Crie um Logstore.
Versões compatíveis
Somente o Kafka 2.0.0 e versões posteriores são compatíveis.
Criar uma configuração de importação de dados
Faça login no Simple Log Service console.
Na seção Import Data, na aba Data Import, clique em Kafka - Data Import.
Selecione o Project e o Logstore de destino e clique em Next.
-
Configure as definições de importação.
-
Na etapa Import Settings, configure os seguintes parâmetros.
Parâmetro
Descrição
Task Name
Nome exclusivo da configuração de importação de dados.
Display Name
Nome de exibição da configuração.
Job Description
Descrição da configuração de importação.
Endpoint
Endpoint do servidor bootstrap do Kafka. Especifique vários endpoints separados por vírgulas (,).
-
Para ApsaraMQ for Kafka, insira o endereço IP ou nome de domínio do endpoint.
-
Para clusters Kafka autogerenciados em instâncias ECS da Alibaba Cloud, insira o endereço IP da instância ECS.
-
Para outros tipos de clusters Kafka, insira o endereço IP público ou nome de domínio de um broker Kafka.
Topics
Tópicos Kafka de onde os dados serão importados. Especifique vários tópicos separados por vírgulas (,).
Consumer Group
Se você usar o ApsaraMQ for Kafka sem o recurso Free-to-Use Group ativado, selecione um consumer group. Para detalhes sobre como criar um consumer group, consulte Create a consumer group.
Starting Position
Posição inicial para importar os dados.
-
Earliest: Inicia a importação a partir do primeiro registro de dados disponível no tópico.
-
Latest: Inicia a importação a partir do registro de dados mais recente no tópico.
Data Format
Formato dos dados a importar.
-
Simple Mode: Selecione Simple Mode se seus dados estiverem em formato de linha única.
-
JSON String: Selecione JSON String para dados em formato JSON. Esta opção analisa a primeira camada dos dados JSON em pares chave-valor.
NotaPara mais informações sobre os formatos de compressão compatíveis com a importação de dados Kafka, consulte Limits on data collection from Kafka.
Parse Array Elements
Ao ativar Parse Array Elements, o Simple Log Service divide arrays JSON em entradas de log separadas por elemento antes da importação.
Encoding Format
Formato de codificação dos dados a importar. Os formatos UTF-8 e GBK são compatíveis.
VPC ID
Se seu cluster Kafka estiver em uma Virtual Private Cloud (VPC), como um cluster ApsaraMQ for Kafka ou um cluster autogerenciado em instância ECS, especifique o VPC ID para permitir que o Simple Log Service leia dados pela rede interna.
O acesso via rede interna oferece maior segurança e estabilidade de conexão.
ImportanteO cluster Kafka deve estar acessível a partir do bloco CIDR 100.104.0.0/16.
Time Configuration
Time Field
Campo nos dados Kafka que representa o horário do log. O Simple Log Service usa este campo como timestamp para cada entrada de log importada.
Time Field Extraction Regular Expression
Se você definir o Data Format como Simple Mode, especifique uma expressão regular para extrair o horário dos dados Kafka.
Por exemplo, para o conteúdo de log
message with time 2022-08-08 14:20:20, defina a Time Field Extraction Regular Expression como\d\d\d\d-\d\d-\d\d \d\d:\d\d:\d\d.Time Field Format
Formato para analisar o valor do campo de tempo.
-
Padrões Java SimpleDateFormat, como yyyy-MM-dd HH:mm:ss. Para mais informações, consulte Class SimpleDateFormat. Para formatos de tempo comuns, veja Time formats.
-
Formatos de tempo Epoch. Os valores válidos são epoch, epochMillis, epochMacro e epochNano.
Time Zone
Fuso horário do campo de tempo.
Esta configuração não é necessária se o formato de tempo for epoch.
Default Time Source
Fonte de tempo alternativa quando a extração de tempo não está configurada ou falha. As opções incluem o horário atual do sistema e o timestamp da mensagem Kafka.
Advanced Settings
Log Context
Ao ativar Log Context, você pode visualizar as entradas de log anteriores ou posteriores a uma entrada específica dentro da partição Kafka original.
Communication Protocol
Para dados importados via rede pública, recomendamos usar uma conexão criptografada com autenticação de usuário. Configure o protocolo de comunicação conforme o exemplo abaixo.
O campo protocol aceita plaintext, ssl, sasl_plaintext e sasl_ssl. Recomendamos definir como sasl_ssl, que exige tanto criptografia de conexão quanto autenticação de usuário.
Se você definir protocol como sasl_plaintext ou sasl_ssl, configure o nó sasl. O campo mechanism pode ser PLAIN, SCRAM-SHA-256 ou SCRAM-SHA-512, representando um mecanismo de autenticação por nome de usuário e senha.
{ "protocol":"sasl_plaintext", "sasl":{ "mechanism":"PLAIN", "username":"xxx", "password":"yyy" } }Private Domain Resolution
Se os brokers Kafka implantados em instâncias ECS da Alibaba Cloud usarem nomes de domínio internos para comunicação mútua, especifique o nome de domínio e o endereço IP correspondentes para cada broker. O código a seguir apresenta um exemplo.
{ "hostname#1":"192.168.XX.XX", "hostname#2":"192.168.XX.XX", "hostname#3":"192.168.XX.XX" } -
Clique em Preview para verificar o resultado da importação.
Após confirmar o resultado, clique em Next.
-
-
Crie índices e visualize os dados. Em seguida, clique em Next. Por padrão, a indexação de texto completo vem ativada no Simple Log Service. Você também pode criar manualmente índices de campo para os logs coletados ou clicar em Automatic Index Generation para que o Simple Log Service gere os índices de campo automaticamente. Para mais informações, consulte Create indexes.
ImportanteRecomendamos o uso de índices de texto completo para consultar todos os campos nos logs. Caso precise consultar apenas campos específicos, utilize índices de campo para reduzir o tráfego de indexação. A análise de campos exige a criação de índices de campo e a inclusão de uma instrução SELECT na sua consulta.
-
Clique em Query Log para acessar a página de consulta e análise e validar a importação dos dados.
Aguarde cerca de um minuto. Se os dados do Kafka aparecerem, a importação foi bem-sucedida.
Visualizar a configuração de importação de dados
Visualize detalhes e relatórios estatísticos de uma configuração de importação de dados diretamente no console.
Na seção Projects, clique no Project de destino.
Acesse o Logstore de destino, escolha e clique no nome da configuração.
Na página Import Configuration Overview, visualize as informações básicas e os relatórios estatísticos da configuração.
Operações relacionadas
Na página Import Configuration Overview, você também pode executar as operações abaixo.
-
Modificar uma configuração
Clique em Edit Configurations para alterar as definições da configuração. Para mais detalhes sobre os parâmetros, consulte Create a data import configuration.
-
Excluir uma configuração
Clique em Delete Configuration para remover a configuração de importação.
AvisoEsta ação é irreversível. Proceda com cautela.
-
Parar uma tarefa
Clique em Stop para interromper a tarefa de importação.
Perguntas frequentes
|
Problema |
Causa |
Solução |
|
Erro "Broker transport failure" durante a visualização. |
|
|
|
Erro "preview request timed out" durante a visualização. |
O tópico Kafka está vazio. |
Grave dados no tópico e tente visualizar novamente. |
|
Caracteres ilegíveis aparecem nos dados importados. |
O formato de codificação especificado está incorreto. |
Atualize o formato de codificação na configuração de importação para corresponder ao formato real dos dados Kafka. Para corrigir dados ilegíveis existentes, crie um novo Logstore e uma nova configuração de importação. |
|
O horário dos dados exibido no Simple Log Service não corresponde ao horário nos dados de origem. |
Nenhum campo de tempo foi especificado, ou o formato/fuso horário está incorreto. |
Especifique o campo de tempo, formato e fuso horário corretos. Para mais informações, consulte Create a data import configuration. |
|
Não é possível consultar ou analisar os dados após a importação. |
|
|
|
A quantidade de entradas de dados importadas é menor que o esperado. |
Algumas mensagens Kafka excedem 3 MB. Verifique isso no painel Data Processing Traffic Monitoring. |
Reduza o tamanho das mensagens individuais do Kafka. |
|
Alta latência na importação de dados. |
|
|
|
Como configurar acesso via rede privada para integração com Azure Event Hubs |
Quando o Azure Event Hubs é acessado via rede privada VPC, as conexões devem usar o nome de domínio privado. Endpoints de service e resolução DNS privada devem ser configurados conforme necessário. |
Para acessar o Azure Event Hubs via rede privada VPC, as conexões devem utilizar o nome de domínio privado. Configure da seguinte forma: |
Mecanismo de tratamento de erros
|
Erro |
Descrição |
|
Erro de conexão de rede |
A tarefa de importação tenta novamente conforme agendamento. Após o restabelecimento da conexão, a tarefa retoma automaticamente o consumo de dados a partir do último offset registrado. |
|
Tópico Kafka inexistente |
A tarefa ignora o tópico inexistente e continua importando dados de outros tópicos válidos. Após recriar o tópico, a tarefa começa a consumir dados dele (com atraso de aproximadamente 10 minutos). |