Todos os produtos
Search
Central de documentação

Simple Log Service:Importar dados do Kafka

Última atualização: Oct 22, 2026

Importe dados do Kafka para o Simple Log Service para consulta, análise e processamento.

Pré-requisitos

Versões compatíveis

Somente o Kafka 2.0.0 e versões posteriores são compatíveis.

Criar uma configuração de importação de dados

  1. Faça login no Simple Log Service console.

  2. Na seção Import Data, na aba Data Import, clique em Kafka - Data Import.

  3. Selecione o Project e o Logstore de destino e clique em Next.

  4. Configure as definições de importação.

    1. Na etapa Import Settings, configure os seguintes parâmetros.

      Parâmetro

      Descrição

      Task Name

      Nome exclusivo da configuração de importação de dados.

      Display Name

      Nome de exibição da configuração.

      Job Description

      Descrição da configuração de importação.

      Endpoint

      Endpoint do servidor bootstrap do Kafka. Especifique vários endpoints separados por vírgulas (,).

      • Para ApsaraMQ for Kafka, insira o endereço IP ou nome de domínio do endpoint.

      • Para clusters Kafka autogerenciados em instâncias ECS da Alibaba Cloud, insira o endereço IP da instância ECS.

      • Para outros tipos de clusters Kafka, insira o endereço IP público ou nome de domínio de um broker Kafka.

      Topics

      Tópicos Kafka de onde os dados serão importados. Especifique vários tópicos separados por vírgulas (,).

      Consumer Group

      Se você usar o ApsaraMQ for Kafka sem o recurso Free-to-Use Group ativado, selecione um consumer group. Para detalhes sobre como criar um consumer group, consulte Create a consumer group.

      Starting Position

      Posição inicial para importar os dados.

      • Earliest: Inicia a importação a partir do primeiro registro de dados disponível no tópico.

      • Latest: Inicia a importação a partir do registro de dados mais recente no tópico.

      Data Format

      Formato dos dados a importar.

      • Simple Mode: Selecione Simple Mode se seus dados estiverem em formato de linha única.

      • JSON String: Selecione JSON String para dados em formato JSON. Esta opção analisa a primeira camada dos dados JSON em pares chave-valor.

      Nota

      Para mais informações sobre os formatos de compressão compatíveis com a importação de dados Kafka, consulte Limits on data collection from Kafka.

      Parse Array Elements

      Ao ativar Parse Array Elements, o Simple Log Service divide arrays JSON em entradas de log separadas por elemento antes da importação.

      Encoding Format

      Formato de codificação dos dados a importar. Os formatos UTF-8 e GBK são compatíveis.

      VPC ID

      Se seu cluster Kafka estiver em uma Virtual Private Cloud (VPC), como um cluster ApsaraMQ for Kafka ou um cluster autogerenciado em instância ECS, especifique o VPC ID para permitir que o Simple Log Service leia dados pela rede interna.

      O acesso via rede interna oferece maior segurança e estabilidade de conexão.

      Importante

      O cluster Kafka deve estar acessível a partir do bloco CIDR 100.104.0.0/16.

      Time Configuration

      Time Field

      Campo nos dados Kafka que representa o horário do log. O Simple Log Service usa este campo como timestamp para cada entrada de log importada.

      Time Field Extraction Regular Expression

      Se você definir o Data Format como Simple Mode, especifique uma expressão regular para extrair o horário dos dados Kafka.

      Por exemplo, para o conteúdo de log message with time 2022-08-08 14:20:20, defina a Time Field Extraction Regular Expression como \d\d\d\d-\d\d-\d\d \d\d:\d\d:\d\d.

      Time Field Format

      Formato para analisar o valor do campo de tempo.

      • Padrões Java SimpleDateFormat, como yyyy-MM-dd HH:mm:ss. Para mais informações, consulte Class SimpleDateFormat. Para formatos de tempo comuns, veja Time formats.

      • Formatos de tempo Epoch. Os valores válidos são epoch, epochMillis, epochMacro e epochNano.

      Time Zone

      Fuso horário do campo de tempo.

      Esta configuração não é necessária se o formato de tempo for epoch.

      Default Time Source

      Fonte de tempo alternativa quando a extração de tempo não está configurada ou falha. As opções incluem o horário atual do sistema e o timestamp da mensagem Kafka.

      Advanced Settings

      Log Context

      Ao ativar Log Context, você pode visualizar as entradas de log anteriores ou posteriores a uma entrada específica dentro da partição Kafka original.

      Communication Protocol

      Para dados importados via rede pública, recomendamos usar uma conexão criptografada com autenticação de usuário. Configure o protocolo de comunicação conforme o exemplo abaixo.

      O campo protocol aceita plaintext, ssl, sasl_plaintext e sasl_ssl. Recomendamos definir como sasl_ssl, que exige tanto criptografia de conexão quanto autenticação de usuário.

      Se você definir protocol como sasl_plaintext ou sasl_ssl, configure o nó sasl. O campo mechanism pode ser PLAIN, SCRAM-SHA-256 ou SCRAM-SHA-512, representando um mecanismo de autenticação por nome de usuário e senha.

      {
          "protocol":"sasl_plaintext",
           "sasl":{
              "mechanism":"PLAIN",
              "username":"xxx",
              "password":"yyy"
          }
      }

      Private Domain Resolution

      Se os brokers Kafka implantados em instâncias ECS da Alibaba Cloud usarem nomes de domínio internos para comunicação mútua, especifique o nome de domínio e o endereço IP correspondentes para cada broker. O código a seguir apresenta um exemplo.

      {
      "hostname#1":"192.168.XX.XX",
      "hostname#2":"192.168.XX.XX",
      "hostname#3":"192.168.XX.XX"
      }
    2. Clique em Preview para verificar o resultado da importação.

    3. Após confirmar o resultado, clique em Next.

  5. Crie índices e visualize os dados. Em seguida, clique em Next. Por padrão, a indexação de texto completo vem ativada no Simple Log Service. Você também pode criar manualmente índices de campo para os logs coletados ou clicar em Automatic Index Generation para que o Simple Log Service gere os índices de campo automaticamente. Para mais informações, consulte Create indexes.

    Importante

    Recomendamos o uso de índices de texto completo para consultar todos os campos nos logs. Caso precise consultar apenas campos específicos, utilize índices de campo para reduzir o tráfego de indexação. A análise de campos exige a criação de índices de campo e a inclusão de uma instrução SELECT na sua consulta.

  6. Clique em Query Log para acessar a página de consulta e análise e validar a importação dos dados.

    Aguarde cerca de um minuto. Se os dados do Kafka aparecerem, a importação foi bem-sucedida.

Visualizar a configuração de importação de dados

Visualize detalhes e relatórios estatísticos de uma configuração de importação de dados diretamente no console.

  1. Na seção Projects, clique no Project de destino.

  2. Acesse o Logstore de destino, escolha Data Collection > Data Import e clique no nome da configuração.

  3. Na página Import Configuration Overview, visualize as informações básicas e os relatórios estatísticos da configuração.

Operações relacionadas

Na página Import Configuration Overview, você também pode executar as operações abaixo.

  • Modificar uma configuração

    Clique em Edit Configurations para alterar as definições da configuração. Para mais detalhes sobre os parâmetros, consulte Create a data import configuration.

  • Excluir uma configuração

    Clique em Delete Configuration para remover a configuração de importação.

    Aviso

    Esta ação é irreversível. Proceda com cautela.

  • Parar uma tarefa

    Clique em Stop para interromper a tarefa de importação.

Perguntas frequentes

Problema

Causa

Solução

Erro "Broker transport failure" durante a visualização.

  • O endpoint Kafka especificado está incorreto.

  • Os endereços IP do service de importação não foram adicionados à lista de permissões do cluster Kafka.

  • O VPC ID não foi especificado para importar dados de um cluster Kafka implantado na Alibaba Cloud.

  • Verifique se o endpoint Kafka está correto.

  • Adicione os endereços IP do service à lista de permissões do cluster. Para mais informações, consulte IP address allowlist.

  • Ao importar dados de um cluster Kafka pela rede interna da Alibaba Cloud, certifique-se de especificar o VPC ID.

Erro "preview request timed out" durante a visualização.

O tópico Kafka está vazio.

Grave dados no tópico e tente visualizar novamente.

Caracteres ilegíveis aparecem nos dados importados.

O formato de codificação especificado está incorreto.

Atualize o formato de codificação na configuração de importação para corresponder ao formato real dos dados Kafka.

Para corrigir dados ilegíveis existentes, crie um novo Logstore e uma nova configuração de importação.

O horário dos dados exibido no Simple Log Service não corresponde ao horário nos dados de origem.

Nenhum campo de tempo foi especificado, ou o formato/fuso horário está incorreto.

Especifique o campo de tempo, formato e fuso horário corretos. Para mais informações, consulte Create a data import configuration.

Não é possível consultar ou analisar os dados após a importação.

  • Os dados estão fora do intervalo de tempo da consulta.

  • Índices não foram configurados.

  • Os índices ainda não entraram em vigor.

  • Verifique se o timestamp dos dados está dentro do intervalo de tempo da consulta.

    Caso contrário, ajuste o intervalo de tempo e consulte novamente.

  • Verifique se há um índice configurado para o Logstore.

    Se não houver, crie um. Para mais informações, consulte Create indexes e Rebuild Index.

  • Se você já configurou um índice e o painel Data Processing Traffic Monitoring indica importação bem-sucedida, o índice pode não ter entrado em vigor. Tente reconstruir o índice. Para mais informações, consulte Rebuild Index.

A quantidade de entradas de dados importadas é menor que o esperado.

Algumas mensagens Kafka excedem 3 MB. Verifique isso no painel Data Processing Traffic Monitoring.

Reduza o tamanho das mensagens individuais do Kafka.

Alta latência na importação de dados.

  • O cluster Kafka atingiu seu limite de largura de banda.

  • Instabilidade na rede pública.

  • Número insuficiente de partições no tópico Kafka.

  • Número insuficiente de shards no Logstore.

  • Para outras causas possíveis, consulte Performance limits.

  • Verifique se o tráfego do cluster Kafka atingiu o limite de largura de banda, especialmente em clusters na Alibaba Cloud. Se sim, aumente a largura de banda.

  • Se o tópico tiver poucas partições, tente aumentar a quantidade e observe a latência.

  • Se o Logstore tiver poucos shards, tente aumentar a quantidade e observe a latência. Para mais informações, consulte Manage shards.

Como configurar acesso via rede privada para integração com Azure Event Hubs

Quando o Azure Event Hubs é acessado via rede privada VPC, as conexões devem usar o nome de domínio privado. Endpoints de service e resolução DNS privada devem ser configurados conforme necessário.

Para acessar o Azure Event Hubs via rede privada VPC, as conexões devem utilizar o nome de domínio privado. Configure da seguinte forma:

  • Service Address: Insira o nome de domínio privado e o número da porta no formato <private-domain>:<port>

  • Private DNS Resolution: Expanda "Advanced Configuration" e insira o mapeamento de domínio para IP no campo de resolução DNS privada no formato {"<private-domain>": "<private-IP>"}

Mecanismo de tratamento de erros

Erro

Descrição

Erro de conexão de rede

A tarefa de importação tenta novamente conforme agendamento. Após o restabelecimento da conexão, a tarefa retoma automaticamente o consumo de dados a partir do último offset registrado.

Tópico Kafka inexistente

A tarefa ignora o tópico inexistente e continua importando dados de outros tópicos válidos.

Após recriar o tópico, a tarefa começa a consumir dados dele (com atraso de aproximadamente 10 minutos).