Simple Log Service:Importar dados do Kafka

Pré-requisitos

• Um cluster Kafka disponível.

• Crie um Project e um Logstore. Para mais informações, consulte Gerencie Projects e Crie um Logstore.

Versões suportadas

Somente as versões Kafka 2.0.0 e posteriores são suportadas.

Criar uma configuração de importação de dados

1. Faça login no console do Simple Log Service.

2. Na seção Import Data, na aba Data Import, clique em Kafka - Data Import.

3. Selecione o Project e o Logstore de destino e clique em Next.

4. Configure as definições de importação.

   1. Na etapa Import Settings, configure os seguintes parâmetros.

      Parâmetro	Descrição
      Task Name	Nome exclusivo da configuração de importação de dados.
      Display Name	Nome de exibição da configuração.
      Job Description	Descrição da configuração de importação.
      Endpoint	Endpoint do servidor bootstrap do Kafka. Especifique vários endpoints separados por vírgulas (,). Para ApsaraMQ for Kafka, insira o endereço IP ou nome de domínio do endpoint. Para um cluster Kafka autogerenciado em uma instância ECS da Alibaba Cloud, insira o endereço IP da instância ECS. Para outros tipos de clusters Kafka, insira o endereço IP público ou nome de domínio de um broker Kafka. Nota How to configure private network access for Azure Event Hubs integration
      Topics	Tópicos Kafka de onde importar dados. Especifique vários tópicos separados por vírgulas (,).
      Consumer Group	Ao usar o ApsaraMQ for Kafka sem o recurso Free-to-Use Group ativado, selecione um grupo de consumidores. Para saber como criar um grupo de consumidores, consulte Create a consumer group.
      Starting Position	Posição inicial da importação de dados. Earliest: Inicia a importação a partir do primeiro registro de dados disponível no tópico. Latest: Inicia a importação a partir do registro de dados mais recente no tópico.
      Data Format	Formato dos dados a importar. Simple Mode: Selecione Simple Mode se seus dados estiverem em formato de linha única. JSON String: Selecione JSON String para dados em formato JSON. Esta configuração analisa a primeira camada de dados JSON em pares chave-valor.
      Parse Array Elements	Ao ativar Parse Array Elements, o Simple Log Service divide arrays JSON em entradas de log separadas por elemento antes da importação.
      Encoding Format	Formato de codificação dos dados a importar. UTF-8 e GBK são suportados.
      VPC ID	Se o cluster Kafka estiver em uma Virtual Private Cloud (VPC), como um cluster ApsaraMQ for Kafka ou autogerenciado em instância ECS, especifique o VPC ID para permitir que o Simple Log Service leia dados pela rede interna. O acesso pela rede interna oferece maior segurança e estabilidade. Importante O cluster Kafka deve estar acessível pelo bloco CIDR 100.104.0.0/16.
      Time Configuration
      Time Field	Campo nos dados Kafka que representa o horário do log. O Simple Log Service usa este campo como timestamp para cada entrada de log importada.
      Time Field Extraction Regular Expression	Ao definir Data Format como Simple Mode, especifique uma expressão regular para extrair o horário dos dados Kafka. Por exemplo, para o conteúdo de log message with time 2022-08-08 14:20:20, defina Time Field Extraction Regular Expression como \d\d\d\d-\d\d-\d\d \d\d:\d\d:\d\d.
      Time Field Format	Formato para analisar o valor do campo de tempo. Padrões Java SimpleDateFormat, como yyyy-MM-dd HH:mm:ss. Para mais informações, consulte Class SimpleDateFormat. Para formatos de tempo comuns, veja Time formats. Formatos de tempo Epoch. Valores válidos: epoch, epochMillis, epochMacro e epochNano.
      Time Zone	Fuso horário do campo de tempo. Esta configuração não é necessária se o formato de tempo for epoch.
      Default Time Source	Fonte de tempo alternativa quando a extração de tempo não está configurada ou falha. As opções incluem o horário atual do sistema e o timestamp da mensagem Kafka.
      Advanced Settings
      Log Context	Ao ativar Log Context, visualize as entradas de log anteriores ou posteriores a uma entrada específica dentro da partição Kafka original.
      Communication Protocol	Para dados importados pela rede pública, recomenda-se usar conexão criptografada com autenticação de usuário. Configure o protocolo de comunicação conforme o exemplo abaixo. O campo protocol suporta plaintext, ssl, sasl_plaintext e sasl_ssl. Recomenda-se definir como sasl_ssl, que exige criptografia de conexão e autenticação de usuário. Ao definir protocol como sasl_plaintext ou sasl_ssl, configure o nó sasl. O campo mechanism pode ser PLAIN, SCRAM-SHA-256 ou SCRAM-SHA-512, representando mecanismos de autenticação por nome de usuário e senha. { "protocol":"sasl_plaintext", "sasl":{ "mechanism":"PLAIN", "username":"xxx", "password":"yyy" } }
      Private Domain Resolution	Se brokers Kafka em instâncias ECS da Alibaba Cloud usarem nomes de domínio internos para comunicação, especifique o nome de domínio e endereço IP correspondentes para cada broker. Veja o exemplo no código abaixo. { "hostname#1":"192.168.XX.XX", "hostname#2":"192.168.XX.XX", "hostname#3":"192.168.XX.XX" }

   2. Clique em Preview para verificar o resultado da importação.

   3. Após confirmar o resultado, clique em Next.

5. Crie índices e visualize os dados. Em seguida, clique em Next. Por padrão, a indexação de texto completo está ativada no Simple Log Service. Crie manualmente índices de campo para os logs coletados ou clique em Automatic Index Generation para gerar os índices de campo automaticamente. Para mais informações, consulte Create indexes — Modification instructions.

   Importante

   Para consultar todos os campos nos logs, utilize índices de texto completo. Para consultar apenas campos específicos, prefira índices de campo, pois isso reduz o tráfego de indexação. A análise de campos exige a criação de índices de campo e a inclusão de uma instrução SELECT na consulta.

6. Clique em Query Log para acessar a página de consulta e análise e validar a importação de dados.

   Aguarde cerca de um minuto. Se os dados do Kafka aparecerem, a importação foi bem-sucedida.

Visualizar a configuração de importação de dados

Visualize detalhes e relatórios estatísticos de uma configuração de importação de dados no console.

1. Na seção Projects, clique em no Project de destino.

2. Acesse o Logstore de destino, escolha Data Collection > Data Import e clique em no nome da configuração.

3. Na página Import Configuration Overview, visualize as informações básicas e relatórios estatísticos da configuração.

Operações relacionadas

Na página Import Configuration Overview, também é possível executar as seguintes operações.

• Modificar uma configuração

  Clique em Edit Configurations para alterar as definições da configuração. Para mais detalhes sobre os parâmetros, consulte Create a data import configuration.

• Excluir uma configuração

  Clique em Delete Configuration para remover a configuração de importação.

  Aviso

  Esta ação não pode ser desfeita. Proceda com cautela.

• Parar uma tarefa

  Clique em Stop para interromper a tarefa de importação.

Perguntas frequentes

Mecanismo de tratamento de erros