Este artigo descreve como criar e usar um conector sink do SLS para exportar dados de um tópico de origem em uma instância do ApsaraMQ for Kafka para o Simple Log Service (SLS).
Pré-requisitos
Para obter as etapas detalhadas, consulte Prerequisites.
Etapa 1: Crie os recursos de destino
Crie um projeto. Para mais informações, consulte crie um projeto.
Crie um Logstore. Para mais informações, consulte crie um Logstore.
Este tópico usa como exemplo um projeto chamado guide-sls-sink-project e um Logstore chamado guide-sls-sink-logstore.
Etapa 2: Crie e inicie o conector sink do SLS
Faça login no console do ApsaraMQ for Kafka. Na página Overview, selecione uma região na seção Resource Distribution.
No painel de navegação à esquerda, escolha .
-
Na página Tasks, clique em Create Task.
Crie uma tarefa.
-
Na etapa Source, selecione Message Queue for Apache Kafka como o Data Provider. Configure os parâmetros a seguir e clique em Next.
Parâmetro
Descrição
Exemplo
Region
A região da instância de origem do Message Queue for Apache Kafka.
China (Beijing)
Kafka instance
A instância de origem do Message Queue for Apache Kafka.
alikafka_post-cn-jte3****
Topic
O tópico de origem das mensagens.
demo-topic
Group ID
O grupo de consumidores da instância de origem.
-
Quick Create (recomendado): O sistema cria automaticamente um Group ID no formato
GID_EVENTBRIDGE_xxx. -
Use Existing: Selecione um Group ID existente. Não compartilhe este Group ID com outros serviços para evitar interromper o consumo de mensagens.
Quick Create
Consumer offset
O offset inicial para o consumo de mensagens.
-
Latest offset (latest)
-
Earliest offset (earliest)
Latest offset (latest)
Network configuration
O tipo de rede para roteamento de mensagens.
-
Basic Network
-
Self-managed Internet
Basic Network
VPC
Obrigatória apenas se a Network configuration estiver definida como Self-managed Internet.
vpc-bp17fapfdj0dwzjkd****
vSwitch
Obrigatório apenas se a Network configuration estiver definida como Self-managed Internet.
vsw-bp1gbjhj53hdjdkg****
Security group
Obrigatório apenas se a Network configuration estiver definida como Self-managed Internet.
alikafka_pre-cn-7mz2****
Data Format
O formato de codificação do conteúdo da mensagem. Recomendamos Json se não houver requisitos específicos de codificação.
-
Json: Codifica dados binários como um objeto JSON no payload em UTF-8.
-
Text: Codifica dados binários como uma string UTF-8 no payload. Formato padrão.
-
Binary: Codifica dados binários como uma string em Base64 no payload.
Json
Messages
Parâmetro de Advanced configuration. Número máximo de mensagens por lote. O sistema envia uma requisição quando a contagem acumulada de mensagens atinge esse valor. Valores válidos: 1 a 10.000.
100
Interval (Unit: Seconds)
Parâmetro de Advanced configuration. Intervalo, em segundos, para agregação e envio das mensagens ao destino. Valores válidos: 0 a 15. O valor 0 indica entrega imediata das mensagens.
3
-
Na etapa Filtering, defina o Pattern Content para filtrar eventos. Para mais informações, consulte event pattern.
Na etapa Transformation, configure a transformação de dados para executar operações como divisão, mapeamento, enriquecimento e roteamento dinâmico. Para mais informações, consulte Use Function Compute to clean message data.
No assistente de configuração de Sink, defina o Service Type como Simple Log Service, configure os parâmetros a seguir e clique em Save.
-
Null
-
Fixed Value
-
Partial Data
-
Template
-
Default Format (JSON)
-
Custom Format (Key/Value)
Tabela 1. Sink (Simple Log Service)
Parâmetro
Descrição
Exemplo
Project
O projeto do Simple Log Service criado.
guide-sls-sink-project
Logstore
O Logstore do Simple Log Service criado.
guide-sls-sink-logstore
Topic
O método de geração do Topic do SLS.
Empty
Content
Default Format (Json)
Role Name
Concede permissão ao EventBridge para gravar no SLS. Se a função não existir, siga as instruções na tela para criá-la.
sls_eb
Retorne à página Tasks. Encontre a tarefa criada e clique em Enable na coluna Actions.
-
Na caixa de diálogo Note, leia a mensagem e clique em OK.
A tarefa leva de 30 a 60 segundos para iniciar. Acompanhe o progresso na coluna Status da página Tasks.
Etapa 3: Teste o conector sink do SLS
Na página Tasks, encontre a tarefa do conector sink do SLS e clique em Topic de origem na coluna Event Source.
Na página de detalhes do tópico, clique em Send Test Message.
-
No painel Start to Send and Consume Message, configure a mensagem e clique em OK.
Selecione a aba Console. Defina Message Key como
sls-sink-k1e Message Content comosls-sink-v1. Para Send to a specified partition, selecione No. Na página Tasks, encontre a tarefa do conector sink do SLS e clique em projeto de destino na coluna Event Target.
-
Na página do Logstore, visualize o conteúdo do log.
O campo content do registro de log está no formato JSON e contém
key:"sls-sink-k1"evalue:"sls-sink-v1". Isso confirma que o conector sink do SLS gravou os dados no Logstore de destino com sucesso.