ApsaraMQ for Kafka:Gerenciar um conector

Pré-requisitos

Crie um conector. Para obter informações sobre como criar um conector, consulte os seguintes tópicos:

• Criar conector sink do FC

• Criar um conector sink do MaxCompute

• Criar um conector sink do OSS

• Criar um conector sink do Elasticsearch

• Criar um conector source do MySQL

• Criar um conector sink do Tablestore

• Criar um conector sink do AnalyticDB

Precauções

• Somente conectores sink do Function Compute e conectores source do MySQL permitem a modificação de configurações.

• Suspenda um conector apenas quando ele estiver no estado Running. Ative o conector apenas quando ele estiver no estado Suspended.

Visualizar as configurações de um conector

Após criar um conector, visualize informações como dados básicos, origem e destino.

1. Faça login no console do ApsaraMQ for Kafka.

2. Na página Overview, selecione uma região na seção Resource Distribution.

3. No painel de navegação à esquerda, clique em Connectors.

4. Na página Connectors, escolha a instância à qual o conector pertence na lista suspensa Select Instance. Localize o conector na lista e clique em Details na coluna Actions.

   Na página exibida, verifique os detalhes do conector nas seções Basic Information, Source Information e Destination Information.

Visualizar informações de log de um conector

Se ocorrer um erro em um conector, consulte as informações de log no console do ApsaraMQ for Kafka para solucionar o problema.

1. Faça login no console do ApsaraMQ for Kafka.

2. Na página Overview, selecione uma região na seção Resource Distribution.

3. No painel de navegação à esquerda, clique em Connectors.

4. Na página Connectors, escolha a instância à qual o conector pertence na lista suspensa Select Instance. Encontre o conector na lista e selecione More > View Logs na coluna Actions.

   Como alternativa, clique em Details na coluna Actions. Na página de detalhes aberta, clique em View Logs no canto superior direito.

   Nota

   A posição da opção View Logs na coluna Actions varia conforme o status do conector.

   Na caixa de diálogo exibida, visualize as informações de log do conector.

Modificar as configurações de um conector

Para conectores sink do Function Compute ou source do MySQL já criados, ajuste as configurações diretamente no console do ApsaraMQ for Kafka.

1. Faça login no console do ApsaraMQ for Kafka.

2. Na página Overview, selecione uma região na seção Resource Distribution.

3. No painel de navegação à esquerda, clique em Connectors.

4. Na página Connectors, escolha a instância à qual o conector pertence na lista suspensa Select Instance. Localize o conector na lista e selecione More > Modify Configuration na coluna Actions.

   Também é possível clicar em Details na coluna Actions. Na página de detalhes aberta, clique em Modify Configuration no canto superior direito.

5. No painel Modify Configuration, altere os valores dos parâmetros descritos na tabela abaixo conforme suas necessidades de negócio. Em seguida, clique em OK.

   • Modifique as configurações de um conector sink do Function Compute.

     Parâmetro	Descrição
     Consumer Thread Concurrency	Número de threads de consumo simultâneas usadas para sincronizar dados do tópico de origem. Valor padrão: 6. Valores válidos: 1 2 3 6 12
     Failure Handling Policy	Define se a assinatura da partição com erro deve ser mantida após falha no envio da mensagem correspondente. Valores válidos: Continue Subscription: mantém a assinatura da partição onde ocorreu o erro e gera uma entrada de log de erro. Stop Subscription: interrompe a assinatura da partição com erro e gera uma entrada de log de erro. Nota Para saber como visualizar informações de log, consulte Gerenciar conectores. Para obter orientações sobre solução de problemas com base em códigos de erro, consulte Códigos de erro.
     Transmission Mode	Modo de envio das mensagens. Valores válidos: Synchronous: O produtor e o consumidor precisam estar ativos para trocar dados. Asynchronous: Após enviar uma mensagem, o produtor não precisa aguardar resposta do broker e pode continuar processando outras tarefas.
     Data Size	Quantidade máxima de mensagens enviadas por vez. Valores válidos: 1 a 5000. Valor padrão: 20.
     Retries	Número máximo de tentativas permitidas após falha no envio de uma mensagem. Valor padrão: 2. Valores válidos: 1 a 3. Em certos cenários, novas tentativas não são suportadas quando ocorre falha no envio. Para mais detalhes sobre códigos de erro, consulte Códigos de erro. A seguir, detalhamos o suporte a tentativas para códigos específicos: Para erros 4xx, não há suporte a tentativas, exceto quando o código retornado for 429. Para erros 5xx, há suporte a tentativas. Nota O conector utiliza a operação InvokeFunction para enviar mensagens ao Function Compute.

   • Modifique as configurações de um conector source do MySQL.

     Parâmetro

     Descrição

     Database Table

     Nome de uma ou mais tabelas do ApsaraDB RDS for MySQL das quais você deseja sincronizar dados. Separe vários nomes de tabela com vírgulas (,). Existe um mapeamento um para um entre uma tabela de banco de dados e um tópico de destino. Nota Ao adicionar ou modificar uma tabela, crie o tópico correspondente no console do ApsaraMQ for Kafka. O nome do tópico deve seguir o formato <Topic prefix>_<Table name>. Caso contrário, ocorrerá um erro durante a execução do conector. Para saber como criar um tópico, consulte Etapa 1: Criar um tópico.

   Após modificar as configurações, acesse a página Connectors e localize o conector. Clique em Details na coluna Actions. Na página Connector Details, verifique as configurações atualizadas.

Suspender ou ativar um conector

Para pausar temporariamente um conector em execução ou retomar um conector suspenso, utilize o console do ApsaraMQ for Kafka.

1. Faça login no console do ApsaraMQ for Kafka.

2. Na página Overview, selecione uma região na seção Resource Distribution.

3. No painel de navegação à esquerda, clique em Connectors.

4. Na página Connectors, escolha a instância à qual o conector pertence na lista suspensa Select Instance. Localize o conector na lista e suspenda-o ou ative-o.

   • Suspender o conector: Na coluna Actions, selecione More > Suspend. Na mensagem de Note, clique em OK.

   • Ativar o conector: Na coluna Actions, clique em Enable. Na mensagem de Note, clique em OK.

   Como alternativa, clique em Details na coluna Actions. Na página de detalhes exibida, clique em Suspend ou Enable no canto superior direito.

   Na página Connectors, encontre o conector suspenso ou retomado. O valor do parâmetro Status do conector mudará para Suspended ou Running.

   Nota

   Ao tentar retomar um conector source do MySQL que permaneceu suspenso por muito tempo, a operação pode falhar. Nesse caso, clique em Task Configurations na coluna Actions. Na página do DataWorks aberta, localize o conector correspondente e clique em Start. Na caixa de diálogo Start, selecione Reset Offset, configure o parâmetro Start Time Point e clique em OK.

Testar um conector

Após criar um conector, envie uma mensagem pelo console do ApsaraMQ for Kafka para validá-lo.

1. Faça login no console do ApsaraMQ for Kafka.

2. Na página Overview, selecione uma região na seção Resource Distribution.

3. No painel de navegação à esquerda, clique em Connectors.

4. Na página Connectors, escolha a instância à qual o conector pertence na lista suspensa Select Instance. Encontre o conector na lista e clique em Test na coluna Actions.

   Como alternativa, clique em Details na coluna Actions. Na página de detalhes aberta, clique em Test no canto superior direito.

   Nota

   A localização da opção Test na coluna Actions depende do status atual do conector.

5. No painel Send Message, envie uma mensagem de teste.

   1. No campo Message Key, insira a chave da mensagem de teste, como demo.

   2. No campo Message Content, insira o conteúdo da mensagem de teste, por exemplo {"key": "test"}.

   3. Configure o parâmetro Send to Specified Partition para definir se a mensagem de teste será enviada a uma partição específica.

      • Para enviar a mensagem a uma partição específica, clique em Yes e insira o ID da partição, como 0, no campo Partition ID. Para consultar IDs de partições, veja Visualizar status da partição.

      • Caso não queira direcionar a mensagem a uma partição específica, clique em No.

Visualizar o progresso de consumo de um conector

Quando um conector é criado e entra no estado Running, acompanhe os detalhes de consumo do grupo de consumidores associado.Group O nome do grupo de consumidores segue o padrão connect-{Nome do conector}.Group

1. Faça login no console do ApsaraMQ for Kafka.

2. Na página Overview, selecione uma região na seção Resource Distribution.

3. No painel de navegação à esquerda, clique em Connectors.

4. Na página Connectors, escolha a instância à qual o conector pertence na lista suspensa Select Instance. Localize o conector na lista e clique em Consumption Progress na coluna Actions.

   Como alternativa, clique em Details na coluna Actions. Na página de detalhes exibida, clique em Consumption Progress no canto superior direito.

   No painel aberto, visualize os detalhes de consumo do grupo de consumidores correspondente ao conector no tópico de origem.

Excluir um conector

O ApsaraMQ for Kafka impõe limites quanto à quantidade de conectores por instância. Caso não precise mais de um conector, remova-o pelo console do ApsaraMQ for Kafka.

1. Faça login no console do ApsaraMQ for Kafka.

2. Na página Overview, selecione uma região na seção Resource Distribution.

3. No painel de navegação à esquerda, clique em Connectors.

4. Na página Connectors, escolha a instância à qual o conector pertence na lista suspensa Select Instance. Localize o conector na lista e selecione More > Delete na coluna Actions.

   Como alternativa, clique em Details na coluna Actions. Na página de detalhes aberta, clique em Delete no canto superior direito.

5. Na mensagem de Note, clique em OK para confirmar a exclusão do conector.