ApsaraMQ for Kafka:Gerenciar conectores

Pré-requisitos

Crie um dos seguintes conectores:

• Create a Function Compute sink connector

• Create a MaxCompute sink connector

• Create an OSS sink connector

• Create an Elasticsearch sink connector

• Create a MySQL source connector

• Create a Tablestore sink connector

• Create an AnalyticDB sink connector

Observações

• Somente conectores sink do Function Compute e conectores source do MySQL permitem alteração de configurações.

• Suspenda um conector apenas quando ele estiver no estado Running. Ative um conector apenas quando ele estiver no estado Suspended.

Visualizar configurações do conector

Consulte as informações básicas, os dados de origem e os dados de destino de um conector.

1. Faça login no console do ApsaraMQ for Kafka.

2. Na página Overview, selecione uma região na seção Resource Distribution.

3. No painel de navegação à esquerda, clique em Connectors.

4. Na página Connectors, selecione a instância do conector na lista suspensa Select Instance. Localize o conector na lista e clique em Details na coluna Actions.

   Na página de detalhes do conector, visualize as seções Basic Information, Source Information e Destination Information.

Visualizar logs do conector

Para solucionar problemas em um conector, consulte os logs no console do Message Queue for Apache Kafka.

1. Faça login no console do ApsaraMQ for Kafka.

2. Na página Overview, selecione uma região na seção Resource Distribution.

3. No painel de navegação à esquerda, clique em Connectors.

4. Na página Connectors, selecione a instância do conector na lista suspensa Select Instance. Localize o conector desejado na lista. Na coluna Actions, escolha More > View Logs.

   Alternativamente, clique no nome do conector desejado ou em Details na coluna Actions. Na página de detalhes do conector, clique em View Logs no canto superior direito.

   Nota

   A posição da opção View Logs na coluna Actions varia conforme o status da tarefa. Prevalece a exibição real da interface.

   Na página de logs do conector, visualize os registros correspondentes.

Modificar configurações do conector

Após criar um conector sink do Function Compute ou um conector source do MySQL, modifique as configurações no console do Message Queue for Apache Kafka.

1. Faça login no console do ApsaraMQ for Kafka.

2. Na página Overview, selecione uma região na seção Resource Distribution.

3. No painel de navegação à esquerda, clique em Connectors.

4. Na página Connectors, selecione a instância do conector na lista suspensa Select Instance. Localize o conector desejado na lista. Na coluna Actions, escolha More > Modify Configuration.

   Alternativamente, clique no nome do conector desejado ou em Details na coluna Actions. Na página de detalhes do conector, clique em Modify Configuration no canto superior direito.

5. No painel Modify Configuration, altere os parâmetros de configuração conforme necessário e clique em OK.

   • Modificar configurações de um conector sink do Function Compute

     Parâmetro	Descrição
     Consumer Thread Concurrency	Número de threads de consumo simultâneas para o tópico de origem. O valor padrão é 6. Valores válidos: 1 2 3 6 12
     Failure Handling Policy	Define a ação a ser tomada quando a entrega de mensagens para uma partição de tópico falhar. Valores válidos: Continue Subscription: Continua o consumo da partição onde ocorreu o erro e registra o erro em log. Stop Subscription: Interrompe o consumo da partição onde ocorreu o erro e registra o erro em log. Nota Para mais informações sobre como visualizar logs, consulte Manage connectors. Para saber como encontrar soluções com base em códigos de erro, consulte Error code list.
     Transmission Mode	Modo de envio de mensagens. Valores válidos: Synchronous: O remetente e o destinatário devem estar ativos simultaneamente e prontos para comunicação. Asynchronous: Após enviar uma mensagem, o remetente pode prosseguir com outras tarefas sem aguardar resposta do servidor.
     Data Size	Quantidade de mensagens a serem enviadas em lote. O valor padrão é 20. O intervalo válido é [1, 5000].
     Retries	Número de tentativas de reenvio após falha no envio de uma mensagem. O valor padrão é 2. O intervalo válido é de 1 a 3. Alguns erros que causam falha no envio não suportam novas tentativas. Para mais informações sobre códigos de erro, consulte Error code list. O suporte a tentativas para diferentes códigos de erro é descrito abaixo: 4xx: Novas tentativas não são suportadas, exceto para o código de erro 429. 5xx: Novas tentativas são suportadas. Nota O conector chama a API InvokeFunction para enviar mensagens ao Function Compute.

   • Modificar configurações de um conector source do MySQL

     Parâmetro

     Descrição

     Database Table

     Nome de uma ou mais tabelas em uma instância do ApsaraDB RDS for MySQL a serem sincronizadas. Separe vários nomes de tabela por vírgulas (,). Existe um mapeamento um para um entre uma tabela de banco de dados e um tópico de destino. Nota Se você adicionar ou modificar tabelas em uma tarefa existente, crie previamente o Topic correspondente no console do Message Queue for Apache Kafka. O nome do Topic deve seguir o formato Topic prefix_table name. Caso contrário, ocorrerá um erro em tempo de execução. Para mais informações, consulte Step 1: Create a Topic.

   Após concluir a modificação, na página Connectors, localize o conector desejado. Na coluna Actions, clique em Details. Na página Connector Details, visualize a configuração atualizada do conector.

Suspender ou ativar um conector

No console do Message Queue for Apache Kafka, suspenda um conector em execução para interrompê-lo temporariamente ou ative um conector suspenso para retomá-lo.

1. Faça login no console do ApsaraMQ for Kafka.

2. Na página Overview, selecione uma região na seção Resource Distribution.

3. No painel de navegação à esquerda, clique em Connectors.

4. Na página Connectors, selecione a instância do conector na lista suspensa Select Instance. Localize o conector desejado na lista e suspenda-o ou ative-o conforme necessário.

   • Para suspender um conector: Na coluna Actions, escolha More > Suspend. Na caixa de diálogo Note, confirme a suspensão e clique em OK.

   • Para ativar um conector: Na coluna Actions, clique em Enable. Na caixa de diálogo Note, confirme a ativação e clique em OK.

   Alternativamente, clique no nome do conector desejado ou em Details na coluna Actions. Na página de detalhes do conector, clique em Suspend ou Enable no canto superior direito.

   Na página Connectors, localize o conector suspenso ou ativado. O Status muda para Suspended ou Running.

   Nota

   Se uma tarefa de conector source do MySQL ficar suspensa por um longo período, ela poderá falhar ao reiniciar. Nesse caso, localize a tarefa e clique em Task Configurations na coluna Actions. Na página do DataWorks, encontre a linha da tarefa de sincronização desejada e clique em Start. Na caixa de diálogo Start, selecione Reset Offset, configure o Start Time Point e clique em OK.

Testar um conector

Envie uma mensagem de teste para validar um conector no console do Message Queue for Apache Kafka.

1. Faça login no console do ApsaraMQ for Kafka.

2. Na página Overview, selecione uma região na seção Resource Distribution.

3. No painel de navegação à esquerda, clique em Connectors.

4. Na página Connectors, selecione a instância do conector na lista suspensa Select Instance. Localize o conector desejado na lista e clique em Test na coluna Actions.

   Alternativamente, clique no nome do conector desejado ou em Details na coluna Actions. Na página de detalhes do conector, clique em Test no canto superior direito.

   Nota

   A posição da opção Test na coluna Actions pode variar dependendo do status da tarefa.

5. No painel Send Message, envie uma mensagem de teste.

   1. Na caixa de texto Message Key, insira uma chave para a mensagem, como demo.

   2. Na caixa de texto Message Content, insira o conteúdo da mensagem de teste, como {"key": "test"}.

   3. Use a opção Send to Specified Partition para controlar se a mensagem será enviada a uma partição específica.

      • Clique em Yes e insira um ID de partição na caixa de texto Partition ID, como 0. Para consultar o ID da partição, consulte View partition status.

      • Clique em No caso não queira especificar uma partição.

Visualizar progresso de consumo

Depois que um conector iniciar a execução, acompanhe o status de consumo do grupo de consumidores para o tópico de origem. O nome do grupo de consumidores é connect-{task_name}.

1. Faça login no console do ApsaraMQ for Kafka.

2. Na página Overview, selecione uma região na seção Resource Distribution.

3. No painel de navegação à esquerda, clique em Connectors.

4. Na página Connectors, selecione a instância do conector na lista suspensa Select Instance. Localize o conector desejado na lista e clique em Consumption Progress na coluna Actions.

   Alternativamente, clique no nome do conector desejado ou em Details na coluna Actions. Na página de detalhes do conector, clique em Consumption Progress no canto superior direito.

   No painel de detalhes de consumo do grupo de consumidores, visualize os detalhes de consumo do grupo de consumidores usado pela tarefa do conector no tópico de origem.

Excluir um conector

Cada instância do Message Queue for Apache Kafka possui um limite de conectores. Se um conector não for mais necessário, exclua-o no console do Message Queue for Apache Kafka.

1. Faça login no console do ApsaraMQ for Kafka.

2. Na página Overview, selecione uma região na seção Resource Distribution.

3. No painel de navegação à esquerda, clique em Connectors.

4. Na página Connectors, selecione a instância do conector na lista suspensa Select Instance. Localize o conector desejado na lista. Na coluna Actions, escolha More > Delete.

   Alternativamente, clique no nome do conector desejado ou em Details na coluna Actions. Na página de detalhes do conector, clique em Delete no canto superior direito.

5. Na caixa de diálogo Note, clique em OK para excluir o conector.