Se os conectores integrados não atenderem às suas fontes ou destinos de dados, envie um arquivo JAR de conector personalizado para estender seu workspace do Flink. Esta página explica como registrar, usar e atualizar conectores personalizados.
Pré-requisitos
Antes de começar, verifique se você tem:
Um workspace do Flink no Portal de Gerenciamento do Realtime Compute for Apache Flink
Um arquivo JAR de conector personalizado criado conforme os padrões do Apache Flink
Observações de uso
Analise as restrições a seguir antes de enviar seu arquivo JAR:
|
Restrição |
Detalhes |
|
Unicidade |
Registre cada tipo de conector apenas uma vez. |
|
Alinhamento de versão |
A versão do Flink declarada no seu |
|
Escopo |
Adicione |
|
Empacotamento Shade |
Agrupe todas as dependências de terceiros (exceto as dependências de runtime do Flink) com o Maven Shade Plugin para evitar conflitos de classpath durante a execução. |
Registrar um conector personalizado
Faça logon no Portal de Gerenciamento do Realtime Compute for Apache Flink.
Na coluna Actions do workspace desejado, clique em Console.
No painel de navegação à esquerda, clique em Connectors.
Na aba Custom Connectors, clique em Create Custom Connector.
-
Envie seu arquivo JAR por um dos métodos abaixo:
Upload File: Clique em Click to select e selecione o arquivo JAR do seu conector.
-
Use External URL: Insira a URL do arquivo JAR hospedado em um serviço externo. Exemplo:
https://ossbucket/artifacts/namespaces/flink-default/flink-jobs-1.0-SNAPSHOT.jarNotaHá suporte para dois tipos de URLs externas:
O bucket do OSS associado ao seu workspace do Flink. Visualize os detalhes do bucket na página Details no Portal de Gerenciamento.
Uma URL para um sistema de armazenamento externo ao qual o Realtime Compute for Apache Flink tenha acesso (leitura pública ou com permissão concedida).
Clique em Next. O Flink analisará o arquivo JAR enviado. Se a análise for bem-sucedida, prossiga para a próxima etapa. Em caso de falha, confirme se o código do seu conector está em conformidade com os padrões do Apache Flink.
Clique em Finish. O conector personalizado aparecerá na lista de conectores.
Usar um conector personalizado em um job
Referencie o conector no código SQL do seu job pela opção connector. O valor dessa opção corresponde ao parâmetro identificador do DynamicTableFactory no pacote JAR do seu conector personalizado. As demais opções dependem da implementação específica do conector.
Para obter detalhes sobre como escrever o SQL do job, consulte Visão geral do desenvolvimento de jobs.
Atualizar um conector personalizado
A atualização de um conector personalizado não afeta jobs em execução. As alterações entram em vigor após a reinicialização do job.
Faça logon no Portal de Gerenciamento do Realtime Compute for Apache Flink.
Na coluna Actions do workspace desejado, clique em Console.
No painel de navegação à esquerda, clique em Connectors.
Na aba Custom Connectors, localize o conector desejado e clique em Edit ao lado do nome dele.
-
Envie o novo arquivo JAR por um dos métodos abaixo:
Upload File: Clique em Click to select e selecione o arquivo JAR do seu conector.
-
Use External URL: Insira a URL do arquivo JAR hospedado em um serviço externo. Exemplo:
https://ossbucket/artifacts/namespaces/flink-default/flink-jobs-1.0-SNAPSHOT.jarNotaHá suporte para dois tipos de URLs externas:
O bucket do OSS associado ao seu workspace do Flink. Visualize os detalhes do bucket na página Details no Portal de Gerenciamento.
Uma URL para um sistema de armazenamento externo ao qual o Realtime Compute for Apache Flink tenha acesso (leitura pública ou com permissão concedida).
Clique em Next. O Flink analisará o arquivo JAR enviado. Se a análise for bem-sucedida, prossiga para a próxima etapa. Em caso de falha, confirme se o código do seu conector está em conformidade com os padrões do Apache Flink.
Clique em Finish.