Se os conectores integrados não atenderem às suas fontes ou destinos de dados, faça o upload de um arquivo JAR de conector personalizado para estender seu workspace do Flink. Esta página explica como registrar, usar e atualizar conectores personalizados.
Pré-requisitos
Antes de começar, verifique se você possui:
Um workspace do Flink no Portal de Gerenciamento do Realtime Compute for Apache Flink
Um arquivo JAR de conector personalizado criado conforme os padrões do Apache Flink
Observações de uso
Analise as restrições abaixo antes de fazer o upload do seu arquivo JAR:
|
Restrição |
Detalhes |
|
Unicidade |
Cada tipo de conector pode ser registrado apenas uma vez. |
|
Alinhamento de versão |
A versão do Flink declarada no seu |
|
Escopo |
Adicione |
|
Empacotamento Shade |
Agrupe todas as dependências de terceiros (exceto as dependências de runtime do Flink) usando o Maven Shade Plugin para evitar conflitos de classpath em tempo de execução. |
Registrar um conector personalizado
Faça logon no Portal de Gerenciamento do Realtime Compute for Apache Flink.
Na coluna Actions do workspace desejado, clique em Console.
No painel de navegação à esquerda, clique em Connectors.
Na aba Custom Connectors, clique em Create Custom Connector.
-
Faça o upload do seu arquivo JAR utilizando um dos métodos a seguir:
Upload File: Clique em Click to select e selecione o arquivo JAR do seu conector.
-
Use External URL: Insira a URL do arquivo JAR hospedado em um service externo. Exemplo:
https://ossbucket/artifacts/namespaces/flink-default/flink-jobs-1.0-SNAPSHOT.jarNotaDois tipos de URLs externas são suportados:
O bucket do OSS associado ao seu workspace do Flink. Visualize os detalhes do bucket na página Workspace Details no Portal de Gerenciamento.
Uma URL para um sistema de armazenamento externo ao qual o Realtime Compute for Apache Flink tenha acesso (leitura pública ou com permissão concedida).
Clique em Next. O Flink analisará o arquivo JAR enviado. Se a análise for bem-sucedida, prossiga para a próxima etapa. Caso falhe, confirme se o código do seu conector está em conformidade com os padrões do Apache Flink.
Clique em Finish. O conector personalizado aparecerá na lista de conectores.
Usar um conector personalizado em um job
Referencie o conector no código SQL do seu job usando a opção connector. O valor da opção connector corresponde ao valor do parâmetro identificador de DynamicTableFactory no pacote JAR do seu conector personalizado. As demais opções do conector são definidas pelo próprio conector personalizado.
Para obter detalhes sobre como escrever SQL de jobs, consulte Job development overview.
Atualize um conector personalizado
A atualização de um conector personalizado não afeta jobs em execução. As alterações entram em vigor após a reinicialização do job.
Faça logon no Portal de Gerenciamento do Realtime Compute for Apache Flink.
Na coluna Actions do workspace desejado, clique em Console.
No painel de navegação à esquerda, clique em Connectors.
Na aba Custom Connectors, localize o conector alvo e clique em Edit ao lado do nome dele.
-
Faça o upload do novo arquivo JAR utilizando um dos métodos a seguir:
Upload File: Clique em Click to select e selecione o arquivo JAR do seu conector.
-
Use External URL: Insira a URL do arquivo JAR hospedado em um service externo. Exemplo:
https://ossbucket/artifacts/namespaces/flink-default/flink-jobs-1.0-SNAPSHOT.jarNotaDois tipos de URLs externas são suportados:
O bucket do OSS associado ao seu workspace do Flink. Visualize os detalhes do bucket na página Details no Portal de Gerenciamento.
Uma URL para um sistema de armazenamento externo ao qual o Realtime Compute for Apache Flink tenha acesso (leitura pública ou com permissão concedida).
Clique em Next. O Flink analisará o arquivo JAR enviado. Se a análise for bem-sucedida, prossiga para a próxima etapa. Caso falhe, confirme se o código do seu conector está em conformidade com os padrões do Apache Flink.
Clique em Finish.