Este tópico descreve como usar os conectores Apache Flink Change Data Capture (CDC) no Realtime Compute for Apache Flink e como renomeá-los.
Os conectores Apache Flink CDC são projetos de código aberto da comunidade que seguem a licença Apache 2.0. O suporte e o Service Level Agreement (SLA) desses conectores diferem dos conectores comerciais incluídos no Realtime Compute for Apache Flink:
-
Se você encontrar problemas como falhas de configuração, falhas de job ou perda de dados, busque soluções na comunidade de código aberto. A equipe do Realtime Compute for Apache Flink não fornece suporte técnico para problemas relacionados aos conectores Apache Flink CDC.
-
Você é responsável pelo SLA de qualquer serviço que utilize conectores Apache Flink CDC.
Conectores CDC disponíveis
|
Conector CDC |
Descrição |
|
O Realtime Compute for Apache Flink inclui versões comerciais desses conectores. Não é necessário instalar manualmente os pacotes de código aberto do Apache Flink CDC para eles. |
|
|
Para saber como usar esses conectores Apache Flink CDC mantidos pela comunidade, consulte Usar um conector CDC da comunidade. Nota
Ao usar um conector Apache Flink CDC ou um conector personalizado, se já existir um conector integrado do Realtime Compute for Apache Flink ou um conector personalizado com o mesmo nome, altere o nome padrão do conector para evitar conflitos com os conectores integrados. Para SQL Server CDC e Db2 CDC, modifique o nome padrão do conector da comunidade e reempacote o conector. Por exemplo, renomeie |
Mapeamento de versões entre CDC e VVR
|
Versão do VVR |
Versão do CDC |
|
vvr-6.0.7-flink-1.15 |
release-2.4 |
|
vvr-8.0.11-flink-1.17 ~ vvr-11.3-jdk11-flink-1.20 |
release-3.4 |
|
vvr-11.4-jdk11-flink-1.20+ |
release-3.5 |
Usar um conector CDC da comunidade
Job SQL
-
Na página do Apache Flink CDC, clique na versão de lançamento da comunidade desejada. Recomendamos o uso da versão estável mais recente.
NotaPara evitar problemas de compatibilidade, selecione uma versão de lançamento correspondente à sua versão do VVR. Para o mapeamento de versões, consulte Mapeamento de versões entre CDC e VVR.
-
Na página do conector CDC desejado, baixe o pacote JAR.
Na seção SQL Client JAR, clique no link de download do arquivo JAR correspondente, como
flink-sql-connector-mongodb-cdc-3.0.0.jar.NotaVocê também pode baixar o arquivo JAR correspondente no Repositório Central do Maven.
-
Faça login no console do Realtime Compute for Apache Flink.
-
Na coluna Actions do workspace desejado, clique em Console.
-
No painel de navegação à esquerda, clique em Connectors.
-
Na página Connectors, clique em Create Custom Connector e faça upload do arquivo JAR baixado.
Para mais informações, consulte Gerenciar conectores personalizados.
-
Ao escrever um job SQL, use o nome do conector Apache Flink CDC como valor do parâmetro
connector.Para informações sobre os parâmetros suportados por cada conector, consulte a documentação do Apache Flink CDC.
Job JAR
-
Para usar o conector correspondente em um job JAR, declare a seguinte dependência no arquivo
pom.xml.<dependency> <groupId>com.ververica</groupId> <artifactId>flink-connector-${the-connector-name}-cdc</artifactId> <version>${the-community-connector-version}</version> </dependency>O Repositório Central do Maven contém apenas versões de lançamento, não versões snapshot. Para usar uma versão snapshot, clone o repositório do GitHub e compile o pacote JAR.
-
No seu código, use
importpara importar a classe de implementação do conector correspondente e utilize-a conforme descrito na documentação.ImportanteObserve a diferença entre os artifacts com IDs distintos:
flink-connector-xxxeflink-sql-connector-xxx.-
flink-connector-xxx: contém apenas o código do conector. Você precisa declarar as demais dependências. -
flink-sql-connector-xxx: empacota todas as dependências em um único arquivo JAR que pode ser usado diretamente.
Selecione um artifact de acordo com as suas necessidades. Por exemplo, para criar um conector personalizado no console de desenvolvimento do Flink, use
flink-sql-connector-xxx. -
Renomear um conector
Esta seção demonstra como renomear um conector, usando o conector SQL Server CDC da comunidade como exemplo.
-
Clone o repositório do GitHub e mude para o branch da versão especificada.
-
Altere o identificador da classe de fábrica do conector SQL Server CDC.
//com.ververica.cdc.connectors.sqlserver.table.SqlServerTableFactory @Override public String factoryIdentifier() { return "sqlserver-cdc-test"; } -
Compile e empacote o submódulo flink-sql-connector-sqlserver-cdc.
-
Na página Connectors, clique em Create Custom Connector e faça upload do arquivo JAR empacotado.
Para mais informações, consulte Gerenciar conectores personalizados.
-
Ao escrever um job SQL seguindo os passos em Job SQL, passe o nome do conector como valor do parâmetro
connector, por exemplo,sqlserver-cdc-test.