Apache Flink CDC - Realtime Compute for Apache Flink: Central de Documentação do Alibaba Cloud

Este tópico descreve como usar os conectores Apache Flink Change Data Capture (CDC) no Realtime Compute for Apache Flink e como renomeá-los.

Importante

Os conectores Apache Flink CDC são projetos da comunidade open source regidos pela licença Apache 2.0. O suporte e o Service Level Agreement (SLA) desses conectores diferem dos conectores comerciais incluídos no Realtime Compute for Apache Flink:

Em caso de problemas como falhas de configuração, falhas em jobs ou perda de dados, busque soluções na comunidade open source. A equipe do Realtime Compute for Apache Flink não fornece suporte técnico para questões relacionadas aos conectores Apache Flink CDC.
Você é responsável pelo SLA de qualquer serviço que use conectores Apache Flink CDC.

Conectores CDC disponíveis

Conector CDC	Descrição
MySQL CDC PostgreSQL CDC (public preview) MongoDB CDC (public preview)	O Realtime Compute for Apache Flink inclui versões comerciais destes conectores. Não é necessário instale manualmente os pacotes open source do Apache Flink CDC para usá-los.
OceanBase CDC Oracle CDC SQL Server CDC TiDB CDC Db2 CDC Vitess CDC	Para saber como usar esses conectores Apache Flink CDC com suporte da comunidade, consulte Usar um conector CDC da comunidade. Nota Ao usar um conector Apache Flink CDC ou personalizado, se já existir um conector integrado do Realtime Compute for Apache Flink ou um conector personalizado com o mesmo nome, altere o nome padrão do conector para evitar conflitos. Para SQL Server CDC e Db2 CDC, modifique o nome padrão do conector da comunidade e reempacote-o. Por exemplo, renomeie `sqlserver-cdc` para `sqlserver-cdc-test`. Para mais informações, consulte Renomear um conector.

Mapeamento de versões entre CDC e VVR

Versão do VVR	Versão do CDC
vvr-6.0.7-flink-1.15	release-2.4
vvr-8.0.11-flink-1.17 ~ vvr-11,3-jdk11-flink-1,20	release-3,4
vvr-11,4-jdk11-flink-1,20+	release-3,5

Usar um conector CDC da comunidade

Job SQL

Na página do Apache Flink CDC, clique em na versão de release da comunidade desejada. Recomendamos o uso da versão estável mais recente.

Nota
Para evitar problemas de compatibilidade, selecione uma versão de release correspondente à sua versão do VVR. Para o mapeamento de versões, consulte Mapeamento de versões entre CDC e VVR.
Na página do conector CDC desejado, baixe o pacote JAR.

Na seção SQL Client JAR, clique em no link de download do arquivo JAR correspondente, como flink-sql-connector-mongodb-cdc-3.0.0.jar.

Nota
Também é possível baixe o arquivo JAR correspondente no Repositório Central do Maven.
Faça login no console do Realtime Compute for Apache Flink.
Na coluna Actions do workspace desejado, clique em Console.
No painel de navegação à esquerda, clique em Connectors.
Na página Connectors, clique em Create Custom Connector e faça upload do arquivo JAR baixado.

Para mais informações, consulte Gerencie conectores personalizados.
Ao escrever um job SQL, use o nome do conector Apache Flink CDC como valor do parâmetro connector.

Para obter informações sobre os parâmetros compatíveis com cada conector, consulte a documentação do Apache Flink CDC.

Job JAR

Para usar o conector correspondente em um job JAR, declare a seguinte dependência no arquivo pom.xml.
```
<dependency>
  <groupId>com.ververica</groupId>
  <artifactId>flink-connector-${the-connector-name}-cdc</artifactId>
  <version>${the-community-connector-version}</version>
</dependency>
```
O Repositório Central do Maven contém apenas versões de release, não versões snapshot. Para usar uma versão snapshot, clone o repositório do GitHub e compile o pacote JAR.
No código, faça o import da classe de implementação do conector correspondente e use-a conforme descrito na documentação.
Importante
Observe a diferença entre os artefatos com diferentes IDs de artefato: flink-connector-xxx e flink-sql-connector-xxx.
- flink-connector-xxx: Contém apenas o código do conector. Declare outras dependências manualmente.
- flink-sql-connector-xxx: Agrupa todas as dependências em um único arquivo JAR pronto para uso direto.
Escolha um artefato de acordo com suas necessidades. Por exemplo, para crie um conector personalizado no console de desenvolvimento do Flink, use flink-sql-connector-xxx.

Renomear um conector

Esta seção demonstra como renomear um conector, usando o conector SQL Server CDC da comunidade como exemplo.

Clone o repositório do GitHub e mude para a branch da versão especificada.

Altere o identificador da classe de fábrica do conector SQL Server CDC.

//com.ververica.cdc.connectors.sqlserver.table.SqlServerTableFactory
@Override
public String factoryIdentifier() {
    return "sqlserver-cdc-test";
}

Compile e empacote o submódulo flink-sql-connector-sqlserver-cdc.
Na página Connectors, clique em Create Custom Connector e faça upload do arquivo JAR empacotado.

Para mais informações, consulte Gerencie conectores personalizados.
Ao escrever um job SQL seguindo as etapas em Job SQL, passe o nome do conector, connector, como valor do parâmetro sqlserver-cdc-test.