Apache Flink CDC - Realtime Compute for Apache Flink - Centre de documentation Alibaba Cloud

Cette rubrique explique comment utiliser les connecteurs Apache Flink Change Data Capture (CDC) dans Realtime Compute for Apache Flink et comment les renommer.

Important

Les connecteurs Apache Flink CDC sont des projets communautaires open source régis par la licence Apache 2.0. Leur assistance technique et leur accord de niveau de service (SLA) diffèrent de ceux des connecteurs commerciaux inclus dans Realtime Compute for Apache Flink :

En cas de problèmes tels que des échecs de configuration, des échecs de job ou une perte de données, vous devez trouver des solutions au sein de la communauté open source. L'équipe Realtime Compute for Apache Flink ne fournit pas d'assistance technique pour les problèmes liés aux connecteurs Apache Flink CDC.
Vous êtes responsable du SLA de tout service utilisant des connecteurs Apache Flink CDC.

Connecteurs CDC disponibles

Connecteur CDC	Description
MySQL CDC PostgreSQL CDC (public preview) MongoDB CDC (public preview)	Realtime Compute for Apache Flink inclut des versions commerciales de ces connecteurs. Vous n'avez pas besoin d'installer manuellement les packages open source Apache Flink CDC correspondants.
OceanBase CDC Oracle CDC SQL Server CDC TiDB CDC Db2 CDC Vitess CDC	Pour savoir comment utiliser ces connecteurs Apache Flink CDC pris en charge par la communauté, consultez la section Utiliser un connecteur CDC communautaire. Remarque Lorsque vous utilisez un connecteur Apache Flink CDC ou un connecteur personnalisé, si un connecteur intégré à Realtime Compute for Apache Flink ou un connecteur personnalisé portant le même nom existe déjà, vous devez modifier le nom par défaut du connecteur afin d'éviter les conflits avec les connecteurs intégrés. Pour SQL Server CDC et Db2 CDC, vous devez modifier le nom par défaut du connecteur communautaire, puis reconditionner le connecteur. Par exemple, renommez `sqlserver-cdc` en `sqlserver-cdc-test`. Pour plus d'informations, consultez la section Modifier le nom du connecteur.

Correspondance des versions entre CDC et VVR

Version VVR	Version CDC
vvr-6.0.7-flink-1.15	release-2.4
vvr-8.0.11-flink-1.17 ~ vvr-11.3-jdk11-flink-1.20	release-3.4
vvr-11.4-jdk11-flink-1.20+	release-3.5

Utiliser un connecteur CDC communautaire

Job SQL

Sur la page Apache Flink CDC, cliquez sur la version de release communautaire cible. Nous vous recommandons d'utiliser la dernière version stable.

Remarque
Pour éviter les problèmes de compatibilité, sélectionnez une version de release correspondant à votre version VVR. Pour la correspondance des versions, consultez la section Correspondance des versions entre CDC et VVR.
Sur la page du connecteur CDC cible, téléchargez le package JAR.

Dans la section SQL Client JAR, cliquez sur le lien de téléchargement du fichier JAR correspondant, tel que flink-sql-connector-mongodb-cdc-3.0.0.jar.

Remarque
Vous pouvez également télécharger le fichier JAR correspondant depuis le référentiel central Maven.
Connectez-vous à la console Realtime Compute for Apache Flink.
Dans la colonne Actions de l'espace de travail cible, cliquez sur Console.
Dans le volet de navigation de gauche, cliquez sur Connectors.
Sur la page Connectors, cliquez sur Create Custom Connector et importez le fichier JAR téléchargé.

Pour plus d'informations, consultez la section Gérer les connecteurs personnalisés.
Lors de la rédaction d'un job SQL, utilisez le nom du connecteur Apache Flink CDC comme valeur pour le paramètre connector.

Pour obtenir la liste des paramètres pris en charge par chaque connecteur, consultez la documentation Apache Flink CDC.

Job JAR

Pour utiliser le connecteur correspondant dans un job JAR, déclarez la dépendance suivante dans le fichier pom.xml.
```
<dependency>
  <groupId>com.ververica</groupId>
  <artifactId>flink-connector-${the-connector-name}-cdc</artifactId>
  <version>${the-community-connector-version}</version>
</dependency>
```
Le référentiel central Maven contient uniquement des versions de release, et non des versions snapshot. Pour utiliser une version snapshot, clonez le référentiel GitHub et compilez le package JAR.
Dans votre code, import la classe d'implémentation du connecteur correspondant et utilisez-la conformément à la documentation.
Important
Notez la différence entre les artefacts ayant des ID d'artefact différents : flink-connector-xxx et flink-sql-connector-xxx.
- flink-connector-xxx : Contient uniquement le code du connecteur. Vous devez déclarer vous-même les autres dépendances.
- flink-sql-connector-xxx : Regroupe toutes les dépendances dans un seul fichier JAR que vous pouvez utiliser directement.
Sélectionnez un artefact en fonction de vos besoins. Par exemple, pour créer un connecteur personnalisé dans la console de développement Flink, utilisez flink-sql-connector-xxx.

Renommer un connecteur

Cette section montre comment renommer un connecteur, en prenant pour exemple le connecteur communautaire SQL Server CDC.

Clonez le référentiel GitHub et basculez vers la branche correspondant à la version spécifiée.

Modifiez l'identifiant de la classe factory du connecteur SQL Server CDC.

//com.ververica.cdc.connectors.sqlserver.table.SqlServerTableFactory
@Override
public String factoryIdentifier() {
    return "sqlserver-cdc-test";
}

Compilez et conditionnez le sous-module flink-sql-connector-sqlserver-cdc.
Sur la page Connectors, cliquez sur Create Custom Connector et importez le fichier JAR conditionné.

Pour plus d'informations, consultez la section Gérer les connecteurs personnalisés.
Lors de la rédaction d'un job SQL en suivant les étapes de la section Job SQL, transmettez le nom du connecteur, connector, comme valeur pour le paramètre sqlserver-cdc-test.