Apache Flink CDC - Realtime Compute for Apache Flink - Centro de documentación de Alibaba Cloud

Este tema describe cómo usar los conectores de Apache Flink Change Data Capture (CDC) en Realtime Compute for Apache Flink y cómo renombrarlos.

Importante

Los conectores de Apache Flink CDC son proyectos de la comunidad de código abierto que siguen la licencia Apache 2.0. Su soporte de servicio y Acuerdo de Nivel de Servicio (SLA) difieren de los conectores comerciales incluidos en Realtime Compute for Apache Flink:

Si encuentra problemas como fallos de configuración, fallos de trabajos o pérdida de datos, debe buscar soluciones en la comunidad de código abierto. El equipo de Realtime Compute for Apache Flink no proporciona soporte técnico para problemas relacionados con los conectores de Apache Flink CDC.
Usted es responsable del SLA de cualquier servicio que utilice conectores de Apache Flink CDC.

Conectores CDC disponibles

Conector CDC	Descripción
MySQL CDC PostgreSQL CDC (public preview) MongoDB CDC (public preview)	Realtime Compute for Apache Flink incluye versiones comerciales de estos conectores. No necesita instalar manualmente los paquetes de Apache Flink CDC de código abierto para ellos.
OceanBase CDC Oracle CDC SQL Server CDC TiDB CDC Db2 CDC Vitess CDC	Para aprender a usar estos conectores de Apache Flink CDC compatibles con la comunidad, consulte Use a community CDC connector. Nota Cuando utiliza un conector de Apache Flink CDC o un conector personalizado, si ya existe un Realtime Compute for Apache Flink built-in connector o un conector personalizado con el mismo nombre, debe cambiar el nombre predeterminado del conector para evitar conflictos con los conectores integrados. Para SQL Server CDC y Db2 CDC, debe modificar el nombre predeterminado del conector de la comunidad y luego reempaquetar el conector. Por ejemplo, renombre `sqlserver-cdc` a `sqlserver-cdc-test`. Para obtener más información, consulte Change the connector name.

Mapeo de versiones entre CDC y VVR

Versión de VVR	Versión de CDC
vvr-6.0.7-flink-1.15	release-2.4
vvr-8.0.11-flink-1.17 ~ vvr-11.3-jdk11-flink-1.20	release-3.4
vvr-11.4-jdk11-flink-1.20+	release-3.5

Uso de un conector CDC de la comunidad

Trabajo SQL

En la página de Apache Flink CDC, haga clic en la versión de lanzamiento de la comunidad deseada. Se recomienda utilizar la última versión estable.

Nota
Para evitar problemas de compatibilidad, seleccione una versión de lanzamiento que corresponda a su versión de VVR. Para consultar el mapeo de versiones, véase Version mapping between CDC and VVR.
En la página del conector CDC correspondiente, descargue el paquete JAR.

En la sección SQL Client JAR, haga clic en el enlace de descarga del archivo JAR correspondiente, como flink-sql-connector-mongodb-cdc-3.0.0.jar.

Nota
También puede descargar el archivo JAR correspondiente desde el Repositorio Central de Maven.
Inicie sesión en la consola de Realtime Compute for Apache Flink.
En la columna Actions del espacio de trabajo deseado, haga clic en Console.
En el panel de navegación izquierdo, haga clic en Connectors.
En la página Connectors, haga clic en Create Custom Connector y cargue el archivo JAR descargado.

Para obtener más información, consulte Manage custom connectors.
Al escribir un trabajo SQL, utilice el nombre del conector de Apache Flink CDC como valor para el parámetro connector.

Para obtener información sobre los parámetros compatibles con cada conector, consulte la documentación de Apache Flink CDC.

Trabajo JAR

Para usar el conector correspondiente en un trabajo JAR, debe declarar la siguiente dependencia en el archivo pom.xml.
```
<dependency>
  <groupId>com.ververica</groupId>
  <artifactId>flink-connector-${the-connector-name}-cdc</artifactId>
  <version>${the-community-connector-version}</version>
</dependency>
```
El Repositorio Central de Maven contiene solo versiones de lanzamiento, no versiones snapshot. Para usar una versión snapshot, clone el repositorio de GitHub y compile el paquete JAR.
En su código, importe (import) la clase de implementación del conector correspondiente y úsela como se describe en la documentación.
Importante
Tenga en cuenta la diferencia entre los artefactos con distintos ID de artefacto: flink-connector-xxx y flink-sql-connector-xxx.
- flink-connector-xxx: Contiene únicamente el código del conector. Debe declarar otras dependencias por su cuenta.
- flink-sql-connector-xxx: Agrupa todas las dependencias en un solo archivo JAR que puede usar directamente.
Seleccione un artefacto según sus necesidades. Por ejemplo, para crear un conector personalizado en la consola de desarrollo de Flink, utilice flink-sql-connector-xxx.

Renombrar un conector

Esta sección demuestra cómo renombrar un conector, tomando como ejemplo el conector SQL Server CDC de la comunidad.

Clone el repositorio de GitHub y cambie a la rama de la versión especificada.

Cambie el identificador de la clase de fábrica del conector SQL Server CDC.

//com.ververica.cdc.connectors.sqlserver.table.SqlServerTableFactory
@Override
public String factoryIdentifier() {
    return "sqlserver-cdc-test";
}

Compile y empaquete el submódulo flink-sql-connector-sqlserver-cdc.
En la página Connectors, haga clic en Create Custom Connector y cargue el archivo JAR empaquetado.

Para obtener más información, consulte Manage custom connectors.
Al escribir un trabajo SQL siguiendo los pasos en SQL job, pase el nombre del conector, connector, como valor para el parámetro sqlserver-cdc-test.