Si los conectores integrados no cubren sus orígenes o destinos de datos, cargue un archivo JAR de conector personalizado para ampliar su espacio de trabajo de Flink. Este tema explica cómo registrar, usar y actualizar conectores personalizados.
Requisitos previos
Antes de empezar, asegúrese de contar con lo siguiente:
Un espacio de trabajo de Flink en el Portal de administración de Realtime Compute for Apache Flink
Un archivo JAR de conector personalizado compilado conforme a los estándares de Apache Flink
Notas de uso
Revise las siguientes restricciones antes de cargar su archivo JAR:
|
Restricción |
Detalles |
|
Unicidad |
Cada tipo de conector solo se puede registrar una vez. |
|
Alineación de versiones |
La versión de Flink declarada en su |
|
Ámbito |
Agregue |
|
Empaquetado Shade |
Agrupe todas las dependencias de terceros (excepto las del entorno de ejecución de Flink) mediante el Maven Shade Plugin para evitar conflictos de classpath durante la ejecución. |
Registro de un conector personalizado
Inicie sesión en el Portal de administración de Realtime Compute for Apache Flink.
En la columna Actions del espacio de trabajo deseado, haga clic en Console.
En el panel de navegación izquierdo, haga clic en Connectors.
En la pestaña Custom Connectors, haga clic en Create Custom Connector.
-
Cargue su archivo JAR mediante uno de los siguientes métodos:
Upload File: Haga clic en Click to select y seleccione su archivo JAR de conector.
-
Use External URL: Introduzca la URL del archivo JAR alojado en un servicio externo. Ejemplo:
https://ossbucket/artifacts/namespaces/flink-default/flink-jobs-1.0-SNAPSHOT.jarNotaSe admiten dos tipos de URL externas:
El bucket de OSS asociado a su espacio de trabajo de Flink. Consulte los detalles del bucket en la página Workspace Details del Portal de administración.
Una URL de un sistema de almacenamiento externo al que Realtime Compute for Apache Flink tenga acceso (lectura pública o con permiso otorgado).
Haga clic en Next. Flink analiza sintácticamente el archivo JAR cargado. Si el análisis es correcto, continúe con el siguiente paso. Si falla, compruebe que el código de su conector cumple con los estándares de Apache Flink.
Haga clic en Finish. El conector personalizado aparecerá en la lista de conectores.
Uso de un conector personalizado en un trabajo
Referencie el conector en el código SQL de su trabajo mediante la opción connector. El valor de la opción connector corresponde al valor del parámetro identificador de DynamicTableFactory en el paquete JAR de su conector personalizado. Las demás opciones del conector dependen de su implementación personalizada.
Para obtener más información sobre cómo escribir SQL para trabajos, consulte Job development overview.
Actualización de un conector personalizado
Actualizar un conector personalizado no afecta a los trabajos en ejecución. Los cambios surten efecto después de reiniciar el trabajo.
Inicie sesión en el Portal de administración de Realtime Compute for Apache Flink.
En la columna Actions del espacio de trabajo deseado, haga clic en Console.
En el panel de navegación izquierdo, haga clic en Connectors.
En la pestaña Custom Connectors, localice el conector deseado y haga clic en Edit junto a su nombre.
-
Cargue el nuevo archivo JAR mediante uno de los siguientes métodos:
Upload File: Haga clic en Click to select y seleccione su archivo JAR de conector.
-
Use External URL: Introduzca la URL del archivo JAR alojado en un servicio externo. Ejemplo:
https://ossbucket/artifacts/namespaces/flink-default/flink-jobs-1.0-SNAPSHOT.jarNotaSe admiten dos tipos de URL externas:
El bucket de OSS asociado a su espacio de trabajo de Flink. Consulte los detalles del bucket en la página Details del Portal de administración.
Una URL de un sistema de almacenamiento externo al que Realtime Compute for Apache Flink tenga acceso (lectura pública o con permiso otorgado).
Haga clic en Next. Flink analiza sintácticamente el archivo JAR cargado. Si el análisis es correcto, continúe con el siguiente paso. Si falla, compruebe que el código de su conector cumple con los estándares de Apache Flink.
Haga clic en Finish.