Si les connecteurs intégrés ne couvrent pas vos sources ou puits de données, téléchargez un fichier JAR de connecteur personnalisé pour étendre votre espace de travail Flink. Cette rubrique explique comment enregistrer, utiliser et mettre à jour des connecteurs personnalisés.
Prérequis
Avant de commencer, assurez-vous de disposer des éléments suivants :
Un espace de travail Flink dans le portail de gestion de Realtime Compute for Apache Flink
Un fichier JAR de connecteur personnalisé construit conformément aux normes Apache Flink
Notes d'utilisation
Examinez les contraintes suivantes avant de télécharger votre fichier JAR :
| Contrainte | Détails |
|---|---|
| Unicité | Chaque type de connecteur ne peut être enregistré qu'une seule fois. |
| Alignement des versions | La version Flink déclarée dans votre pom.xml |
Portée provided |
Ajoutez <scope>provided</scope>pom.xml |
| Empaquetage Shade | Regroupez toutes les dépendances tierces (à l'exception des dépendances d'exécution Flink) à l'aide du plugin Maven Shade afin d'éviter les conflits de classpath lors de l'exécution. |
Enregistrer un connecteur personnalisé
Connectez-vous au portail de gestion de Realtime Compute for Apache Flink.
Dans la colonne Actions de l'espace de travail cible, cliquez sur Console.
Dans le volet de navigation de gauche, cliquez sur Connectors.
Sous l'onglet Custom Connectors, cliquez sur Create Custom Connector.
-
Téléchargez votre fichier JAR en utilisant l'une des méthodes suivantes :
Upload File : Cliquez sur Click to select et sélectionnez votre fichier JAR de connecteur.
-
Use External URL : Saisissez l'URL du fichier JAR hébergé sur un service externe. Exemple :
https://ossbucket/artifacts/namespaces/flink-default/flink-jobs-1.0-SNAPSHOT.jarRemarqueDeux types d'URL externes sont pris en charge :
Le bucket OSS associé à votre espace de travail Flink. Consultez les détails du bucket sur la page Workspace Details du portail de gestion.
Une URL vers un système de stockage externe auquel Realtime Compute for Apache Flink a accès (lecture publique ou avec autorisation accordée).
Cliquez sur Next. Flink analyse le fichier JAR téléchargé. Si l'analyse réussit, passez à l'étape suivante. En cas d'échec, vérifiez que le code de votre connecteur est conforme aux normes Apache Flink.
Cliquez sur Finish. Le connecteur personnalisé apparaît dans la liste des connecteurs.
Utiliser un connecteur personnalisé dans une tâche
Référencez le connecteur dans le code SQL de votre tâche à l'aide de l'option connector. La valeur de l'option connector correspond à la valeur du paramètre d'identifiant de DynamicTableFactory dans le package JAR de votre connecteur personnalisé. Les autres options du connecteur sont déterminées par votre connecteur personnalisé.
Pour plus de détails sur la rédaction du SQL des tâches, consultez la vue d'ensemble du développement des tâches.
Mettre à jour un connecteur personnalisé
La mise à jour d'un connecteur personnalisé n'affecte pas les tâches en cours d'exécution. Les mises à jour prennent effet après le redémarrage des tâches.
Connectez-vous au portail de gestion de Realtime Compute for Apache Flink.
Dans la colonne Actions de l'espace de travail cible, cliquez sur Console.
Dans le volet de navigation de gauche, cliquez sur Connectors.
Sous l'onglet Custom Connectors, localisez le connecteur cible et cliquez sur Edit à côté de son nom.
-
Téléchargez le nouveau fichier JAR en utilisant l'une des méthodes suivantes :
Upload File : Cliquez sur Click to select et sélectionnez votre fichier JAR de connecteur.
-
Use External URL : Saisissez l'URL du fichier JAR hébergé sur un service externe. Exemple :
https://ossbucket/artifacts/namespaces/flink-default/flink-jobs-1.0-SNAPSHOT.jarRemarqueDeux types d'URL externes sont pris en charge :
Le bucket OSS associé à votre espace de travail Flink. Consultez les détails du bucket sur la page Details du portail de gestion.
Une URL vers un système de stockage externe auquel Realtime Compute for Apache Flink a accès (lecture publique ou avec autorisation accordée).
Cliquez sur Next. Flink analyse le fichier JAR téléchargé. Si l'analyse réussit, passez à l'étape suivante. En cas d'échec, vérifiez que le code de votre connecteur est conforme aux normes Apache Flink.
Cliquez sur Finish.