Utiliser les connecteurs DataStream pour lire et écrire dans des sources de données - Realtime Compute for Apache Flink

Cette rubrique explique comment utiliser les connecteurs DataStream pour lire et écrire dans des sources de données.

Dépendances et utilisation des connecteurs DataStream

Pour lire ou écrire dans des sources de données avec l'API DataStream, utilisez le connecteur DataStream correspondant afin de vous connecter à Realtime Compute for Apache Flink. Les connecteurs VVR DataStream sont disponibles dans le dépôt central Maven et peuvent être utilisés directement lors du développement de vos jobs.

Important

Utilisez uniquement les connecteurs explicitement répertoriés comme prenant en charge l'API DataStream dans la section Connecteurs pris en charge. Les connecteurs ne figurant pas dans cette liste ne sont pas pris en charge et leurs interfaces peuvent évoluer sans préavis.

Les connecteurs DataStream sont chiffrés à des fins commerciales et ne peuvent pas être exécutés directement. Pour le débogage et l'exécution locaux, consultez la rubrique Exécuter et déboguer localement des jobs contenant des connecteurs.

Vous pouvez utiliser un connecteur de l'une des manières suivantes :

(Recommandé) Définir la portée de dépendance du connecteur sur provided

Dans le fichier Maven pom.xml de votre job, ajoutez le connecteur requis en tant que dépendance de projet avec la portée provided.
Remarque
- ${vvr.version} spécifie la version du moteur pour l'environnement d'exécution du job. Par exemple, si votre job s'exécute sur le moteur vvr-8.0.9-flink-1.17, la version Flink correspondante est 1.17.2. Nous vous recommandons d'utiliser la dernière version du moteur. Pour plus d'informations sur les versions spécifiques, consultez la section Versions du moteur.
- Étant donné que le package JAR du connecteur est introduit en tant que dépendance supplémentaire, il n'est pas nécessaire de l'inclure dans le package JAR. Vous devez donc déclarer la portée comme provided.
```

  <dependency>
      <groupId>com.alibaba.ververica</groupId>
      <artifactId>ververica-connector-mysql</artifactId>
      <version>${vvr.version}</version>
      <scope>provided</scope>
  </dependency>
```

Si vous devez développer de nouveaux connecteurs ou étendre les fonctionnalités des connecteurs existants, votre projet nécessite également une dépendance au package commun de connecteurs flink-connector-base ou ververica-connector-common.

<!-- Base dependency for Flink connector public interfaces -->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-base</artifactId>
    <version>${flink.version}</version>
</dependency>
<!-- Base dependency for Alibaba Cloud connector public interfaces -->
<dependency>
    <groupId>com.alibaba.ververica</groupId>
    <artifactId>ververica-connector-common</artifactId>
    <version>${vvr.version}</version>
</dependency>

Ajoutez le package JAR du connecteur.

Méthode 1 : Utiliser un connecteur intégré à la plateforme (recommandé)

Remarque

L'utilisation des connecteurs intégrés est préférable. Elle réduit les dépendances supplémentaires et la maintenance des versions. Lorsque la plateforme fait l'objet d'un correctif ou d'une mise à niveau, les connecteurs intégrés sont mis à jour conjointement avec la plateforme, sans nécessiter de mise à jour distincte.
Pris en charge uniquement dans VVR 11.2 et versions ultérieures.

Déployez un job JAR et ajoutez la configuration à Other Configuration dans la section Starting Parameters.

Pour dépendre de plusieurs connecteurs intégrés, par exemple mysql et kafka, utilisez la configuration suivante. Pour connaître le nom de chaque connecteur intégré, consultez la documentation du connecteur dans la section Connecteurs.

pipeline.used-builtin-connectors: mysql;kafka

Méthode 2 : Ajouter le package JAR du connecteur en tant que dépendance supplémentaire

Déployez un job JAR et ajoutez le package JAR du connecteur correspondant à la section Additional Dependencies. Vous pouvez télécharger un connecteur que vous avez développé ou un connecteur fourni par Realtime Compute for Apache Flink.

Par exemple, ajoutez ververica-connector-mysql-1.17-vvr-8.0.8.jar et ververica-connector-kafka-1.17-vvr-8.0.8.jar.

Dépendance de projet

Dans le fichier Maven pom.xml de votre job, ajoutez les connecteurs nécessaires en tant que dépendances de projet. L'exemple suivant montre comment ajouter les connecteurs Kafka et MySQL.
Remarque
- ${vvr.version} correspond à la version du moteur de l'environnement d'exécution du job. Par exemple, si votre job s'exécute sur le moteur vvr-8.0.9-flink-1.17, la version Flink correspondante est 1.17.2. Nous vous recommandons d'utiliser la dernière version du moteur. Pour plus d'informations, consultez la section Moteur.
- Étant donné que les connecteurs sont directement empaquetés dans le JAR du job en tant que dépendances de projet, ils doivent se trouver dans la portée compile par défaut.
```
        
        <dependency>
            <groupId>com.alibaba.ververica</groupId>
            <artifactId>ververica-connector-kafka</artifactId>
            <version>${vvr.version}</version>
        </dependency>
        
        <dependency>
            <groupId>com.alibaba.ververica</groupId>
            <artifactId>ververica-connector-mysql</artifactId>
            <version>${vvr.version}</version>
        </dependency>
```

        <!-- Flink connector public interfaces -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-base</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <!-- Base dependency for Alibaba Cloud connector public interfaces -->
        <dependency>
            <groupId>com.alibaba.ververica</groupId>
            <artifactId>ververica-connector-common</artifactId>
            <version>${vvr.version}</version>
        </dependency>

Important

Pour éviter les conflits de dépendances, tenez compte des points suivants :

${flink.version} correspond à la version Flink sur laquelle le job s'exécute. Cette version doit être identique à la version Flink du moteur VVR sélectionné sur la page de déploiement du job. Par exemple, si vous sélectionnez le moteur vvr-8.0.9-flink-1.17 sur la page de déploiement, la version Flink correspondante est 1.17.2. Nous vous recommandons d'utiliser la dernière version du moteur. Pour plus de détails sur les versions spécifiques, consultez la section Versions du moteur.
Pour les dépendances liées à Flink, définissez la portée sur provided en ajoutant <scope>provided</scope> à la dépendance. Cela concerne principalement les dépendances autres que les connecteurs dans le groupe org.apache.flink qui commencent par flink-.
Dans le code source d'Apache Flink, appelez uniquement les méthodes annotées avec @Public ou @PublicEvolving. Realtime Compute for Apache Flink garantit la compatibilité uniquement pour ces API publiques.
Si une API DataStream est prise en charge par un connecteur Flink intégré, nous vous recommandons d'utiliser la dépendance intégrée correspondante.

Documentation connexe

Pour un exemple de référence complet en matière de développement, consultez la rubrique Développer des jobs JAR.
Pour découvrir d'autres connecteurs prenant en charge DataStream, consultez la section Connecteurs pris en charge.
Étant donné que les connecteurs DataStream sont chiffrés à des fins commerciales, ils ne peuvent pas être exécutés ou débogués localement sans configuration spécifique. Pour obtenir des instructions, consultez la rubrique Exécuter et déboguer localement des jobs contenant des connecteurs.