Tous les produits
Search

Ce produit

    Realtime Compute for Apache Flink:Configurer la gestion des données Paimon

    Centre de documentation

    Realtime Compute for Apache Flink:Configurer la gestion des données Paimon

    Dernière mise à jour :Sep 11, 2026

    Pour exécuter des opérations de gestion de table Paimon — telles que la compaction des petits fichiers et le tri des données — dans la Development Console, déployez le fichier JAR paimon-flink-action en tant que déploiement JAR. Cette rubrique explique comment télécharger les packages requis, les importer en tant qu'artefacts et créer le déploiement.

    Prérequis

    Avant de commencer, assurez-vous d'avoir :

    • Ververica Runtime (VVR) 8.0.5 ou version ultérieure (les versions antérieures ne prennent pas en charge les tables Paimon)

    Télécharger les packages JAR

    Les packages JAR requis dépendent de la version du moteur de votre déploiement.

    VVR 11.x (recommandé)

    Utilisez les packages JAR de la communauté Apache Paimon pour bénéficier des dernières fonctionnalités de gestion des tables de lac de données. Téléchargez à la fois paimon-flink-action et paimon-flink-1.20. VVR 11.x est compatible avec Flink 1.20 de la communauté.

    VVR 8.x

    Utilisez les packages JAR fixes fournis par Realtime Compute for Apache Flink :

    Créer un déploiement JAR

    1. Dans la Development Console, accédez à Artifacts et cliquez sur Upload Artifact. Importez les deux packages JAR téléchargés.

    2. Accédez à O&M > Deployments, puis cliquez sur Create Deployment > JAR Deployment.

    3. Dans la boîte de dialogue Create JAR Deployment, renseignez les champs suivants :

      Champ Description Exemple
      Deployment Mode Sélectionnez Stream Mode ou Batch Mode selon vos besoins. Batch Mode
      Deployment Name Nom du déploiement. paimon-compaction
      Engine Version Sélectionnez VVR 8.0.5 ou version ultérieure. vvr-8.0.5-flink-1.17
      JAR URI Sélectionnez le fichier JAR paimon-flink-action importé. —
      Entry Point Class Laissez vide. —
      Entry Point Main Arguments Paramètres d'action transmis à la méthode principale. Spécifiez les paramètres en fonction de l'opération Paimon à exécuter. Par exemple, pour le tri des données, consultez Consommation des données. Certaines actions Paimon utilisent par défaut un mode d'exécution léger et ne démarrent pas de job Flink. Realtime Compute for Apache Flink exige que le programme d'un déploiement JAR démarre un job Flink ; ajoutez donc --force_start_flink_job true aux arguments. Pour les paramètres catalog_conf requis par une action, consultez Configurer les paramètres catalog_conf. —
      Additional Dependencies Sélectionnez le deuxième package JAR importé : paimon-ali-vvr pour VVR 8.x, ou paimon-flink-1.20 pour VVR 11.x. Assurez-vous de l'avoir importé dans Artifacts à l'étape 1 avant de le sélectionner ici. —

    4. Cliquez sur Deploy.

    5. Recherchez le déploiement dans la liste et cliquez sur Start. Pour plus de détails, consultez Démarrer un job.

    Configurer les paramètres catalog_conf

    Une action Paimon accède au catalogue cible via les paramètres catalog_conf. Les paramètres à définir dépendent du type de catalogue.

    Catalogue DLF

    Définissez les paramètres du catalogue DLF, y compris la paire AccessKey. Pour plus d'informations, consultez Accéder à DLF avec Flink DataStream.

    Paramètre Description Exemple
    type Type de catalogue. La valeur est automatiquement analysée à partir du JAR personnalisé. Ne la modifiez pas. paimon
    metastore Type de metastore. Définissez la valeur sur rest. rest
    uri Endpoint VPC du serveur REST Catalog DLF, au format http://[region-id]-vpc.dlf.aliyuncs.com. Pour plus d'informations, consultez Points de terminaison du service. http://cn-hangzhou-vpc.dlf.aliyuncs.com
    warehouse Nom du catalogue DLF. dlf_test
    token.provider Fournisseur de jetons. Définissez la valeur sur dlf. dlf
    dlf.access-key-id AccessKey ID de votre compte Alibaba Cloud ou d'un utilisateur RAM. None
    dlf.access-key-secret AccessKey Secret de votre compte Alibaba Cloud ou d'un utilisateur RAM. None

    Metastore Filesystem

    Définissez le warehouse et les paramètres AccessKey OSS. Pour plus d'informations, consultez Gérer les catalogues Paimon.

    Option Description Obligatoire Remarques
    warehouse Répertoire de l'entrepôt de données dans OSS. Oui Le format est oss://<bucket>/<object>, où bucket est le nom de votre compartiment OSS et object est le chemin d'accès de stockage des données. Vous pouvez afficher les deux dans la console OSS.
    fs.oss.endpoint Endpoint d'OSS. Oui Utilisez un endpoint VPC si l'espace de travail Flink et le compartiment OSS se trouvent dans la même région. Sinon, utilisez un endpoint public. Ce paramètre est requis lorsque le compartiment OSS spécifié par warehouse se trouve dans une région différente de celle de l'espace de travail Flink, ou appartient à un autre compte. Pour plus d'informations, consultez Régions et endpoints.
    fs.oss.accessKeyId AccessKey ID du compte Alibaba Cloud ou de l'utilisateur RAM disposant des autorisations de lecture et d'écriture sur OSS. Oui Pour plus d'informations, consultez Créer une paire AccessKey.
    fs.oss.accessKeySecret AccessKey Secret du compte Alibaba Cloud ou de l'utilisateur RAM disposant des autorisations de lecture et d'écriture sur OSS. Oui
    Important

    Configurez fs.oss.endpoint, fs.oss.accessKeyId et fs.oss.accessKeySecret dans les paramètres d'exécution du déploiement Flink. Leur définition dans catalog_conf peut ne pas prendre effet.

    Étapes suivantes