Realtime Compute for Apache Flink:Utiliser des dépendances Python

Présentation

Suivez les instructions des sections suivantes pour utiliser les dépendances Python :

• Environnement Python préinstallé

• Utiliser un environnement virtuel Python personnalisé

• Utiliser un package Python tiers

• Utiliser un package JAR

• Utiliser des connecteurs, formats de données et catalogs intégrés

• Utiliser des fichiers de données

Environnement Python préinstallé

L'environnement Fully Managed Flink inclut un environnement Python préinstallé. Les versions de Python sont les suivantes :

• VVR 8.0.10 et versions antérieures : Python 3.7

• VVR 8.0.11 et versions ultérieures : Python 3.9

Certains packages Python tiers ont des exigences concernant la version de glibc. Les versions de glibc préinstallées dans l'environnement Fully Managed Flink sont les suivantes :

Utiliser un environnement virtuel Python personnalisé

Si l'environnement Python préinstallé ne répond pas à vos besoins, vous pouvez utiliser une version personnalisée de Python via des environnements virtuels. Chaque environnement virtuel Python fournit un environnement d'exécution Python complet. Vous pouvez installer une série de packages de dépendances Python dans un environnement virtuel. Pour plus d'informations sur les environnements virtuels Python, consultez la documentation Python relative à la La section suivante décrit comment préparer un environnement virtuel Python.

1. Préparez un environnement virtuel Python.

   1. Préparez le script setup-pyflink-virtual-env.sh sur votre appareil local. Le code suivant affiche le contenu du script.

      X86

      set -e
      # Download the miniforge.sh script.
      wget "https://github.com/conda-forge/miniforge/releases/download/25.11.0-1/Miniforge3-25.11.0-1-Linux-x86_64.sh" -O "miniforge.sh"
      
      # Add execution permissions to the miniforge.sh script.
      chmod +x miniforge.sh
      
      # Install miniforge.
      ./miniforge.sh -b
      source /root/miniforge3/bin/activate
      
      # Create a Python virtual environment.
      mamba create -n venv python=3.10 -y
      eval "$(mamba shell hook --shell bash)"
      
      # Activate the Python virtual environment.
      mamba activate venv
      
      # Install the PyFlink dependency.
      pip install "ververica-flink==11.7.0"
      # For VVR 11.5 and earlier, no dedicated PyPI package is available. Install the open-source PyFlink instead:
      # pip install "apache-flink==1.20.3" "setuptools<81"
      
      # Remove unnecessary JAR files to reduce the package size.
      find /root/miniforge3/envs/venv/lib/python3.10/site-packages/pyflink/ -name *.jar | xargs rm
      
      # Deactivate the Conda Python virtual environment.
      mamba deactivate
      
      # Package the prepared Conda Python virtual environment.
      cd /root/miniforge3/envs/ && zip -r /root/venv.zip venv 

      ARM

      set -e
      # Download the miniforge.sh script.
      wget "https://github.com/conda-forge/miniforge/releases/download/25.11.0-1/Miniforge3-25.11.0-1-Linux-aarch64.sh" -O "miniforge.sh"
      
      # Add execution permissions to the miniforge.sh script.
      chmod +x miniforge.sh
      
      # Install miniforge.
      ./miniforge.sh -b
      source /root/miniforge3/bin/activate
      
      # Create a Python virtual environment.
      mamba create -n venv python=3.10 -y
      eval "$(mamba shell hook --shell bash)"
      
      # Activate the Python virtual environment.
      mamba activate venv
      
      # Install the PyFlink dependency.
      yum install -y java-11-openjdk-devel
      export JAVA_HOME=/usr/lib/jvm/java-11
      wget "https://raw.githubusercontent.com/apache/flink/release-1.20/flink-python/dev/dev-requirements.txt" -O dev-requirements.txt
      pip install -r dev-requirements.txt
      pip install "ververica-flink==11.7.0"
      # For VVR 11.5 and earlier, no dedicated PyPI package is available. Install the open-source PyFlink instead:
      # pip install "apache-flink==1.20.3" "setuptools<81"
      
      # Remove unnecessary JAR files to reduce the package size.
      find /root/miniforge3/envs/venv/lib/python3.10/site-packages/pyflink/ -name *.jar | xargs rm
      
      # Deactivate the Conda Python virtual environment.
      mamba deactivate
      
      # Package the prepared Conda Python virtual environment.
      cd /root/miniforge3/envs && zip -r /root/venv.zip venv

      Remarque

      Dans cette rubrique, le déploiement utilise VVR 11.7 et s'exécute dans un environnement virtuel Python 3.10. Si vous souhaitez utiliser une autre version de VVR ou installer un environnement virtuel avec une autre version de Python, vous devez modifier les paramètres suivants :

      • mamba create : modifiez cette valeur pour sélectionner la version de Python souhaitée.

      • pip install :

        • VVR 11.6 et versions ultérieures : installez ververica-flink et adaptez la version à celle de VVR utilisée dans votre déploiement.

        • VVR 11.5 et versions antérieures : installez apache-flink et adaptez la version à celle de Flink correspondant à la version de VVR de votre déploiement. Pour savoir comment afficher la version de Flink, consultez la section Gestion du stockage.

   2. Préparez le script build.sh sur votre appareil local. Le code suivant affiche le contenu du script.

      #!/bin/bash
      set -e -x
      
      yum install -y zip wget
      
      cd /root/
      bash /build/setup-pyflink-virtual-env.sh
      mv venv.zip /build/

   3. Exécutez la commande suivante dans l'interface CLI pour installer l'environnement virtuel Python :

      X86

      docker run -it --rm -v $PWD:/build -w /build quay.io/pypa/manylinux_2_28_x86_64 bash ./build.sh

      ARM

      docker run -it --rm -v $PWD:/build -w /build quay.io/pypa/manylinux_2_28_aarch64 bash ./build.sh

      Une fois la commande exécutée, un fichier nommé venv.zip est généré. Dans cet exemple, l'environnement virtuel utilisé est Python 3.10.

      Vous pouvez également modifier le script précédent pour installer le package Python tiers requis dans l'environnement virtuel.

2. Utilisez l'environnement virtuel Python dans les déploiements Python.

   1. Connectez-vous à la console Realtime Compute for Apache Flink.

   2. Sous l'onglet Fully Managed Flink, repérez l'espace de travail à gérer et cliquez sur Console dans la colonne Actions.

   3. Dans le volet de navigation de gauche, cliquez sur Artifacts. Sur la page Artifacts, cliquez sur Upload Artifact. Dans la boîte de dialogue qui s'affiche, sélectionnez le package venv.zip.

   4. Sur la page O&M > Deployments, cliquez sur le nom du job souhaité.

   5. Sous l'onglet Configuration, cliquez sur Edit dans le coin supérieur droit de la section Basic et sélectionnez le package venv.zip dans la liste déroulante Python Archives.

      Si le déploiement est un déploiement SQL qui doit utiliser des fonctions définies par l'utilisateur (UDF) Python, cliquez sur Edit dans le coin supérieur droit de la section Parameters et ajoutez la configuration suivante au champ Other Configuration :

      python.archives: oss://.../venv.zip

   6. Dans la section Parameters, ajoutez les informations de configuration relatives au chemin d'installation de l'environnement virtuel Python spécifié, en fonction de la version de VVR de votre déploiement, au champ Other Configuration.

      • VVR 6.X ou versions ultérieures

        python.executable: venv.zip/venv/bin/python
        python.client.executable: venv.zip/venv/bin/python

      • Version du moteur antérieure à VVR 6.X

        python.executable: venv.zip/venv/bin/python

Utiliser un package Python tiers

Utiliser un package JAR

Si vous utilisez des classes Java, telles qu'un connecteur ou une UDF Java, dans votre déploiement Python, suivez les étapes ci-dessous pour spécifier le package JAR du connecteur ou de l'UDF Java.

1. Connectez-vous à la console Realtime Compute for Apache Flink.

2. Sous l'onglet Fully Managed Flink, repérez l'espace de travail à gérer et cliquez sur Console dans la colonne Actions.

3. Dans le volet de navigation de gauche, cliquez sur Artifacts. Sur la page Artifacts, cliquez sur Upload Artifact. Dans la boîte de dialogue, sélectionnez le package JAR à utiliser.

4. Sur la page Deployments, cliquez sur le nom du déploiement souhaité. Sous l'onglet Configuration, cliquez sur Edit dans le coin supérieur droit de la section Basic et sélectionnez le package JAR requis dans la liste déroulante Additional Dependencies.

5. Sous l'onglet Configuration, cliquez sur Edit dans le coin supérieur droit de la section Parameters et ajoutez la configuration suivante au champ Other Configuration.

   Par exemple, si le projet dépend des deux packages JAR nommés jar1.jar et jar2.jar, ajoutez les informations de configuration suivantes :

   pipeline.classpaths: 'file:///flink/usrlib/jar1.jar;file:///flink/usrlib/jar2.jar'

6. Cliquez sur Save.

Utiliser des connecteurs, formats de données et catalogs intégrés

Pour utiliser des connecteurs, formats de données et catalogs intégrés dans les programmes Python, procédez comme suit :

1. Sur la page de détails de votre déploiement Python, dans la section Parameters, ajoutez les configurations au champ Other Configuration.

   Ajoutez le paramètre pour utiliser les connecteurs intégrés. La configuration suivante spécifie les connecteurs Kafka et SLS. Pour connaître les noms spécifiques des connecteurs, consultez la documentation sous Connecteurs pris en charge.

   pipeline.used-builtin-connectors: kafka;sls

   Ajoutez le paramètre pour les formats de données intégrés. La configuration suivante spécifie les formats avro et parquet. Pour connaître les noms spécifiques des formats de données, consultez la section Formats de données.

   pipeline.used-builtin-formats: avro;parquet

   Ajoutez le paramètre pour les catalogs intégrés. La configuration suivante spécifie les catalogs hive-2.3.6 et paimon. Pour connaître les catalogs spécifiques, consultez la section Catalogs.

   pipeline.used-builtin-catalogs: hive-2.3.6;paimon

2. Cliquez sur Save.

Utiliser des fichiers de données

Références

• Pour plus d'informations sur le développement d'un projet utilisant l'API Python, consultez la section Développer des jobs PyFlink.

• Pour plus d'informations sur le développement d'un déploiement Python de Realtime Compute for Apache Flink, consultez la section Job PyFlink.

• Fully Managed Flink prend en charge les projets SQL et les projets DataStream. Pour plus d'informations sur le développement de projets SQL et DataStream, consultez les sections Présentation du développement de jobs et Développer un job JAR.