Realtime Compute for Apache Flink:Python bağımlılıklarını kullanma

Genel Bakış

Aşağıdaki bölümlerde verilen talimatlara göre Python bağımlılıklarını kullanabilirsiniz:

• Önceden yüklenmiş Python ortamı

• Özel Python sanal ortamı kullanma

• Üçüncü taraf Python paketi kullanma

• JAR paketi kullanma

• Yerleşik bağlayıcıları, veri biçimlerini ve katalogları kullanma

• Veri dosyalarını kullanma

Önceden yüklenmiş Python ortamı

Tam yönetilen Flink ortamı, önceden yüklenmiş bir Python ortamı ile birlikte gelir. Python sürümleri aşağıdaki gibidir:

• VVR 8.0.10 ve önceki sürümler: Python 3.7

• VVR 8.0.11 veya sonraki sürümler ancak VVR 11.7'den önceki sürümler: Python 3.9

• VVR 11.7 ve sonraki sürümler: Python 3.9, Python 3.10 ve Python 3.11

Bazı üçüncü taraf Python paketlerinin glibc sürüm gereksinimleri vardır. Tam yönetilen Flink ortamındaki önceden yüklenmiş glibc sürümleri aşağıdaki gibidir:

Özel Python sanal ortamı kullanma

Önceden yüklenmiş Python ortamı ihtiyaçlarınızı karşılamıyorsa, Python sanal ortamları aracılığıyla özel bir Python sürümü kullanabilirsiniz. Her Python sanal ortamı eksiksiz bir Python çalışma zamanı ortamı sağlar. Bir sanal ortama bir dizi Python bağımlılık paketi yükleyebilirsiniz. Aşağıdaki bölümde bir Python sanal ortamının nasıl hazırlanacağı açıklanmaktadır.

1. Bir Python sanal ortamı hazırlayın.

   1. Yerel cihazınızda setup-pyflink-virtual-env.sh betiğini hazırlayın. Aşağıdaki kod, betiğin içeriğini göstermektedir.

      X86

      set -e
      # Download the miniforge.sh script.
      wget "https://github.com/conda-forge/miniforge/releases/download/25.11.0-1/Miniforge3-25.11.0-1-Linux-x86_64.sh" -O "miniforge.sh"
      
      # Add execution permissions to the miniforge.sh script.
      chmod +x miniforge.sh
      
      # Install miniforge.
      ./miniforge.sh -b
      source /root/miniforge3/bin/activate
      
      # Create a Python virtual environment.
      mamba create -n venv python=3.10 -y
      eval "$(mamba shell hook --shell bash)"
      
      # Activate the Python virtual environment.
      mamba activate venv
      
      # Install the PyFlink dependency.
      pip install "ververica-flink==11.7.0"
      # For VVR 11.5 and earlier, no dedicated PyPI package is available. Install the open-source PyFlink instead:
      # pip install "apache-flink==1.20.3" "setuptools<81"
      
      # Remove unnecessary JAR files to reduce the package size.
      find /root/miniforge3/envs/venv/lib/python3.10/site-packages/pyflink/ -name *.jar | xargs rm
      
      # Deactivate the Conda Python virtual environment.
      mamba deactivate
      
      # Package the prepared Conda Python virtual environment.
      cd /root/miniforge3/envs/ && zip -r /root/venv.zip venv 

      ARM

      set -e
      # Download the miniforge.sh script.
      wget "https://github.com/conda-forge/miniforge/releases/download/25.11.0-1/Miniforge3-25.11.0-1-Linux-aarch64.sh" -O "miniforge.sh"
      
      # Add execution permissions to the miniforge.sh script.
      chmod +x miniforge.sh
      
      # Install miniforge.
      ./miniforge.sh -b
      source /root/miniforge3/bin/activate
      
      # Create a Python virtual environment.
      mamba create -n venv python=3.10 -y
      eval "$(mamba shell hook --shell bash)"
      
      # Activate the Python virtual environment.
      mamba activate venv
      
      # Install the PyFlink dependency.
      yum install -y java-11-openjdk-devel
      export JAVA_HOME=/usr/lib/jvm/java-11
      wget "https://raw.githubusercontent.com/apache/flink/release-1.20/flink-python/dev/dev-requirements.txt" -O dev-requirements.txt
      pip install -r dev-requirements.txt
      pip install "ververica-flink==11.7.0"
      # For VVR 11.5 and earlier, no dedicated PyPI package is available. Install the open-source PyFlink instead:
      # pip install "apache-flink==1.20.3" "setuptools<81"
      
      # Remove unnecessary JAR files to reduce the package size.
      find /root/miniforge3/envs/venv/lib/python3.10/site-packages/pyflink/ -name *.jar | xargs rm
      
      # Deactivate the Conda Python virtual environment.
      mamba deactivate
      
      # Package the prepared Conda Python virtual environment.
      cd /root/miniforge3/envs && zip -r /root/venv.zip venv

      Not

      Bu konuda dağıtım VVR 11.7 kullanır ve Python 3.10 sanal ortamında çalıştırılır. Farklı bir VVR sürümü kullanmak veya başka bir Python sürümünün sanal ortamını yüklemek istiyorsanız aşağıdaki parametreleri değiştirmeniz gerekir:

      • mamba create: İstediğiniz Python sürümüne göre değiştirin.

      • pip install:

        • VVR 11.6 ve sonraki sürümler: ververica-flink paketini yükleyin ve sürümü dağıtımınızın VVR sürümüyle eşleşecek şekilde değiştirin.

        • VVR 11.5 ve önceki sürümler: apache-flink paketini yükleyin ve sürümü dağıtımınızın VVR sürümüne karşılık gelen Flink sürümüyle değiştirin. Flink sürümünü görüntüleme hakkında daha fazla bilgi için bkz. Depolama yönetimi.

   2. Yerel cihazınızda build.sh betiğini hazırlayın. Aşağıdaki kod, betiğin içeriğini göstermektedir.

      #!/bin/bash
      set -e -x
      
      yum install -y zip wget
      
      cd /root/
      bash /build/setup-pyflink-virtual-env.sh
      mv venv.zip /build/

   3. CLI'da Python sanal ortamını yüklemek için aşağıdaki komutu çalıştırın:

      X86

      docker run -it --rm -v $PWD:/build -w /build quay.io/pypa/manylinux_2_28_x86_64 bash ./build.sh

      ARM

      docker run -it --rm -v $PWD:/build -w /build quay.io/pypa/manylinux_2_28_aarch64 bash ./build.sh

      Komutu çalıştırdıktan sonra venv.zip adlı bir dosya oluşturulur. Bu örnekte Python 3.10 sanal ortamı kullanılmaktadır.

      Gerekli üçüncü taraf Python paketini sanal ortama yüklemek için yukarıdaki betiği de değiştirebilirsiniz.

2. Python dağıtımlarında Python sanal ortamını kullanın.

   1. Realtime Compute for Apache Flink konsolu üzerinde oturum açın.

   2. Fully Managed Flink sekmesinde yönetmek istediğiniz çalışma alanını bulun ve Actions sütunundaki Console seçeneğine tıklayın.

   3. Sol gezinme bölmesinde Artifacts seçeneğine tıklayın. Artifacts sayfasında Upload Artifact seçeneğine tıklayın. Açılan iletişim kutusunda venv.zip paketini seçin.

   4. O&M > Deployments sayfasında istediğiniz işin adına tıklayın.

   5. Configuration sekmesinde Basic bölümünün sağ üst köşesindeki Edit seçeneğine tıklayın ve Python Archives açılır listesinden venv.zip paketini seçin.

      Dağıtım, Python kullanıcı tanımlı işlevlerini (UDF'ler) kullanması gereken bir SQL dağıtımıysa Parameters bölümünün sağ üst köşesindeki Edit seçeneğine tıklayın ve aşağıdaki yapılandırmayı Other Configuration alanına ekleyin:

      python.archives: oss://.../venv.zip

   6. Parameters bölümünde, dağıtımınızın VVR sürümüne göre belirtilen Python sanal ortamının yükleme yoluna ilişkin yapılandırma bilgilerini Other Configuration alanına ekleyin.

      • VVR 6.X veya sonraki sürümler

        python.executable: venv.zip/venv/bin/python
        python.client.executable: venv.zip/venv/bin/python

      • VVR 6.X'ten önceki bir altyapı sürümü

        python.executable: venv.zip/venv/bin/python

Üçüncü taraf Python paketi kullanma

JAR paketi kullanma

Python dağıtımınızda bir bağlayıcı veya Java UDF gibi Java sınıfları kullanıyorsanız bağlayıcının veya Java UDF'nin JAR paketini belirtmek için aşağıdaki işlemleri gerçekleştirebilirsiniz.

1. Realtime Compute for Apache Flink konsolu üzerinde oturum açın.

2. Fully Managed Flink sekmesinde yönetmek istediğiniz çalışma alanını bulun ve Actions sütunundaki Console seçeneğine tıklayın.

3. Sol gezinme bölmesinde Artifacts seçeneğine tıklayın. Artifacts sayfasında Upload Artifact seçeneğine tıklayın. İletişim kutusunda kullanmak istediğiniz JAR paketini seçin.

4. Deployments sayfasında istediğiniz dağıtımın adına tıklayın. Configuration sekmesinde Basic bölümünün sağ üst köşesindeki Edit seçeneğine tıklayın ve Additional Dependencies açılır listesinden gerekli JAR paketini seçin.

5. Configuration sekmesinde Parameters bölümünün sağ üst köşesindeki Edit seçeneğine tıklayın ve aşağıdaki yapılandırmayı Other Configuration alanına ekleyin.

   Örneğin, taslak jar1.jar ve jar2.jar adlı iki JAR paketine bağımlıysa aşağıdaki yapılandırma bilgilerini ekleyin:

   pipeline.classpaths: 'file:///flink/usrlib/jar1.jar;file:///flink/usrlib/jar2.jar'

6. Save seçeneğine tıklayın.

Yerleşik bağlayıcıları, veri biçimlerini ve katalogları kullanma

Bir Flink Python işinde yerleşik bağlayıcıları, veri biçimlerini ve katalogları kullanmak için bunları aşağıdaki şekilde belirtin.

1. Parameters bölümünde yapılandırmayı Other Configuration alanına ekleyin.

   kafka ve sls adlı birden çok yerleşik bağlayıcıya bağımlı olmak için aşağıdaki yapılandırmayı ekleyin. Yerleşik bağlayıcıların adları için bkz. Desteklenen bağlayıcılar içindeki her bağlayıcının belgeleri.

   pipeline.used-builtin-connectors: kafka;sls

   avro ve parquet adlı birden çok yerleşik veri biçimine bağımlı olmak için aşağıdaki yapılandırmayı ekleyin. Yerleşik veri biçimlerinin adları için desteklenen Veri biçimleri belgelerine bakın.

   pipeline.used-builtin-formats: avro;parquet

   hive-2.3.6 ve paimon adlı birden çok yerleşik kataloga bağımlı olmak için aşağıdaki yapılandırmayı ekleyin. Yerleşik katalogların adları için bkz. Kataloglar içindeki her kataloğun belgeleri.

   pipeline.used-builtin-catalogs: hive-2.3.6;paimon

2. Save seçeneğine tıklayın.

Veri dosyalarını kullanma

Referanslar

• Bir Python API taslağının nasıl geliştirileceği hakkında daha fazla bilgi için bkz. PyFlink işleri geliştirme.

• Realtime Compute for Apache Flink için bir Python dağıtımının nasıl geliştirileceği hakkında daha fazla bilgi için bkz. PyFlink işi.

• Tam yönetilen Flink, SQL taslaklarını ve DataStream taslaklarını destekler. SQL taslaklarının ve DataStream taslaklarının nasıl geliştirileceği hakkında daha fazla bilgi için bkz. İş geliştirme genel bakışı ve JAR işi geliştirme.