Realtime Compute for Apache Flink:Use dependências do Python

Visão geral

Use as dependências do Python de acordo com as instruções das seções a seguir:

• Ambiente Python pré-instalado

• Use um ambiente virtual personalizado do Python

• Use um pacote Python de terceiros

• Use um pacote JAR

• Use conectores, formatos de dados e catálogos integrados

• Use arquivos de dados

Ambiente Python pré-instalado

O ambiente do Flink totalmente gerenciado já inclui um ambiente Python pré-instalado. As versões do Python são as seguintes:

• VVR 8.0.10 e anteriores: Python 3,7

• VVR 8.0.11 ou posterior, mas anterior ao VVR 11.7: Python 3.9

• VVR 11.7 ou posterior: Python 3.9, Python 3.10 e Python 3.11

Alguns pacotes Python de terceiros exigem versões específicas do glibc. As versões do glibc pré-instaladas no ambiente do Flink totalmente gerenciado são as seguintes:

Use um ambiente virtual personalizado do Python

Se o ambiente Python pré-instalado não atender às suas necessidades, use uma versão personalizada do Python por meio de ambientes virtuais. Cada ambiente virtual do Python fornece um ambiente de execução completo, onde é possível instalar diversos pacotes de dependência. A seção a seguir descreve como preparar um ambiente virtual do Python.

1. Prepare um ambiente virtual do Python.

   1. Prepare o script setup-pyflink-virtual-env.sh no seu dispositivo local. O código a seguir apresenta o conteúdo do script.

      X86

      set -e
      # Download the miniforge.sh script.
      wget "https://github.com/conda-forge/miniforge/releases/download/25.11.0-1/Miniforge3-25.11.0-1-Linux-x86_64.sh" -O "miniforge.sh"
      
      # Add execution permissions to the miniforge.sh script.
      chmod +x miniforge.sh
      
      # Install miniforge.
      ./miniforge.sh -b
      source /root/miniforge3/bin/activate
      
      # Create a Python virtual environment.
      mamba create -n venv python=3.10 -y
      eval "$(mamba shell hook --shell bash)"
      
      # Activate the Python virtual environment.
      mamba activate venv
      
      # Install the PyFlink dependency.
      pip install "ververica-flink==11.7.0"
      # For VVR 11.5 and earlier, no dedicated PyPI package is available. Install the open-source PyFlink instead:
      # pip install "apache-flink==1.20.3" "setuptools<81"
      
      # Remove unnecessary JAR files to reduce the package size.
      find /root/miniforge3/envs/venv/lib/python3.10/site-packages/pyflink/ -name *.jar | xargs rm
      
      # Deactivate the Conda Python virtual environment.
      mamba deactivate
      
      # Package the prepared Conda Python virtual environment.
      cd /root/miniforge3/envs/ && zip -r /root/venv.zip venv 

      ARM

      set -e
      # Download the miniforge.sh script.
      wget "https://github.com/conda-forge/miniforge/releases/download/25.11.0-1/Miniforge3-25.11.0-1-Linux-aarch64.sh" -O "miniforge.sh"
      
      # Add execution permissions to the miniforge.sh script.
      chmod +x miniforge.sh
      
      # Install miniforge.
      ./miniforge.sh -b
      source /root/miniforge3/bin/activate
      
      # Create a Python virtual environment.
      mamba create -n venv python=3.10 -y
      eval "$(mamba shell hook --shell bash)"
      
      # Activate the Python virtual environment.
      mamba activate venv
      
      # Install the PyFlink dependency.
      yum install -y java-11-openjdk-devel
      export JAVA_HOME=/usr/lib/jvm/java-11
      wget "https://raw.githubusercontent.com/apache/flink/release-1.20/flink-python/dev/dev-requirements.txt" -O dev-requirements.txt
      pip install -r dev-requirements.txt
      pip install "ververica-flink==11.7.0"
      # For VVR 11.5 and earlier, no dedicated PyPI package is available. Install the open-source PyFlink instead:
      # pip install "apache-flink==1.20.3" "setuptools<81"
      
      # Remove unnecessary JAR files to reduce the package size.
      find /root/miniforge3/envs/venv/lib/python3.10/site-packages/pyflink/ -name *.jar | xargs rm
      
      # Deactivate the Conda Python virtual environment.
      mamba deactivate
      
      # Package the prepared Conda Python virtual environment.
      cd /root/miniforge3/envs && zip -r /root/venv.zip venv

      Nota

      Neste tópico, a implantação usa o VVR 11.7 e é executada em um ambiente virtual do Python 3.10. Para usar uma versão diferente do VVR ou instalar um ambiente virtual de outra versão do Python, modifique os seguintes parâmetros:

      • mamba create: altere para a versão desejada do Python.

      • pip install:

        • VVR 11.6 e posteriores: instale o ververica-flink e defina a versão correspondente ao VVR da sua implantação.

        • VVR 11.5 e anteriores: instale o apache-flink e defina a versão correspondente ao Flink do VVR da sua implantação. Para obter mais informações sobre como visualizar a versão do Flink, consulte Storage management.

   2. Prepare o script build.sh no seu dispositivo local. O código a seguir apresenta o conteúdo do script.

      #!/bin/bash
      set -e -x
      
      yum install -y zip wget
      
      cd /root/
      bash /build/setup-pyflink-virtual-env.sh
      mv venv.zip /build/

   3. Na CLI, execute o seguinte comando para instalar o ambiente virtual do Python:

      X86

      docker run -it --rm -v $PWD:/build -w /build quay.io/pypa/manylinux_2_28_x86_64 bash ./build.sh

      ARM

      docker run -it --rm -v $PWD:/build -w /build quay.io/pypa/manylinux_2_28_aarch64 bash ./build.sh

      Após a execução do comando, o sistema gera o arquivo venv.zip. Neste exemplo, utiliza-se o ambiente virtual do Python 3.10.

      Também é possível modificar o script anterior para instalar o pacote Python de terceiros necessário no ambiente virtual.

2. Use o ambiente virtual do Python em implantações Python.

   1. Acesse o console do Realtime Compute for Apache Flink.

   2. Na guia Fully Managed Flink, localize o workspace a ser gerenciado e clique em Console na coluna Actions.

   3. No painel de navegação à esquerda, clique em Artifacts. Na página Artifacts, clique em Upload Artifact e selecione o pacote venv.zip na caixa de diálogo exibida.

   4. Na página O&M > Deployments, clique no nome do job desejado.

   5. Na guia Configuration, clique em Edit no canto superior direito da seção Basic e selecione o pacote venv.zip na lista suspensa Python Archives.

      Se a implantação for do tipo SQL e exigir o uso de funções definidas pelo usuário (UDFs) em Python, clique em Edit no canto superior direito da seção Parameters e adicione a seguinte configuração ao campo Other Configuration:

      python.archives: oss://.../venv.zip

   6. Na seção Parameters, adicione as informações de configuração do caminho de instalação do ambiente virtual do Python especificado ao campo Other Configuration, com base na versão do VVR da sua implantação.

      • VVR 6.X ou posterior

        python.executable: venv.zip/venv/bin/python
        python.client.executable: venv.zip/venv/bin/python

      • Versão do motor anterior ao VVR 6.X

        python.executable: venv.zip/venv/bin/python

Use um pacote Python de terceiros

Use um pacote JAR

Se a sua implantação Python usar classes Java, como um conector ou uma UDF Java, execute as operações a seguir para especificar o pacote JAR do conector ou da UDF Java.

1. Acesse o console do Realtime Compute for Apache Flink.

2. Na guia Fully Managed Flink, localize o workspace a ser gerenciado e clique em Console na coluna Actions.

3. No painel de navegação à esquerda, clique em Artifacts. Na página Artifacts, clique em Upload Artifact e selecione o pacote JAR desejado na caixa de diálogo.

4. Na página Deployments, clique no nome da implantação desejada. Na guia Configuration, clique em Edit no canto superior direito da seção Basic e selecione o pacote JAR necessário na lista suspensa Additional Dependencies.

5. Na guia Configuration, clique em Edit no canto superior direito da seção Parameters e adicione a seguinte configuração ao campo Other Configuration.

   Por exemplo, se o rascunho depender dos pacotes JAR chamados jar1.jar e jar2.jar, adicione as seguintes informações de configuração:

   pipeline.classpaths: 'file:///flink/usrlib/jar1.jar;file:///flink/usrlib/jar2.jar'

6. Clique em Save.

Use conectores, formatos de dados e catálogos integrados

Para usar conectores, formatos de dados e catálogos integrados em um job Python do Flink, especifique-os da seguinte maneira:

1. Na seção Parameters, adicione a configuração ao campo Other Configuration.

   Para adicionar dependências de vários conectores integrados, como kafka e sls, adicione a seguinte configuração. Para consultar os nomes dos conectores integrados, consulte a documentação de cada conector em Supported connectors.

   pipeline.used-builtin-connectors: kafka;sls

   Para adicionar dependências de vários formatos de dados integrados, como avro e parquet, adicione a seguinte configuração. Para consultar os nomes dos formatos de dados integrados, consulte a documentação dos Data formats compatíveis.

   pipeline.used-builtin-formats: avro;parquet

   Para adicionar dependências de vários catálogos integrados, como hive-2.3.6 e paimon, adicione a seguinte configuração. Para consultar os nomes dos catálogos integrados, consulte a documentação de cada catálogo em Catalogs.

   pipeline.used-builtin-catalogs: hive-2.3.6;paimon

2. Clique em Save.

Use arquivos de dados

Referências

• Para obter mais informações sobre como desenvolver um rascunho de API Python, consulte Develop PyFlink jobs.

• Para obter mais informações sobre como desenvolver uma implantação Python do Realtime Compute for Apache Flink, consulte PyFlink job.

• O Flink totalmente gerenciado oferece suporte a rascunhos SQL e DataStream. Para obter mais informações sobre como desenvolver rascunhos SQL e DataStream, consulte Job development overview e Develop a JAR job.