すべてのプロダクト
Search
ドキュメントセンター

E-MapReduce:Flink Python リファレンス

最終更新日:Mar 27, 2026

E-MapReduce (EMR) Dataflow クラスターで PyFlink ジョブを実行する場合、Python 環境、サードパーティライブラリ、JAR コネクタ、またはデータファイルをジョブと一緒にパッケージ化する必要があることがよくあります。EMR Dataflow クラスターの Flink Python API は、Apache Flink Python API のすべての機能をサポートしています。API の背景情報については、「Python API」をご参照ください。

このトピックでは、PyFlink ジョブでサポートされている4つの Python 依存関係タイプをそれぞれパッケージ化して使用する方法について説明します。

Python 依存関係タイプ

依存関係タイプ 使用するタイミング
カスタム Python 仮想環境 ジョブで特定の Python バージョンまたはプリインストール済みパッケージのセットが必要な場合
サードパーティ Python パッケージ ジョブでデフォルト環境にない外部 Python ライブラリをインポートする場合
JAR パッケージ ジョブで Java クラス (コネクタや Java で記述されたユーザー定義関数など) を使用する場合
データファイル ジョブでランタイムに静的ファイル (モデルファイルなど) を読み取る場合

カスタム Python 仮想環境の使用

次のいずれかの方法を使用して仮想環境を構築し、PyFlink ジョブで参照します。

方法 1: クラスターノードでの構築

Dataflow クラスターのノードに直接アクセスできる場合は、この方法を使用します。

  1. クラスターノードで、次の内容の setup-pyflink-virtual-env.sh という名前のファイルを作成します。

    set -e
    # Create a Python virtual environment.
    python3.6 -m venv venv
    
    # Activate the Python virtual environment.
    source venv/bin/activate
    
    # Upgrade pip.
    pip install --upgrade pip
    
    # Install PyFlink.
    pip install "apache-flink==1.13.0"
    
    # Exit the virtual environment.
    deactivate
  2. スクリプトを実行します。

    ./setup-pyflink-virtual-env.sh

現在のディレクトリに venv フォルダが作成されます。これには Python 3.6 仮想環境が含まれています。別の Python バージョンを使用したり、追加パッケージを含めたりするには、スクリプトを実行する前に編集します。

PyFlink ジョブで仮想環境を使用するには、それを Dataflow クラスター内のすべてのノードに配布するか、コマンドラインインターフェイス (CLI) を介してジョブを送信するときに参照します。詳細については、「PyFlink ジョブの送信」をご参照ください。

方法 2: ローカルマシンでの構築

この方法は、ほとんどの Linux ディストリビューションで実行可能なクロスプラットフォーム仮想環境を構築する必要がある場合に使用します。このアプローチでは、互換性を確保するために quay.io/pypa/manylinux2014_x86_64 Docker イメージを使用します。詳細については、「manylinux」をご参照ください。

  1. ローカルマシンで、次の内容の setup-pyflink-virtual-env.sh という名前のファイルを作成します。

    set -e
    # Download the Miniconda installer for Python 3.7.
    wget "https://repo.continuum.io/miniconda/Miniconda3-py37_4.9.2-Linux-x86_64.sh" -O "miniconda.sh"
    
    # Make the installer executable.
    chmod +x miniconda.sh
    
    # Create a Python virtual environment.
    ./miniconda.sh -b -p venv
    
    # Activate the Conda virtual environment.
    source venv/bin/activate ""
    
    # Install PyFlink.
    pip install "apache-flink==1.13.0"
    
    # Exit the Conda virtual environment.
    conda deactivate
    
    # Remove cached packages to reduce size.
    rm -rf venv/pkgs
    
    # Archive the virtual environment.
    zip -r venv.zip venv
  2. 次の内容の build.sh という名前のファイルを作成します。

    #!/bin/bash
    set -e -x
    yum install -y zip wget
    
    cd /root/
    bash /build/setup-pyflink-virtual-env.sh
    mv venv.zip /build/
  3. manylinux Docker コンテナ内でビルドを実行します。

    docker run -it --rm -v $PWD:/build -w /build quay.io/pypa/manylinux2014_x86_64 ./build.sh

現在のディレクトリに venv.zip という名前のファイルが作成されます。これには Linux 用にパッケージ化された Python 3.7 仮想環境が含まれています。別の Python バージョンを使用したり、追加パッケージを含めたりするには、ビルドを実行する前に setup-pyflink-virtual-env.sh を編集します。

サードパーティ Python パッケージの使用

サードパーティ Python パッケージの使用方法は、パッケージに zip_safe フラグが設定されているかどうかによって異なります。

  • `zip_safe` パッケージ: PyFlink ジョブでパッケージを直接使用します。詳細については、「Python ライブラリ」をご参照ください。

  • ソースコードパッケージ (ルートディレクトリに setup.py があるもの): まずパッケージをコンパイルしてから使用します。

ソースコードパッケージをコンパイルするには、次のいずれかの方法を使用します。

  • Dataflow クラスターのノードでコンパイルします。

  • quay.io/pypa/manylinux2014_x86_64 Docker イメージを使用してコンパイルします。このイメージでコンパイルされたパッケージは、ほとんどの Linux オペレーティングシステムと互換性があります。

次の手順では、opencv-python-headless を例として使用します。

ステップ 1: パッケージのコンパイル

  1. ローカルマシンで、requirements.txt という名前のファイルを作成し、インストールするパッケージをリストします。

    opencv-python-headless

    複数のパッケージをインストールするには、1行に1つのパッケージを追加します。

  2. 次の内容の build.sh という名前のファイルを作成します。

    #!/bin/bash
    set -e -x
    yum install -y zip
    
    PYBIN=/opt/python/cp37-cp37m/bin
    
    "${PYBIN}/pip" install --target __pypackages__ -r requirements.txt --no-deps
    cd __pypackages__ && zip -r deps.zip . && mv deps.zip ../ && cd ..
    rm -rf __pypackages__
  3. manylinux Docker コンテナ内でビルドを実行します。

    docker run -it --rm -v $PWD:/build -w /build quay.io/pypa/manylinux2014_x86_64 /bin/bash build.sh

現在のディレクトリに deps.zip という名前のファイルが作成されます。これにはコンパイル済みパッケージが含まれています。追加パッケージをインストールするには、ビルドを実行する前にそれらを requirements.txt に追加します。

ステップ 2: PyFlink ジョブでのパッケージの使用

オプションの完全なリストと追加の使用方法の詳細については、「Python ライブラリ」をご参照ください。

JAR パッケージの使用

PyFlink ジョブで Java クラス (コネクタや Java で記述されたユーザー定義関数など) を使用する場合は、それらのクラスを含む JAR パッケージを指定します。詳細については、「JAR 依存関係」をご参照ください。

データファイルの使用

PyFlink ジョブでランタイムに静的ファイル (モデルファイルなど) を読み取る必要がある場合は、それをアーカイブファイルとしてパッケージ化し、ジョブで参照します。詳細については、「アーカイブ」をご参照ください。