E-MapReduce (EMR) Dataflow クラスターで PyFlink ジョブを実行する場合、Python 環境、サードパーティライブラリ、JAR コネクタ、またはデータファイルをジョブと一緒にパッケージ化する必要があることがよくあります。EMR Dataflow クラスターの Flink Python API は、Apache Flink Python API のすべての機能をサポートしています。API の背景情報については、「Python API」をご参照ください。
このトピックでは、PyFlink ジョブでサポートされている4つの Python 依存関係タイプをそれぞれパッケージ化して使用する方法について説明します。
Python 依存関係タイプ
| 依存関係タイプ | 使用するタイミング |
|---|---|
| カスタム Python 仮想環境 | ジョブで特定の Python バージョンまたはプリインストール済みパッケージのセットが必要な場合 |
| サードパーティ Python パッケージ | ジョブでデフォルト環境にない外部 Python ライブラリをインポートする場合 |
| JAR パッケージ | ジョブで Java クラス (コネクタや Java で記述されたユーザー定義関数など) を使用する場合 |
| データファイル | ジョブでランタイムに静的ファイル (モデルファイルなど) を読み取る場合 |
カスタム Python 仮想環境の使用
次のいずれかの方法を使用して仮想環境を構築し、PyFlink ジョブで参照します。
方法 1: クラスターノードでの構築
Dataflow クラスターのノードに直接アクセスできる場合は、この方法を使用します。
-
クラスターノードで、次の内容の
setup-pyflink-virtual-env.shという名前のファイルを作成します。set -e # Create a Python virtual environment. python3.6 -m venv venv # Activate the Python virtual environment. source venv/bin/activate # Upgrade pip. pip install --upgrade pip # Install PyFlink. pip install "apache-flink==1.13.0" # Exit the virtual environment. deactivate -
スクリプトを実行します。
./setup-pyflink-virtual-env.sh
現在のディレクトリに venv フォルダが作成されます。これには Python 3.6 仮想環境が含まれています。別の Python バージョンを使用したり、追加パッケージを含めたりするには、スクリプトを実行する前に編集します。
PyFlink ジョブで仮想環境を使用するには、それを Dataflow クラスター内のすべてのノードに配布するか、コマンドラインインターフェイス (CLI) を介してジョブを送信するときに参照します。詳細については、「PyFlink ジョブの送信」をご参照ください。
方法 2: ローカルマシンでの構築
この方法は、ほとんどの Linux ディストリビューションで実行可能なクロスプラットフォーム仮想環境を構築する必要がある場合に使用します。このアプローチでは、互換性を確保するために quay.io/pypa/manylinux2014_x86_64 Docker イメージを使用します。詳細については、「manylinux」をご参照ください。
-
ローカルマシンで、次の内容の
setup-pyflink-virtual-env.shという名前のファイルを作成します。set -e # Download the Miniconda installer for Python 3.7. wget "https://repo.continuum.io/miniconda/Miniconda3-py37_4.9.2-Linux-x86_64.sh" -O "miniconda.sh" # Make the installer executable. chmod +x miniconda.sh # Create a Python virtual environment. ./miniconda.sh -b -p venv # Activate the Conda virtual environment. source venv/bin/activate "" # Install PyFlink. pip install "apache-flink==1.13.0" # Exit the Conda virtual environment. conda deactivate # Remove cached packages to reduce size. rm -rf venv/pkgs # Archive the virtual environment. zip -r venv.zip venv -
次の内容の
build.shという名前のファイルを作成します。#!/bin/bash set -e -x yum install -y zip wget cd /root/ bash /build/setup-pyflink-virtual-env.sh mv venv.zip /build/ -
manylinux Docker コンテナ内でビルドを実行します。
docker run -it --rm -v $PWD:/build -w /build quay.io/pypa/manylinux2014_x86_64 ./build.sh
現在のディレクトリに venv.zip という名前のファイルが作成されます。これには Linux 用にパッケージ化された Python 3.7 仮想環境が含まれています。別の Python バージョンを使用したり、追加パッケージを含めたりするには、ビルドを実行する前に setup-pyflink-virtual-env.sh を編集します。
サードパーティ Python パッケージの使用
サードパーティ Python パッケージの使用方法は、パッケージに zip_safe フラグが設定されているかどうかによって異なります。
-
`zip_safe` パッケージ: PyFlink ジョブでパッケージを直接使用します。詳細については、「Python ライブラリ」をご参照ください。
-
ソースコードパッケージ (ルートディレクトリに
setup.pyがあるもの): まずパッケージをコンパイルしてから使用します。
ソースコードパッケージをコンパイルするには、次のいずれかの方法を使用します。
-
Dataflow クラスターのノードでコンパイルします。
-
quay.io/pypa/manylinux2014_x86_64Docker イメージを使用してコンパイルします。このイメージでコンパイルされたパッケージは、ほとんどの Linux オペレーティングシステムと互換性があります。
次の手順では、opencv-python-headless を例として使用します。
ステップ 1: パッケージのコンパイル
-
ローカルマシンで、
requirements.txtという名前のファイルを作成し、インストールするパッケージをリストします。opencv-python-headless複数のパッケージをインストールするには、1行に1つのパッケージを追加します。
-
次の内容の
build.shという名前のファイルを作成します。#!/bin/bash set -e -x yum install -y zip PYBIN=/opt/python/cp37-cp37m/bin "${PYBIN}/pip" install --target __pypackages__ -r requirements.txt --no-deps cd __pypackages__ && zip -r deps.zip . && mv deps.zip ../ && cd .. rm -rf __pypackages__ -
manylinux Docker コンテナ内でビルドを実行します。
docker run -it --rm -v $PWD:/build -w /build quay.io/pypa/manylinux2014_x86_64 /bin/bash build.sh
現在のディレクトリに deps.zip という名前のファイルが作成されます。これにはコンパイル済みパッケージが含まれています。追加パッケージをインストールするには、ビルドを実行する前にそれらを requirements.txt に追加します。
ステップ 2: PyFlink ジョブでのパッケージの使用
オプションの完全なリストと追加の使用方法の詳細については、「Python ライブラリ」をご参照ください。
JAR パッケージの使用
PyFlink ジョブで Java クラス (コネクタや Java で記述されたユーザー定義関数など) を使用する場合は、それらのクラスを含む JAR パッケージを指定します。詳細については、「JAR 依存関係」をご参照ください。
データファイルの使用
PyFlink ジョブでランタイムに静的ファイル (モデルファイルなど) を読み取る必要がある場合は、それをアーカイブファイルとしてパッケージ化し、ジョブで参照します。詳細については、「アーカイブ」をご参照ください。