Realtime Compute for Apache Flink の Python デプロイでは、カスタム Python 仮想環境、サードパーティの Python パッケージ、JAR パッケージ、データファイルを使用できます。このトピックでは、Python デプロイでこれらの依存関係を使用する方法について説明します。
概要
Python 依存関係は、以降のセクションの手順に従って使用できます。
プレインストール済みの Python 環境
Flink 完全管理環境には、プレインストール済みの Python 環境が付属しています。Python のバージョンは次のとおりです。
-
VVR 8.0.10 以前: Python 3.7
-
VVR 8.0.11 以降、VVR 11.7 より前: Python 3.9
-
VVR 11.7 以降: Python 3.9、Python 3.10、Python 3.11
Python 環境にプレインストール済みのサードパーティパッケージについては、「Python ドラフトの開発」 をご参照ください。
一部のサードパーティ Python パッケージには glibc バージョン要件があります。Flink 完全管理環境にプレインストール済みの glibc バージョンは次のとおりです。
X86
-
VVR 8.x 以前: glibc 2.17
-
VVR 11.x 以降: glibc 2.31
ARM
-
VVR 11.2 以前: glibc 2.17
-
VVR 11.3 以降: glibc 2.31
glibc は上位互換性をサポートしています。使用するサードパーティ Python パッケージで必要な glibc バージョンは、環境の glibc バージョンより新しいものであってはなりません。
カスタム Python 仮想環境の使用
Ververica Runtime (VVR) 4.X では、Python 3.7 の仮想環境のみを使用できます。VVR 6.X 以降では、より新しい Python バージョンの仮想環境を使用できます。
プレインストール済みの Python 環境が要件を満たさない場合、Python 仮想環境を使用してカスタム Python バージョンを使用できます。各 Python 仮想環境は、完全な Python ランタイム環境を提供します。仮想環境には、一連の Python 依存関係パッケージをインストールできます。以降のセクションでは、Python 仮想環境を準備する方法について説明します。
-
Python 仮想環境を準備します。
-
ローカルデバイスで setup-pyflink-virtual-env.sh スクリプトを準備します。次のコードはスクリプトの内容を示しています。
X86
set -e # miniforge.sh スクリプトをダウンロードします。 wget "https://github.com/conda-forge/miniforge/releases/download/25.11.0-1/Miniforge3-25.11.0-1-Linux-x86_64.sh" -O "miniforge.sh" # miniforge.sh スクリプトに実行権限を追加します。 chmod +x miniforge.sh # miniforge をインストールします。 ./miniforge.sh -b source /root/miniforge3/bin/activate # Python 仮想環境を作成します。 mamba create -n venv python=3.10 -y eval "$(mamba shell hook --shell bash)" # Python 仮想環境をアクティブ化します。 mamba activate venv # PyFlink 依存関係をインストールします。 pip install "ververica-flink==11.7.0" # VVR 11.5 以前の場合、専用の PyPI パッケージは利用できません。代わりにオープンソースの PyFlink をインストールしてください: # pip install "apache-flink==1.20.3" "setuptools<81" # パッケージサイズを削減するため、不要な JAR ファイルを削除します。 find /root/miniforge3/envs/venv/lib/python3.10/site-packages/pyflink/ -name *.jar | xargs rm # Conda Python 仮想環境を非アクティブ化します。 mamba deactivate # 準備した Conda Python 仮想環境をパッケージ化します。 cd /root/miniforge3/envs/ && zip -r /root/venv.zip venvARM
set -e # miniforge.sh スクリプトをダウンロードします。 wget "https://github.com/conda-forge/miniforge/releases/download/25.11.0-1/Miniforge3-25.11.0-1-Linux-aarch64.sh" -O "miniforge.sh" # miniforge.sh スクリプトに実行権限を追加します。 chmod +x miniforge.sh # miniforge をインストールします。 ./miniforge.sh -b source /root/miniforge3/bin/activate # Python 仮想環境を作成します。 mamba create -n venv python=3.10 -y eval "$(mamba shell hook --shell bash)" # Python 仮想環境をアクティブ化します。 mamba activate venv # PyFlink 依存関係をインストールします。 yum install -y java-11-openjdk-devel export JAVA_HOME=/usr/lib/jvm/java-11 wget "https://raw.githubusercontent.com/apache/flink/release-1.20/flink-python/dev/dev-requirements.txt" -O dev-requirements.txt pip install -r dev-requirements.txt pip install "ververica-flink==11.7.0" # VVR 11.5 以前の場合、専用の PyPI パッケージは利用できません。代わりにオープンソースの PyFlink をインストールしてください: # pip install "apache-flink==1.20.3" "setuptools<81" # パッケージサイズを削減するため、不要な JAR ファイルを削除します。 find /root/miniforge3/envs/venv/lib/python3.10/site-packages/pyflink/ -name *.jar | xargs rm # Conda Python 仮想環境を非アクティブ化します。 mamba deactivate # 準備した Conda Python 仮想環境をパッケージ化します。 cd /root/miniforge3/envs && zip -r /root/venv.zip venv説明このトピックの例では、VVR 11.7 を使用したデプロイを Python 3.10 の仮想環境で実行します。別の VVR バージョンを使用する場合、または別の Python バージョンの仮想環境をインストールする場合は、次のパラメータを変更する必要があります。
-
mamba create: 目的の Python バージョンに変更します。
-
pip install:
-
VVR 11.6 以降: ververica-flink をインストールし、デプロイの VVR バージョンに合わせてバージョンを変更します。
-
VVR 11.5 以前: apache-flink をインストールし、デプロイの VVR バージョンに対応する Flink バージョンに変更します。Flink バージョンの確認方法については、「ストレージ管理」 をご参照ください。
-
-
-
ローカルデバイスで build.sh スクリプトを準備します。次のコードはスクリプトの内容を示しています。
#!/bin/bash set -e -x yum install -y zip wget cd /root/ bash /build/setup-pyflink-virtual-env.sh mv venv.zip /build/ -
CLI で次のコマンドを実行して、Python 仮想環境をインストールします。
X86
docker run -it --rm -v $PWD:/build -w /build quay.io/pypa/manylinux_2_28_x86_64 bash ./build.shARM
docker run -it --rm -v $PWD:/build -w /build quay.io/pypa/manylinux_2_28_aarch64 bash ./build.shコマンドを実行すると、venv.zip という名前のファイルが生成されます。この例では、Python 3.10 の仮想環境が使用されています。
前述のスクリプトを変更して、仮想環境に必要なサードパーティ Python パッケージをインストールすることもできます。
-
-
Python デプロイで Python 仮想環境を使用します。
-
Fully Managed Flink タブで、管理するワークスペースを見つけ、[アクション] 列の [コンソール] をクリックします。
-
左側のナビゲーションペインで、[アーティファクト] をクリックします。[アーティファクト] ページで、[アーティファクトのアップロード] をクリックします。表示されたダイアログボックスで、venv.zip パッケージを選択します。
-
ページで、目的のジョブ名をクリックします。
-
[設定] タブで、[基本] セクションの右上隅にある [編集] をクリックして、[Python アーカイブ] ドロップダウンリストから
venv.zipパッケージを選択します。デプロイメントが Python ユーザー定義関数 (UDF) を使用する SQL デプロイメントの場合は、[パラメーター] セクションの右上隅にある「編集」をクリックし、[その他の設定] フィールドに次の設定を追加します。
python.archives: oss://.../venv.zip -
[パラメーター] セクションで、デプロイの VVR バージョンに基づいて指定された Python 仮想環境をインストールするためのパスの設定情報を、[その他の設定] フィールドに追加します。
-
VVR 6.X 以降
python.executable: venv.zip/venv/bin/python python.client.executable: venv.zip/venv/bin/python -
VVR 6.X より前のエンジンバージョン
python.executable: venv.zip/venv/bin/python
-
サードパーティ Python パッケージの使用
requirements.txt を使用した依存関係のインストール
VVR 11.9.preview.1 から、Python ジョブは requirements.txt でサードパーティの Python パッケージを宣言できます。ジョブが開始されると、システムは pip を実行してファイルで宣言された依存関係をインストールし、インストールされたパッケージを Python ワーカーの PYTHONPATH に追加します。以下の手順を実行します。
-
requirements.txtファイルを準備します。コンピューター上で
requirements.txtを作成し、pip 要件フォーマットでサードパーティの依存関係を宣言します。package-a==1.2.3 package-b==4.5.6requirements.txtには、ジョブで使用されるサードパーティパッケージのみを宣言してください。VVR にプリインストールされているパッケージを宣言する必要はありません。また、バージョンはプリインストールされたパッケージと互換性がある必要があります。プリインストールされたパッケージとバージョンについては、「プリインストールされたパッケージ」をご参照ください。ファイルを準備したら、次の手順を実行します。
-
Realtime Compute コンソールにログインします。
-
左側のナビゲーションペインで、[アーティファクト] をクリックし、
requirements.txtをアップロードします。 -
[運用保守 > デプロイメント] ページで、目的のジョブの名前をクリックします。
-
[設定] タブの [基本] セクションで、[編集] をクリックします。
-
[追加の依存関係] で、アップロードした
requirements.txtを選択します。
アップロードされた追加の依存関係ファイルは
/flink/usrlibディレクトリに保存されます。 例えば、requirements.txtのランタイムパスは/flink/usrlib/requirements.txtです。 -
-
Flink パラメータを設定します。
-
Realtime Compute コンソールにログインします。
-
左側のナビゲーションペインで、[O&M > デプロイメント] を選択します。
-
設定対象の Python ジョブの名前をクリックします。
-
[設定] タブで、[パラメーター] セクションを探し、セクションの右側にある [編集] をクリックします。
-
[その他の設定] フィールドに、以下の行を追加します。
python.requirements: /flink/usrlib/requirements.txt -
(オプション)pip リポジトリ URL を指定します。ジョブがネットワーク経由で URL にアクセスできることを確認してください。詳細については、「ネットワーク接続」 をご参照ください。
python.pip.index-url: <your pip index URL> -
[保存] をクリックします。
-
手動アップロード
次の 2 つのシナリオでは、サードパーティ Python パッケージの使用方法を説明します。
-
直接インポートできるサードパーティ Python パッケージの使用
サードパーティ Python パッケージが Zip Safe パッケージである場合、次の手順で、インストールせずに Python デプロイでパッケージを直接使用できます。
-
直接インポートできるサードパーティ Python パッケージをダウンロードします。
-
Web ブラウザで PyPI にアクセスします。
-
検索ボックスに、apache-flink==1.20.3 などのサードパーティ Python パッケージの名前を入力します。
-
検索結果で、使用するパッケージの名前をクリックします。
-
表示されるページの左側メニューで [Download files] をクリックします。
-
名前に cp39-cp39-manylinux_2_28 を含むパッケージをクリックして、ダウンロードします。
-
-
[リアルタイムコンピューティング Flink] タブで、目的のワークスペースを見つけ、[操作] 列の [コンソール] をクリックします。
-
左側のナビゲーションペインで、[アーティファクト] をクリックします。[アーティファクト] ページで、[アーティファクトのアップロード] をクリックします。表示されたダイアログボックスで、必要なサードパーティの Python パッケージを選択します。
-
左側のナビゲーションペインで、 をクリックします。[デプロイ] ページで、 をクリックします。ダイアログボックスの [Python ライブラリ] で、アップロードしたサードパーティの Python パッケージを選択します。
-
[保存] をクリックします。
-
-
コンパイルが必要なサードパーティ Python パッケージの使用
サードパーティ Python パッケージが、tar.gz 形式の圧縮パッケージまたは別の場所からダウンロードしたソースパッケージであり、かつ圧縮パッケージのルートディレクトリに setup.py ファイルが存在する場合、そのパッケージは使用前にコンパイルする必要があります。Python デプロイでサードパーティ Python パッケージを呼び出す前に、Flink と互換性のある環境でサードパーティ Python パッケージをコンパイルする必要があります。
quay.io/pypa/manylinux_2_28_x86_64 イメージで Python 3.9 を使用してサードパーティ Python パッケージをコンパイルすることを推奨します。このイメージによって生成されるパッケージは、ほとんどの Linux オペレーティングシステムと互換性があります。イメージの詳細については、manylinux をご参照ください。
説明Python 3.9 は /opt/python/cp39-cp39/bin/python3 ディレクトリにインストールされています。
次の例では、サードパーティ Python パッケージ opencv-python-headless をコンパイルして使用する方法を説明します。
-
サードパーティ Python パッケージをコンパイルします。
-
ローカルデバイスで requirements.txt ファイルを準備します。次のコードはファイルの内容を示しています。
opencv-python-headless numpy<2 -
ローカルデバイスで build.sh スクリプトを準備します。次のコードはスクリプトの内容を示しています。
#!/bin/bash set -e -x yum install -y zip #PYBIN=/opt/python/cp37-cp37m/bin #PYBIN=/opt/python/cp38-cp38/bin PYBIN=/opt/python/cp39-cp39/bin #PYBIN=/opt/python/cp310-cp310/bin #PYBIN=/opt/python/cp311-cp311/bin "${PYBIN}/pip" install --target __pypackages__ -r requirements.txt cd __pypackages__ && zip -r deps.zip . && mv deps.zip ../ && cd .. rm -rf __pypackages__ -
CLI で次のコマンドを実行します。
X86
docker run -it --rm -v $PWD:/build -w /build quay.io/pypa/manylinux_2_28_x86_64 bash ./build.shARM
docker run -it --rm -v $PWD:/build -w /build quay.io/pypa/manylinux_2_28_aarch64 bash ./build.shコマンドを実行すると、deps.zip という名前のファイルが生成されます。このファイルは、コンパイルされたサードパーティ Python パッケージです。
requirements.txt ファイルの内容を変更して、他の必要なサードパーティ Python パッケージをインストールすることもできます。さらに、requirements.txt ファイルに複数の Python 依存関係を指定できます。
-
-
Python デプロイでサードパーティ Python パッケージ deps.zip を使用します。
-
ワークスペースを見つけ、[アクション] 列の [コンソール] をクリックします。
-
左側のナビゲーションペインで [アーティファクト] をクリックします。[アーティファクト] ページで、[アーティファクトのアップロード] をクリックします。ダイアログボックスで、deps.zip を選択します。
-
ページで、デプロイをクリックします。 [設定] タブで、[基本] セクションの右上にある [編集] をクリックし、[Python ライブラリ] ドロップダウンリストから deps.zip パッケージを選択します。
-
[保存] をクリックします。
-
JAR パッケージの使用
Python デプロイでコネクタや Java UDF などの Java クラスを使用する場合は、次の手順で JAR パッケージを指定します。
-
「フルマネージド Flink」タブで、管理するワークスペースを探し、[アクション] 列の [コンソール] をクリックします。
-
左側のナビゲーションペインで、[アーティファクト] をクリックします。[アーティファクト] ページで、[アーティファクトのアップロード] をクリックします。ダイアログボックスで、使用する JAR パッケージを選択します。
-
[デプロイ] ページで、目的のデプロイの名前をクリックします。[設定] タブで、[基本] セクションの右上隅にある [編集] をクリックし、Additional Dependencies ドロップダウンリストから必要な JAR パッケージを選択します。
-
[設定] タブで、[パラメーター] セクションの右上隅にある [編集] をクリックし、[その他の設定] フィールドに次の設定を追加します。
たとえば、ドラフトが jar1.jar と jar2.jar という名前の 2 つの JAR パッケージに依存する場合、次の設定を追加します。
pipeline.classpaths: 'file:///flink/usrlib/jar1.jar;file:///flink/usrlib/jar2.jar' -
[保存] をクリックします。
組み込みコネクタ、データフォーマット、カタログの使用
組み込みコネクタ、データフォーマット、カタログは VVR 11.2 以降でのみサポートされています。
Flink Python ジョブで組み込みコネクタ、データフォーマット、カタログを使用するには、次の方法で指定します。
-
[パラメーター] セクションで、[その他の設定] フィールドに設定を追加します。
kafka や sls といった複数の組み込みコネクタを使用するには、次の設定を追加します。組み込みコネクタの名前については、「サポートされているコネクタ」 の各コネクタのドキュメントをご参照ください。
pipeline.used-builtin-connectors: kafka;slsavro や parquet といった複数の組み込みデータフォーマットを使用するには、次の設定を追加します。組み込みデータフォーマットの名前については、サポートされている「データフォーマット」 のドキュメントをご参照ください。
pipeline.used-builtin-formats: avro;parquethive-2.3.6 や paimon といった複数の組み込みカタログを使用するには、次の設定を追加します。組み込みカタログの名前については、「カタログ」 の各カタログのドキュメントをご参照ください。
pipeline.used-builtin-catalogs: hive-2.3.6;paimon -
[保存] をクリックします。
データファイルの使用
Flink 完全管理では、データファイルをアップロードして Python デプロイをデバッグすることはできません。
次のシナリオでは、データファイルの使用方法を説明します。
-
[Python アーカイブ] ドロップダウンリストからパッケージを選択
多数のデータファイルがある場合、データファイルを ZIP ファイルにパッケージ化し、次の手順で Python デプロイで使用できます。
-
ワークスペースを見つけ、[アクション] 列にある [コンソール] をクリックします。
-
左側のナビゲーションペインで、[アーティファクト] をクリックします。「アーティファクト」ページで、[アーティファクトのアップロード] をクリックします。表示されたダイアログボックスで、目的のデータファイルの ZIP パッケージを選択します。
-
ページで、デプロイメントの名前をクリックします。[設定] タブで、[基本] セクションの右上隅にある [編集] をクリックし、[Python アーカイブ] ドロップダウンリストから必要な ZIP パッケージを選択します。
-
Python UDF で、次のコマンドを実行してデータファイルにアクセスします。この例では、データファイルを含むパッケージの名前は mydata.zip です。
def map(): with open("mydata.zip/mydata/data.txt") as f: ...
-
[追加の依存関係] ドロップダウンリストからデータファイルを選択
少数のデータファイルがある場合、次の手順で Python デプロイでこれらのファイルにアクセスできます。
-
ワークスペースを見つけ、[アクション] 列の [コンソール] をクリックします。
-
左側のナビゲーションペインで、[アーティファクト] をクリックします。アーティファクトページで、[アーティファクトのアップロード] をクリックします。表示されたダイアログボックスで、目的のデータファイルを選択します。
-
ページで、目的のデプロイメントの名前をクリックします。 [設定] タブで、[基本] セクションの右上隅にある [編集] をクリックし、[追加の依存関係] ドロップダウンリストから必要なデータファイルを選択します。
-
Python UDF で、次のコマンドを実行してデータファイルにアクセスします。この例では、データファイルの名前は data.txt です。
def map(): with open("/flink/usrlib/data.txt") as f: ...
関連ドキュメント
-
Python API ドラフトの開発方法の詳細については、「PyFlink ジョブの開発」 をご参照ください。
-
Realtime Compute for Apache Flink の Python デプロイの開発方法の詳細については、「PyFlink ジョブ」 をご参照ください。
-
Flink 完全管理は SQL ドラフトと DataStream ドラフトをサポートしています。SQL ドラフトと DataStream ドラフトの開発方法の詳細については、「ジョブ開発の概要」および「JAR ジョブの開発」 をご参照ください。