Realtime Compute for Apache Flink:Python 依存関係の使用

以降では、2 つのシナリオでサードパーティの Python パッケージを使用する方法について説明します。

• 直接インポートできるサードパーティ製 Python パッケージを使用する

  サードパーティの Python パッケージが Zip Safe である場合、インストールせずに Python ジョブで直接使用できます。次の手順を実行します：

  1. 直接インポートできるサードパーティ製 Python パッケージをダウンロードします。

     1. ブラウザで PyPI ページに移動します。

     2. 検索ボックスに、apache-flink 1.12.2 などの対象のサードパーティ Python パッケージの名前を入力します。

     3. 検索結果で、パッケージの名前をクリックします。

     4. 左側のナビゲーションウィンドウで、[ファイルのダウンロード] をクリックします。

     5. cp37-cp37m-manylinux1 を含むパッケージの名前をクリックして、パッケージをダウンロードします。

  2. リアルタイムコンピューティングコンソールにログインします。

  3. 対象のワークスペースについて、[操作] 列の [コンソール] をクリックします。

  4. 左側のナビゲーションウィンドウで [ファイル管理] をクリックし、サードパーティの Python パッケージをアップロードします。

  5. [オペレーションセンター] > [ジョブ O&M] ページで、[ジョブのデプロイ] > [Python ジョブ] をクリックします。Python ライブラリ で、アップロードしたサードパーティの Python パッケージを選択します。

  6. [保存] をクリックします。

• コンパイルが必要なサードパーティ製 Python パッケージを使用する

  サードパーティの Python パッケージが tar.gz 形式の圧縮パッケージであるか、ルートディレクトリに setup.py ファイルを含むソースパッケージである場合、通常、使用する前にパッケージをコンパイルする必要があります。Python ジョブで呼び出す前に、Flink と互換性のある環境でパッケージをコンパイルする必要があります。

  サードパーティの Python パッケージをコンパイルするには、Python 3.7 を quay.io/pypa/manylinux2014_x86_64 イメージコンテナーで使用することを推奨します。このコンテナーを使用してコンパイルされたパッケージは、ほとんどの Linux 環境と互換性があります。このイメージコンテナーの詳細については、「manylinux」をご参照ください。

  説明

  Python 3.7 のインストールパスは /opt/python/cp37-cp37m/bin/python3 です。

  次の例では、opencv-python-headless サードパーティ Python パッケージをコンパイルして使用する方法を示します。

  1. サードパーティの Python パッケージをコンパイルします。

     1. ローカルマシンで、requirements.txt という名前のファイルを次の内容で作成します。

        opencv-python-headless
        numpy<2

     2. ローカルマシンで、build.sh という名前のスクリプトを次の内容で作成します。

        #!/bin/bash
        set -e -x
        
        sed -i 's/mirrorlist/#mirrorlist/g' /etc/yum.repos.d/CentOS-*
        sed -i 's|#baseurl=http://mirror.centos.org|baseurl=http://vault.centos.org|g' /etc/yum.repos.d/CentOS-*
        
        yum install -y zip
        
        PYBIN=/opt/python/cp37-cp37m/bin
        #PYBIN=/opt/python/cp38-cp38/bin
        #PYBIN=/opt/python/cp39-cp39/bin
        #PYBIN=/opt/python/cp310-cp310/bin
        #PYBIN=/opt/python/cp311-cp311/bin
        
        "${PYBIN}/pip" install --target __pypackages__ -r requirements.txt
        cd __pypackages__ && zip -r deps.zip . && mv deps.zip ../ && cd ..
        rm -rf __pypackages__

     3. コマンドラインインターフェイス (CLI) で、次のコマンドを実行します。

        docker run -it --rm -v $PWD:/build  -w /build quay.io/pypa/manylinux2014_x86_64 /bin/bash build.sh
        
        # 最新の pypa/manylinux2014_x86_64 イメージでは Python 3.7 のサポートが削除されているため、Python 3.7 をサポートするイメージタグを使用してください：
        docker run -it --rm -v $PWD:/build  -w /build quay.io/pypa/manylinux2014_x86_64:2025.05.03-1 /bin/bash build.sh

        コマンドを実行すると、deps.zip という名前のファイルが生成されます。このファイルは、コンパイルされたサードパーティ製 Python パッケージです。

        また、requirements.txt ファイルを変更して、他のサードパーティ Python パッケージをインストールすることもできます。requirements.txt ファイルには、複数の Python 依存関係を指定できます。

  2. deps.zip サードパーティ Python パッケージを Python ジョブで使用します。

     1. リアルタイムコンピューティングコンソールにログインします。

     2. 対象のワークスペースの [操作] 列で、[コンソール] をクリックします。

     3. 左側のナビゲーションウィンドウで [ファイル管理] をクリックし、deps.zip をアップロードします。

     4. [オペレーションセンター] > [ジョブ O&M] ページで、対象のジョブ名をクリックします。[デプロイメント詳細] タブの [基本構成] セクションで、[編集] をクリックします。[Python ライブラリ] オプションを deps.zip に設定します。

  1. [保存] をクリックします。

以降では、2 つのシナリオでデータファイルを使用する方法について説明します。

• Python アーカイブオプションの使用

  多数のデータファイルがある場合は、それらを ZIP ファイルに圧縮し、次のように Python ジョブで使用できます：

  1. リアルタイムコンピューティングコンソールにログインします。

  2. 対象のワークスペースの [操作] 列で、[コンソール] をクリックします。

  3. 左側のナビゲーションウィンドウで [ファイル管理] をクリックし、データファイルの ZIP パッケージをアップロードします。

  4. [オペレーションセンター] > [ジョブ O&M] ページで、対象のジョブ名をクリックします。[デプロイメント詳細] タブの [基本構成] セクションで、[編集] をクリックします。Python アーカイブ オプションで、データファイルの ZIP パッケージを選択します。

  5. Python ユーザー定義関数 (UDF) では、次のようにデータファイルにアクセスできます。次の例では、データファイルを含む圧縮パッケージの名前が mydata.zip であると仮定します。

     def map():
         with open("mydata.zip/mydata/data.txt") as f:
         ...

• 追加の依存関係オプションの使用

  データファイルの数が少ない場合は、次のように Python ジョブで使用できます：

  1. リアルタイムコンピューティングコンソールにログインします。

  2. 対象のワークスペースの [操作] 列で、[コンソール] をクリックします。

  3. 左側のナビゲーションウィンドウで [ファイル管理] をクリックし、データファイルをアップロードします。

  4. [オペレーションセンター] > [ジョブ O&M] ページで、対象のジョブ名をクリックします。[デプロイメント詳細] タブの [基本構成] セクションで、[編集] をクリックします。追加の依存関係 フィールドで、目的のデータファイルを選択します。

  5. Python ユーザー定義関数 (UDF) では、次のようにデータファイルにアクセスできます。次の例では、データファイルの名前が data.txt であると仮定します。

     def map():
         with open("/flink/usrlib/data.txt") as f:
         ...