Realtime Compute for Apache Flink:Python 依存関係の使用

次の 2 つのシナリオは、サードパーティ製 Python パッケージを使用する方法を示しています。

• 直接インポートできるサードパーティ製 Python パッケージを使用する

  サードパーティ製 Python パッケージが Zip Safe パッケージである場合は、次の手順を実行して、インストールせずに Python デプロイメントでパッケージを直接使用できます。

  1. 直接インポートできるサードパーティ製 Python パッケージをダウンロードします。

     1. Web ブラウザーで PyPI にアクセスします。

     2. 検索ボックスに、apache-flink1.12.2 などのサードパーティ製 Python パッケージの名前を入力します。

     3. 検索結果で、使用したいパッケージの名前をクリックします。

     4. 表示されるページの左側のナビゲーションペインで、[Download files] をクリックします。

     5. 名に cp37-cp37m-manylinux1 が含まれるパッケージの名前をクリックして、パッケージをダウンロードします。

  2. Realtime Compute for Apache Flink コンソール にログインします。

  3. [Fully Managed Flink] タブで、管理するワークスペースを見つけ、[アクション] 列の [コンソール] をクリックします。

  4. 左側のナビゲーションペインで、[アーティファクト] をクリックします。 [アーティファクト] ページで、[アーティファクトのアップロード] をクリックします。表示されるダイアログボックスで、必要なサードパーティ製 Python パッケージを選択します。

  5. 左側のナビゲーションペインで、[デプロイメント] をクリックします。 [デプロイメント] ページで、[デプロイメントの作成] をクリックします。 [デプロイメントの作成] ダイアログボックスで、[デプロイメントタイプ] に [PYTHON] を選択し、Python ライブラリ にアップロードしたサードパーティ製 Python パッケージを選択します。

  6. [保存] をクリックします。

• コンパイルが必要なサードパーティ製 Python パッケージを使用する

  サードパーティ製 Python パッケージが次の条件を満たす場合、パッケージを使用する前にコンパイルする必要があります。サードパーティ製 Python パッケージは、tar.gz 形式の圧縮パッケージ、または別の場所からダウンロードしたソースパッケージであり、圧縮パッケージのルートディレクトリの下に setup.py ファイルが存在します。Python デプロイメントでサードパーティ製 Python パッケージを呼び出す前に、Flink と互換性のある環境でサードパーティ製 Python パッケージをコンパイルする必要があります。

  Python 3.7 を quay.io/pypa/manylinux2014_x86_64 イメージで使用して、サードパーティ製 Python パッケージをコンパイルすることをお勧めします。イメージによって生成されたパッケージは、ほとんどの Linux オペレーティングシステムと互換性があります。イメージの詳細については、manylinux を参照してください。

  説明

  Python 3.7 は /opt/python/cp37-cp37m/bin/python3 ディレクトリにインストールされています。

  次の例は、サードパーティ製 Python パッケージ opencv-python-headless をコンパイルして使用する方法を示しています。

  1. サードパーティ製 Python パッケージをコンパイルします。

     1. ローカルデバイスで requirements.txt ファイルを準備します。次のコードは、ファイルの内容を示しています。

        opencv-python-headless

     2. ローカルデバイスで build.sh スクリプトを準備します。次のコードは、スクリプトの内容を示しています。

        #!/bin/bash
        set -e -x
        
        sed -i 's/mirrorlist/#mirrorlist/g' /etc/yum.repos.d/CentOS-*
        sed -i 's|#baseurl=http://mirror.centos.org|baseurl=http://vault.centos.org|g' /etc/yum.repos.d/CentOS-*
        
        yum install -y zip
        
        PYBIN=/opt/python/cp37-cp37m/bin
        #PYBIN=/opt/python/cp38-cp38/bin
        #PYBIN=/opt/python/cp39-cp39/bin
        #PYBIN=/opt/python/cp310-cp310/bin
        
        "${PYBIN}/pip" install --target __pypackages__ -r requirements.txt
        cd __pypackages__ && zip -r deps.zip . && mv deps.zip ../ && cd ..
        rm -rf __pypackages__

     3. CLI で、次のコマンドを実行します。

        docker run -it --rm -v $PWD:/build  -w /build quay.io/pypa/manylinux2014_x86_64 /bin/bash build.sh

        コマンドを実行すると、deps.zip という名前のファイルが生成されます。このファイルは、コンパイルされたサードパーティ製 Python パッケージです。

        requirements.txt ファイルの内容を変更して、他の必要なサードパーティ製 Python パッケージをインストールすることもできます。また、requirements.txt ファイルには複数の Python 依存関係を指定できます。

  2. Python デプロイメントでサードパーティ製 Python パッケージ deps.zip を使用します。

     1. Realtime Compute for Apache Flink コンソール にログインします。

     2. [Fully Managed Flink] タブで、管理するワークスペースを見つけ、[アクション] 列の [コンソール] をクリックします。

     3. 左側のナビゲーションペインで、[アーティファクト] をクリックします。 [アーティファクト] ページで、[アーティファクトのアップロード] をクリックします。表示されるダイアログボックスで、deps.zip を選択します。

     4. [デプロイメント] ページで、目的のデプロイメントの名前をクリックします。[構成] タブで、[基本] セクションの右上隅にある [編集] をクリックし、[python ライブラリ] ドロップダウンリストから deps.zip パッケージを選択します。

  1. [保存] をクリックします。

次のシナリオは、データファイルを使用する方法を示しています。

• [Python アーカイブ] ドロップダウンリストからパッケージを選択する

  多数のデータファイルがある場合は、データファイルを ZIP ファイルにパッケージ化し、次の操作を実行して Python デプロイメントで使用できます。

  1. Realtime Compute for Apache Flink コンソール にログインします。

  2. [Fully Managed Flink] タブで、管理するワークスペースを見つけ、[アクション] 列の [コンソール] をクリックします。

  3. 左側のナビゲーションペインで、[アーティファクト] をクリックします。 [アーティファクト] ページで、[アーティファクトのアップロード] をクリックします。表示されるダイアログボックスで、目的のデータファイルの ZIP パッケージを選択します。

  4. [デプロイメント] ページで、目的のデプロイメントの名前をクリックします。[構成] タブで、編集[基本] セクションの右上隅にある をクリックします。 [Python アーカイブ] ドロップダウンリストから必要な ZIP パッケージを選択します。Python アーカイブ

  5. Python UDF で、次のコマンドを実行してデータファイルにアクセスします。この例では、データファイルを含むパッケージの名前は mydata.zip です。

     def map():
         with open("mydata.zip/mydata/data.txt") as f:
         ...

• [追加の依存関係] ドロップダウンリストからデータファイルを選択する

  少数のデータファイルがある場合は、次の操作を実行して、Python デプロイメントでこれらのファイルにアクセスできます。

  1. Realtime Compute for Apache Flink コンソール にログインします。

  2. [Fully Managed Flink] タブで、管理するワークスペースを見つけ、[アクション] 列の [コンソール] をクリックします。

  3. 左側のナビゲーションペインで、[アーティファクト] をクリックします。 [アーティファクト] ページで、[アーティファクトのアップロード] をクリックします。表示されるダイアログボックスで、目的のデータファイルを選択します。

  4. [デプロイメント] ページで、目的のデプロイメントの名前をクリックします。[構成] タブで、編集[基本] セクションの右上隅にある をクリックします。 追加の依存関係 ドロップダウンリストから必要なデータファイルを選択します。

  5. Python UDF で、次のコマンドを実行してデータファイルにアクセスします。この例では、データファイルの名前は data.txt です。

     def map():
         with open("/flink/usrlib/data.txt") as f:
         ...