MaxCompute:PyODPS用のサードパーティパッケージを生成する

PyODPSをインストールした後、次のコマンドを実行して、ローカルCLIでPython 3のパンダとパンダの依存関係をパッケージ化できます。

• すべての依存関係をDockerモードでパッケージ化します。

  pyodps-pack pandas

• すべての依存関係を非Dockerモードでパッケージ化します。

  pyodps-pack --without-docker pandas

• パッケージ依存関係のpandasバージョンを指定します。

  pyodps-pack pandas==1.2.5

パッケージ化操作を実行すると、次のコードに示すように、すべての依存関係パッケージのバージョンがpyodps-packツールに表示されます。 packages.tar.gzファイルは現在のディレクトリに生成されます。 このファイルには、次の依存関係パッケージが含まれます。

Package         Version
--------------- -------
numpy           1.21.6
pandas          1.2.5
python-dateutil 2.8.2
pytz            2022.6
six             1.16.0

Python 2.7でパッケージを生成する場合は、生成されたパッケージがMaxComputeまたはDataWorksで使用されているかどうかを確認します。 詳細については、「PyODPS DataFrame」をご参照ください。

• 生成されたパッケージをMaxComputeで使用する場合は、次のコマンドを実行します。

  pyodps-pack --mcpy27 pandas

• DataWorksで生成されたパッケージを使用する場合は、次のコマンドを実行します。

  pyodps-pack --dwpy27 pandas

この例では、pyodps-packツールを使用して、pyproject.tomlファイルに基づいて作成されたプロジェクトをパッケージ化します。 プロジェクトは次のディレクトリ構造を使用します。

test_package_root
├── test_package
│   ├── __init__.py
│   ├── mod1.py
│   └── subpackage
│       ├── __init__.py
│       └── mod2.py
└── pyproject.toml 

pyproject.tomlファイルには、次のデータが含まれている場合があります。

[project]
name = "test_package"
description = "pyodps-pack example package"
version = "0.1.0"
dependencies = [
    "pandas>=1.0.5"
]

パッケージが生成されたら、次のコマンドを実行して、生成されたパッケージとすべての依存関係パッケージをpackages.tar.gzファイルに圧縮します。 コマンドで、path_to_packageをtest_package_rootの上位ディレクトリに置き換えます。

pyodps-pack /<path_to_package>/test_package_root

pyodps-packツールを使用して、GitHubリポジトリなどのGitリポジトリにコードをパッケージ化できます。 たとえば、次のコマンドを実行してPyODPSコードをパッケージ化できます。

pyodps-pack git+https://github.com/aliyun/aliyun-odps-python-sdk.git

ブランチまたはタグをパッケージ化する場合は、次のコマンドを実行します。

pyodps-pack git+https://github.com/aliyun/aliyun-odps-python-sdk.git@v0.11.2.2

コードをパッケージ化するには、パッケージ化に必要な依存関係 (Cythonなど) をインストールする必要があります。 -- install-requiresパラメーターを使用して、インストールに必要な依存関係を指定できます。 requirements.txtファイルと同じ形式のinstall-requires.txtという名前のファイルを記述し、-- install-requiles.txtパラメーターを使用して記述したファイルを指定することもできます。 たとえば、PyODPSコードをパッケージ化する前にCythonをインストールする必要がある場合は、次のコマンドを実行します。

pyodps-pack \
    --install-requires cython \
    git+https://github.com/aliyun/aliyun-odps-python-sdk.git@v0.11.2.2

次のコマンドを実行して、install-requires.txtという名前のファイルを作成し、requirements.txtファイルの形式に基づいてファイルにコンテンツを書き込むこともできます。 サンプルファイルの内容:

cython>0.29

Sample packagingコマンド:

pyodps-pack \
    --install-requires-file install-requires.txt \
    git+https://github.com/aliyun/aliyun-odps-python-sdk.git@v0.11.2.2

一部のパッケージには、コンパイルまたはインストールに必要なダイナミックリンクライブラリなど、追加のバイナリ依存関係が含まれています。 pyodps-packツールには、-- run-beforeパラメーターがあり、パッケージング操作の前に実行する必要がある手順を指定します。 指定したステップで、必要なバイナリ依存関係をインストールできます。 次の例では、Geospatial Data Abstraction Library (GDAL) をパッケージ化する方法について説明します。

1. パッケージング中にインストールする必要があるバイナリ依存関係を決定します。

   PyPIのGDAL 3.6.0のドキュメントに基づいて、3.6.0以降のバージョンにlibgdalをインストールします。 libgdalコンパイル手順で説明したように、パッケージにはバージョン6.0以降のPROJパッケージが必要です。 両方のバイナリパッケージは、CMakeを使用してファイルに圧縮する必要があります。 これらのバイナリ依存関係をコンパイルするためのスクリプトファイルを作成し、install-gdal.shとして保存します。

   #!/bin/bash
   set -e
   
   cd /tmp
   curl -o proj-6.3.2.tar.gz https://download.osgeo.org/proj/proj-6.3.2.tar.gz
   tar xzf proj-6.3.2.tar.gz
   cd proj-6.3.2
   mkdir build && cd build
   cmake ..
   cmake --build .
   cmake --build . --target install
   
   cd /tmp
   curl -o gdal-3.6.0.tar.gz http://download.osgeo.org/gdal/3.6.0/gdal-3.6.0.tar.gz
   tar xzf gdal-3.6.0.tar.gz
   cd gdal-3.6.0
   mkdir build && cd build
   cmake ..
   cmake --build .
   cmake --build . --target install

2. 次のコマンドを実行して、pyodps-packツールを使用してパッケージを生成します。

   pyodps-pack --install-requires oldest-supported-numpy --run-before install-gdal.sh gdal==3.6.0

次の表に、pyodps-packコマンドで使用できるパラメーターを示します。 パラメータを使用して、パッケージングプロセスを制御できます。