MaxCompute:PyODPS DataFrame のカスタム関数におけるサードパーティパッケージ

サードパーティパッケージのアップロード

主要な Python パッケージの多くは wheel (.whl) ファイルとして提供されており、さまざまなプラットフォーム向けに事前ビルドされたバイナリが含まれています。まず、MaxCompute ランタイムと互換性のあるパッケージを見つけます。

add archive python-dateutil.zip;

pandas などの C 拡張を含むパッケージの場合は、ファイル名に cp27-cp27m-manylinux1_x86_64 を含む wheel ファイルを見つける必要があります。これにより、MaxCompute 上でパッケージが正しく実行されることが保証されます。pandas-0.20.2-cp27-cp27m-manylinux1_x86_64.whl を見つけてダウンロードし、拡張子を .zip に変更してから、MaxCompute コンソールで add archive pandas.zip; コマンドを実行してアップロードします。

コードの検証

1. すべてのライブラリを使用する簡単な関数を作成します。ベストプラクティスとして、これらのサードパーティパッケージは関数内で import することが推奨されます。

   def test(x):
       from sklearn import datasets, svm
       from scipy import misc
       import numpy as np
   
       iris = datasets.load_iris()
       assert iris.data.shape == (150, 4)
       assert np.array_equal(np.unique(iris.target),  [0, 1, 2])
   
       clf = svm.LinearSVC()
       clf.fit(iris.data, iris.target)
       pred = clf.predict([[5.0, 3.6, 1.3, 0.25]])
       assert pred[0] == 0
   
       assert misc.face().shape is not None
   
       return x

   説明

   上記のコードはデモ目的のみです。このトピックで言及したすべてのパッケージを使用することを目的としています。

2. 関数を定義したら、簡単な map 操作を記述します。

   説明

   ランタイムでアイソレーションが有効になっていることを確認してください。プロジェクトレベルで有効になっていない場合は、グローバルオプションを設定して現在のセッションで有効にできます。

   from odps import options
   
   options.sql.settings = {'odps.isolation.session.enable': True}

   execute メソッドで指定することで、特定の実行に対してアイソレーションを有効にすることもできます。

   同様に、options.df.libraries を使用して必要なパッケージをグローバルに指定するか、実行時に指定できます。依存関係パッケージを含め、すべてのパッケージを指定する必要があります。

3. 定義した関数を呼び出します。

   hints = {
       'odps.isolation.session.enable': True
   }
   libraries = ['python-dateutil.zip', 'pytz.zip', 'six.tar.gz', 'pandas.zip', 'scipy.zip', 'sklearn.zip']
   
   iris = o.get_table('pyodps_iris').to_df()
   
   print iris[:1].sepal_length.map(test).execute(hints=hints, libraries=libraries)

まとめ

サードパーティパッケージとその依存関係がすでにアップロードされている場合は、コード内で直接指定できます。アップロードされていない場合は、このトピックで説明したとおり、先にパッケージをアップロードする必要があります。

PyODPS リソース

• 詳細については、「PyODPS ユーザーガイド」をご参照ください。

• 関連するコードサンプルについては、GitHub の aliyun-odps-python-sdk をご参照ください。