MaxCompute:Python 3 で UDF を開発する

MaxCompute Studio を使用して Python 3 で UDF コードを作成できます。UDF コードには、次のコンポーネントを含める必要があります。

• モジュールのインポート: 必須。

  UDF コードには、関数シグネチャをインポートするために使用される from odps.udf import annotate を含める必要があります。これにより、MaxCompute はコードで定義されている関数シグネチャを識別できます。UDF コードでファイルまたはテーブルを参照する場合、UDF コードには from odps.distcache import get_cache_file または from odps.distcache import get_cache_table を含める必要があります。

• 関数シグネチャ: 必須。

  関数シグネチャは @annotate(<signature>) フォーマットを使用します。signature パラメーターは、入力パラメーターと戻り値のデータの型を定義します。詳細については、「関数シグネチャとデータの型」をご参照ください。

• カスタム Python クラス: 必須。

  カスタム Python クラスは、UDF コードの組織単位です。このクラスは、ビジネス要件を満たすために使用される変数とメソッドを定義します。UDF コードでは、MaxCompute にインストールされているサードパーティライブラリを参照したり、ファイルやテーブルを参照したりすることもできます。詳細については、「サードパーティライブラリ」または「リソースの参照」をご参照ください。

• evaluate メソッド: 必須。

  evaluate メソッドは、カスタム Python クラスに含まれています。evaluate メソッドは、UDF の入力パラメーターと戻り値を定義します。各 Python クラスには、evaluate メソッドを 1 つしか含めることができません。

サンプルコード:

# 関数シグネチャモジュールをインポートします。
from odps.udf import annotate
# 関数シグネチャを定義します。
@annotate("bigint,bigint->bigint")
# カスタム Python クラスを定義します。
class MyPlus(object):
# evaluate メソッドを定義します。
    def evaluate(self, arg0, arg1):
        if None in (arg0, arg1):
            return None
        return arg0 + arg1

関数シグネチャのフォーマット:

@annotate(<signature>)

signature パラメーターは、入力パラメーターと戻り値のデータの型を指定する文字列です。UDF を実行する場合、UDF の入力パラメーターと戻り値のデータの型は、関数シグネチャで指定されたデータの型と一致している必要があります。データの型の一貫性は、セマンティック解析中にチェックされます。データの型が一致しない場合、エラーが返されます。シグネチャのフォーマット:

'arg_type_list -> type'

パラメーターの説明:

• arg_type_list: 入力パラメーターのデータの型を指定します。複数の入力パラメーターを使用する場合、データの型はカンマ (,) で区切られます。サポートされているデータの型は、BIGINT、STRING、DOUBLE、BOOLEAN、DATETIME、DECIMAL、FLOAT、BINARY、DATE、DECIMAL(precision,scale)、CHAR、VARCHAR です。ARRAY、MAP、STRUCT などの複雑なデータの型や、ネストされた複雑なデータの型もサポートされています。

  arg_type_list はアスタリスク (*) で表すか、空 ('') のままにすることができます。

  • arg_type_list がアスタリスク (*) で表される場合、任意の数の入力パラメーターが許可されます。

  • arg_type_list が空 ('') の場合、入力パラメーターは使用されません。

• type: 戻り値のデータの型を指定します。UDF の場合、値の 1 列のみが返されます。サポートされているデータの型は、BIGINT、STRING、DOUBLE、BOOLEAN、DATETIME、DECIMAL、FLOAT、BINARY、DATE、DECIMAL(precision,scale) です。ARRAY、MAP、STRUCT などの複雑なデータの型や、ネストされた複雑なデータの型もサポートされています。

次の表に、有効な関数シグネチャの例を示します。

次のコードは、テーブルを参照する方法を示しています。

from odps.udf import annotate
from odps.distcache import get_cache_table
@annotate('->string')
class DistCacheTableExample(object):
    def __init__(self):
        self.records = list(get_cache_table('udf_test'))
        self.counter = 0
        self.ln = len(self.records)
    def evaluate(self):
        if self.counter > self.ln - 1:
            return None
        ret = self.records[self.counter]
        self.counter += 1
        return str(ret)

Python 3 UDF を開発した後、MaxCompute SQL を使用して UDF を呼び出すことができます。Python 3 UDF の呼び出し方法の詳細については、「開発プロセス」をご参照ください。次のいずれかの方法を使用して、Python 3 で UDF を呼び出すことができます:

set odps.sql.python.version=cp37;

Python Software Foundation は 2020 年初頭に Python 2 の EOL を発表しました。したがって、Python 2 UDF を移植することをお勧めします。

• 新しいプロジェクト、または初めて Python で UDF を作成する既存のプロジェクトでは、すべての Python UDF を Python 3 で作成することをお勧めします。

• 多くの Python 2 UDF が存在する既存のプロジェクトでは、Python 3 を有効にする際に注意が必要です。Python 2 UDF を Python 3 UDF に置き換える場合は、次の方法を使用します:

  • Python 3 を使用して新しい UDF を作成し、セッションレベルで新しいジョブに対して Python 3 を有効にします。Python 3 を有効にする方法の詳細については、「Python 3 を有効にする」をご参照ください。

  • UDF が Python 2 と Python 3 の両方と互換性を持つように、Python 2 UDF を再書き込みします。UDF の再書き込みの詳細については、「Porting Python 2 Code to Python 3」をご参照ください。

    説明

    複数のプロジェクト間で共有されるパブリック UDF を作成する場合は、Python 2 と Python 3 の両方と互換性のある UDF を使用することをお勧めします。