MaxCompute:JavaでUDFを開発する

UDFコードはJavaで記述できます。 コードには次の情報が含まれている必要があります。

• Javaパッケージ: オプション。

  定義されているJavaクラスは、今後使用するためにJARファイルにパッケージ化できます。

• 基本UDFクラス: 必須。

  必要なUDFクラスはcom.aliyun.odps.udf.UDFです。 他のUDFクラスまたは複合データ型を使用する場合は、[概要] の手順に従って必要なクラスを追加します。 たとえば、STRUCTデータ型に対応するUDFクラスは、com.aliyun.odps.data.Structです。

• @ Resolveアノテーション: オプション。

  アノテーションは @ Resolve(<signature>) 形式です。 signatureパラメーターは、UDFの入力パラメーターと戻り値のデータ型を定義するために使用されます。 UDFでSTRUCTデータ型のデータを使用する場合、com.aliyun.odps.data.Structクラスのリフレクション機能を使用してフィールドの名前と型を取得することはできません。 この場合、com.aliyun.odps.data.Structクラスに @ Resolveアノテーションを追加する必要があります。 このアノテーションは、入力パラメーターまたは戻り値にcom.aliyun.odps.data.Structクラスが含まれるUDFのオーバーロードにのみ影響します。 例: @ Resolve("struct<a:string>,string->string") Java UDFで複雑なデータ型を使用する方法の詳細については、「Java UDFで複雑なデータ型を使用する」をご参照ください。

• カスタムJavaクラス: 必須。

  カスタムJavaクラスは、UDFコードの組織単位です。 このクラスは、ビジネス要件を満たすために使用される変数とメソッドを定義します。

• メソッドを評価する: 必須。

  evaluateメソッドは非静的パブリックメソッドであり、カスタムJavaクラスに含まれています。 evaluateメソッドの入力パラメーターと戻り値のデータ型は、SQL文のUDFの関数シグネチャとして使用されます。 関数シグネチャは、UDFの入力パラメータおよび戻り値のデータ型を定義する。

  UDFに複数のevaluateメソッドを実装できます。 UDFを呼び出すと、MaxComputeはUDFの入力パラメーターのデータ型に基づいてevaluateメソッドを照合します。

  Java UDFを作成するときは、Javaデータ型またはJava書き込み可能データ型を使用できます。 MaxComputeプロジェクトでサポートされているデータ型、Javaデータ型、およびJava書き込み可能データ型間のマッピングの詳細については、「付録: データ型」をご参照ください。

• UDF初期化または終了コード: オプション。 void setup(ExecutionContext ctx) メソッドを使用してUDFを初期化し、void close() メソッドを使用してUDFを終了できます。 void setup(ExecutionContext ctx) メソッドは、evaluateメソッドの前に呼び出されます。 void setup(ExecutionContext ctx) メソッドは1回だけ呼び出され、データコンピューティングに必要なリソースを初期化したり、クラスのメンバーを初期化したりするために使用されます。 void close() メソッドは、evaluateメソッドの後に呼び出されます。 void close() メソッドは、ファイルを閉じるなど、データをクリーンアップするために使用されます。

サンプルコード：

• Javaデータ型の使用

  // Package the defined Java classes into a file named org.alidata.odps.udf.examples. 
  package org.alidata.odps.udf.examples;  
  // Inherit the UDF class. 
  import com.aliyun.odps.udf.UDF;         
  // The custom Java class. 
  public final class Lower extends UDF { 
  // The evaluate method. String indicates the data types of the input parameters and return indicates the return value. 
      public String evaluate(String s) { 
          if (s == null) { 
          return null; 
      } 
          return s.toLowerCase(); 
    } 
  }

• Java書き込み可能データ型の使用

  // Package the defined Java classes into a file named com.aliyun.odps.udf.example. 
  package com.aliyun.odps.udf.example;
  // Add the class that corresponds to a Java writable data type. 
  import com.aliyun.odps.io.Text;
  // Inherit the UDF class. 
  import com.aliyun.odps.udf.UDF;
  // The custom Java class. 
  public class MyConcat extends UDF {
    private Text ret = new Text();
  // The evaluate method. Text indicates the data types of the input parameters and return indicates the return value. 
    public Text evaluate(Text a, Text b) {
        if (a == null || b == null) {
        return null;
      }
        ret.clear();
        ret.append(a.getBytes(), 0, a.getLength());
        ret.append(b.getBytes(), 0, b.getLength());
        return ret;
    }
  }

データ型マッピング

次の表に、MaxComputeプロジェクトでサポートされているデータ型、Javaデータ型、およびJava書き込み可能データ型の間のマッピングを示します。 データ型の一貫性を確保するには、マッピングに基づいてJava UDFを記述する必要があります。 次の表に、データ型のマッピングについて説明します。

Hive UDF

MaxComputeプロジェクトがMaxCompute V2.0データ型エディションを使用し、Hive UDFをサポートしている場合は、HiveバージョンがMaxComputeと互換性のあるHive UDFを直接使用できます。

MaxComputeと互換性のあるHiveバージョンは2.1.0で、Hadoop 2.7.2に対応します。 UDFが別のHiveまたはHadoopバージョンで開発されている場合は、Hive 2.1.0またはHadoop 2.7.2を使用してUDFのJARファイルを再コンパイルする必要があります。

MaxComputeでHive UDFを使用する方法の詳細については、「JavaでHive UDFを記述する」をご参照ください。