MaxCompute:Java UDTF

UDTFコード構造

次の例は、UDTFコードを示しています。

// Package Java classes into a JAR file named org.alidata.odps.udtf.examples. 
package org.alidata.odps.udtf.examples;
// The base UDTF classes. 
import com.aliyun.odps.udf.UDTF;
import com.aliyun.odps.udf.UDTFCollector;
import com.aliyun.odps.udf.annotation.Resolve;
import com.aliyun.odps.udf.UDFException;
// The custom Java class.   
// The @Resolve annotation. 
@Resolve("string,bigint->string,bigint")
public class MyUDTF extends UDTF {     
     // The methods that are used to implement the custom Java class. 
     @Override
     public void process(Object[] args) throws UDFException {
         String a = (String) args[0];
         Long b = (Long) args[1];
         for (String t: a.split("\\s+")) {
         forward(t, b);
       }
     }
   }

制限事項

• ユーザー定義関数 (UDF) を使用してインターネットにアクセスすることはできません。 UDFを使用してインターネットにアクセスする場合は、ビジネス要件に基づいてネットワーク接続申請フォームに入力し、申請書を送信します。 申請が承認された後、MaxComputeテクニカルサポートチームがお客様に連絡し、ネットワーク接続の確立を支援します。 ネットワーク接続申請フォームへの記入方法の詳細については、「ネットワーク接続プロセス」をご参照ください。

• SELECTステートメントでUDTFを使用する場合、このステートメントで他の列を指定したり、他の式を使用したりすることはできません。 次のサンプルコードは、誤ったSQL文を示しています。

  -- The statement contains a UDTF and another column. 
  select value, user_udtf(key) as mycol ...

• UDTFはネストできません。 次のサンプルコードは、誤ったSQL文を示しています。

  -- A UDTF named user_udtf2 is nested in a UDTF named user_udtf1. 
  select user_udtf1(user_udtf2(key)) as mycol...;

• UDTFは、同じSELECTステートメントのGROUP BY、DISTRIBUTE BY、またはSORT BY句では使用できません。 次のサンプルコードは、誤ったSQL文を示しています。

  -- A UDTF is used together with a GROUP BY clause. 
  select user_udtf(key) as mycol ... group by mycol;

注意事項

@ Resolveアノテーション

@Resolve(<signature>)

'arg_type_list -> type_list'

次の表に、@ Resolveアノテーションの例を示します。

データ型

MaxComputeでは、異なるデータ型エディションが異なるデータ型をサポートします。 MaxCompute V2.0以降では、ARRAY、MAP、STRUCTなど、より多くのデータ型と複雑なデータ型がサポートされています。 MaxComputeデータ型のエディションの詳細については、「データ型のエディション」をご参照ください。

次の表に、MaxComputeプロジェクトでサポートされているデータ型、Javaデータ型、およびJava書き込み可能型の間のマッピングを示します。 データ型の一貫性を確保するには、マッピングに基づいてJava UDTFを記述する必要があります。 次の表に、データ型のマッピングについて説明します。

注意事項

MaxCompute Studioを使用してJava UDTFを開発および呼び出す方法の詳細については、「例」をご参照ください。

例：

この例では、MaxCompute Studioを使用してJava UDTFを開発し、呼び出す方法について説明します。

1. 準備をします。

   MaxCompute Studioを使用してUDFを開発およびデバッグする前に、MaxCompute Studioをインストールし、MaxCompute StudioをMaxComputeプロジェクトに接続する必要があります。 MaxCompute Studioをインストールし、MaxCompute StudioをMaxComputeプロジェクトに接続する方法の詳細については、以下のトピックを参照してください。

   1. MaxCompute Studioのインストール

   2. MaxComputeプロジェクトへの接続

   3. MaxCompute Javaモジュールの作成

2. UDTFコードを書きます。

   1. [Project] タブの左側のナビゲーションウィンドウで、[src] > [main] > [java] を選択し、[java] を右クリックして、[New] > [MaxCompute Java] を選択します。

   2. [新しいMaxCompute javaクラスの作成] ダイアログボックスで、[UDTF] をクリックし、[名前] フィールドに名前を入力してから、enterキーを押します。 この例では、Javaクラスの名前はMyUDTFです。

      Name: MaxCompute Javaクラスの名前。 パッケージを作成していない場合は、このパラメーターをpackagename.classname形式で指定します。 システムは自動的にパッケージを生成します。

   3. コードエディターでコードを記述します。 次の例は、UDTFコードを示しています。

      package org.alidata.odps.udtf.examples;
      import com.aliyun.odps.udf.UDTF;
      import com.aliyun.odps.udf.UDTFCollector;
      import com.aliyun.odps.udf.annotation.Resolve;
      import com.aliyun.odps.udf.UDFException;
      // TODO define input and output types, e.g., "string,string->string,bigint".
         @Resolve("string,bigint->string,bigint")
         public class MyUDTF extends UDTF {
           @Override
           public void process(Object[] args) throws UDFException {
             String a = (String) args[0];
             Long b = (Long) args[1];
             for (String t: a.split("\\s+")) {
               forward(t, b);
             }
           }
         }

3. オンプレミスマシンでUDTFをデバッグして、コードが正常に実行できるようにします。

   デバッグ操作の詳細については、「ローカル実行を実行してUDFをデバッグする」をご参照ください。

   

   説明

   前の図のパラメーター設定は参考用です。

4. 作成したUDTFをJARファイルにパッケージ化し、そのファイルをMaxComputeプロジェクトにアップロードしてから、UDTFを登録します。 この例では、関数名はuser_udtfです。

   UDTFをパッケージ化する方法の詳細については、「手順」をご参照ください。

   

5. MaxCompute Studioの左側のナビゲーションウィンドウで、[Project Explorer] をクリックします。 MaxComputeプロジェクトを右クリックし、ドロップダウンリストから [コンソールで開く] を選択してMaxComputeクライアントを起動し、SQL文を実行して新しいUDTFを呼び出します。

   次の例は、クエリするmy_tableテーブルのデータ構造を示しています。

   +------------+------------+
   | col0       | col1       |
   +------------+------------+
   | A B        | 1          |
   | C D        | 2          |
   +------------+------------+

   次のSQL文を実行してUDTFを呼び出します。

   select user_udtf(col0, col1) as (c0, c1) from my_table;

   次の応答が返されます。

   +----+------------+
   | c0 | c1         |
   +----+------------+
   | A  | 1          |
   | B  | 1          |
   | C  | 2          |
   | D  | 2          |
   +----+------------+

関連ドキュメント

Java UDTFの使用方法の詳細については、「Java UDTFの例」をご参照ください。