MaxCompute：Java UDTF

UDTF代碼結構

UDTF程式碼範例如下。

//將定義的Java類組織在org.alidata.odps.udtf.examples包中。
package org.alidata.odps.udtf.examples;
//繼承UDTF類。
import com.aliyun.odps.udf.UDTF;
import com.aliyun.odps.udf.UDTFCollector;
import com.aliyun.odps.udf.annotation.Resolve;
import com.aliyun.odps.udf.UDFException;
//自訂Java類。  
//@Resolve註解。
@Resolve("string,bigint->string,bigint")
public class MyUDTF extends UDTF {     
     //實現Java類的方法。
     @Override
     public void process(Object[] args) throws UDFException {
         String a = (String) args[0];
         Long b = (Long) args[1];
         for (String t: a.split("\\s+")) {
         forward(t, b);
       }
     }
   }

使用限制

• 不支援通過自訂函數訪問外網。如果您需要通過自訂函數訪問外網，請根據業務情況填寫並提交表單，MaxCompute支援人員團隊會及時聯絡您完成網路開通操作。表單填寫指導，請參見網路開通流程。

• 在select語句中使用UDTF時，不允許存在其他列或運算式。錯誤樣本如下。

  --查詢語句中同時攜帶了UDTF和其他列。
  select value, user_udtf(key) as mycol ...

• UDTF不能嵌套使用。錯誤樣本如下。

  --user_udtf1嵌套了user_udtf2，不允許嵌套。
  select user_udtf1(user_udtf2(key)) as mycol...;

• 不支援在同一個select子句中與group by、distribute by、sort by聯用。錯誤樣本如下。

  --UDTF不能與group by聯用。
  select user_udtf(key) as mycol ... group by mycol;

注意事項

@Resolve註解

@Resolve(<signature>)

'arg_type_list -> type_list'

合法@Resolve註解樣本如下。

資料類型

在MaxCompute中不同資料類型版本支援的資料類型不同。從MaxCompute 2.0版本開始，擴充了更多的新資料類型，同時還支援ARRAY、MAP、STRUCT等複雜類型。更多MaxCompute資料類型版本資訊，請參見資料類型版本說明。

為確保編寫Java UDTF過程中使用的資料類型與MaxCompute支援的資料類型保持一致，您需要關注二者間的資料類型映射關係。具體映射關係如下。

使用說明

使用MaxCompute Studio完整開發及調用Java UDTF的操作，請參見使用樣本。

使用樣本

以通過MaxCompute Studio開發UDTF為例，開發並調用Java UDTF的操作步驟如下：

1. 準備工作。

   使用MaxCompute Studio開發調試UDF時，您需要先安裝MaxCompute Studio並串連MaxCompute專案，做好UDF開發前準備工作。操作詳情請參見：

   1. 安裝MaxCompute Studio

   2. 建立MaxCompute專案串連

   3. 建立MaxCompute Java Module

2. 編寫UDTF代碼。

   1. 在Project地區，按右鍵Module的源碼目錄（即src > main > java），選擇new > MaxCompute Java。

   2. 在Create new MaxCompute java class對話方塊，單擊UDTF並填寫Name後，按Enter鍵。例如Java Class名稱為MyUDTF。

      Name為建立的MaxCompute Java Class名稱。如果還沒有建立Package，在此處填寫packagename.classname，會自動產生Package。

   3. 在代碼編寫地區寫入如下代碼。UDTF程式碼範例如下。

      package org.alidata.odps.udtf.examples;
      import com.aliyun.odps.udf.UDTF;
      import com.aliyun.odps.udf.UDTFCollector;
      import com.aliyun.odps.udf.annotation.Resolve;
      import com.aliyun.odps.udf.UDFException;
      // TODO define input and output types, e.g., "string,string->string,bigint".
         @Resolve("string,bigint->string,bigint")
         public class MyUDTF extends UDTF {
           @Override
           public void process(Object[] args) throws UDFException {
             String a = (String) args[0];
             Long b = (Long) args[1];
             for (String t: a.split("\\s+")) {
               forward(t, b);
             }
           }
         }

3. 在本地運行調試UDTF，確保代碼可以運行成功。

   更多調試操作，請參見通過本地運行調試UDF。

   按右鍵左側專案樹中的 MyUDTF 檔案，選擇 Run 'MyUDTF.main()'。在彈出的 Run/Debug Configurations 對話方塊中，設定 MaxCompute project 為 local，MaxCompute table 為 wc_in2，Table partition 為 p2=1,p1=2，Table columns 為 colc,colb，Download Record limit 為 100，Data Column Separator 為 |，然後單擊 OK。

   說明

   運行參數可參照圖示資料填寫。

4. 將建立的UDTF打包為JAR包，上傳至MaxCompute專案並註冊函數。例如函數名稱為user_udtf。

   更多打包操作，請參見操作步驟。

   在IntelliJ IDEA專案樹中按右鍵UDTF的Java檔案（如MyUDTF），選擇Deploy to server...。在彈出的Package a jar, submit resource and register function對話方塊中，選擇目標MaxCompute project，確認Resource file路徑，設定Main class為對應的UDTF類（如org.alidata.odps.udtf.examples.MyUDTF），填寫Function name為user_udtf，勾選Force update if already exists，單擊OK完成部署。

5. 在MaxCompute Studio的左側導覽列，單擊Project Explorer，在目標MaxCompute專案上單擊右鍵，啟動MaxCompute用戶端，並執行SQL命令調用新建立的UDTF。

   假設待查詢目標表my_table的資料結構如下。

   +------------+------------+
   | col0       | col1       |
   +------------+------------+
   | A B        | 1          |
   | C D        | 2          |
   +------------+------------+

   執行如下SQL命令調用UDTF。

   select user_udtf(col0, col1) as (c0, c1) from my_table;

   返回結果如下。

   +----+------------+
   | c0 | c1         |
   +----+------------+
   | A  | 1          |
   | B  | 1          |
   | C  | 2          |
   | D  | 2          |
   +----+------------+

相關文檔

關於Java UDTF的使用樣本詳情，請參見Java UDTF使用樣本。