MaxCompute：Mengembangkan UDF di Java

Anda dapat menulis kode UDF dalam Java. Kode tersebut harus mencakup informasi berikut:

• Paket Java: Opsional.

  Anda dapat mengemas kelas Java yang didefinisikan ke dalam file JAR untuk digunakan di masa mendatang.

• Kelas UDF Dasar: Wajib.

  Kelas UDF yang diperlukan adalah com.aliyun.odps.udf.UDF. Jika Anda ingin menggunakan kelas UDF lain atau tipe data kompleks, ikuti petunjuk yang disediakan di Ikhtisar untuk menambahkan kelas yang diperlukan. Sebagai contoh, kelas UDF yang sesuai dengan tipe data STRUCT adalah com.aliyun.odps.data.Struct.

• Anotasi @Resolve: Opsional.

  Anotasi berada dalam format @Resolve(<signature>). Parameter signature digunakan untuk menentukan tipe data dari parameter input dan nilai kembalian UDF. Jika Anda ingin menggunakan data bertipe STRUCT dalam UDF, Anda tidak dapat menggunakan fitur refleksi untuk kelas com.aliyun.odps.data.Struct untuk mendapatkan nama dan tipe bidang. Dalam hal ini, Anda harus menambahkan anotasi @Resolve ke kelas com.aliyun.odps.data.Struct. Anotasi ini hanya memengaruhi overloading UDF yang parameter input atau nilai kembaliannya mencakup kelas com.aliyun.odps.data.Struct. Contoh: @Resolve("struct<a:string>,string->string"). Untuk informasi lebih lanjut tentang cara menggunakan tipe data kompleks dalam Java UDF, lihat Gunakan Tipe Data Kompleks dalam Java UDF.

• Kelas Java Kustom: Wajib.

  Kelas Java kustom adalah unit organisasi kode UDF. Kelas ini mendefinisikan variabel dan metode yang digunakan untuk memenuhi kebutuhan bisnis Anda.

• Metode evaluate: Wajib.

  Metode evaluate adalah metode publik non-statik dan terkandung dalam kelas Java kustom. Tipe data parameter input dan nilai balik metode evaluate digunakan sebagai tanda tangan fungsi UDF dalam pernyataan SQL. Tanda tangan fungsi mendefinisikan tipe data parameter input dan nilai balik UDF.

  Anda dapat mengimplementasikan beberapa metode evaluate dalam UDF. Saat Anda memanggil UDF, MaxCompute mencocokkan metode evaluate berdasarkan tipe data parameter input dalam UDF.

  Saat menulis UDF Java, Anda dapat menggunakan tipe data Java atau tipe data writable Java. Untuk informasi lebih lanjut tentang pemetaan antara tipe data yang didukung dalam proyek MaxCompute, tipe data Java, dan tipe data writable Java, lihat Lampiran: Tipe Data.

• Kode Inisialisasi atau Terminasi UDF: Opsional. Anda dapat menggunakan metode void setup(ExecutionContext ctx) untuk menginisialisasi UDF dan menggunakan metode void close() untuk mengakhiri UDF. Metode void setup(ExecutionContext ctx) dipanggil sebelum metode evaluate. Metode void setup(ExecutionContext ctx) dipanggil hanya sekali dan digunakan untuk menginisialisasi sumber daya yang diperlukan untuk komputasi data atau menginisialisasi anggota kelas. Metode void close() dipanggil setelah metode evaluate. Metode void close() digunakan untuk membersihkan data, seperti menutup file.

Kode contoh:

• Gunakan Tipe Data Java

  // Kemas kelas Java yang didefinisikan ke dalam file bernama org.alidata.odps.udf.examples. 
  package org.alidata.odps.udf.examples;  
  // Wariskan kelas UDF. 
  import com.aliyun.odps.udf.UDF;         
  // Kelas Java kustom. 
  public final class Lower extends UDF { 
  // Metode evaluate. String menunjukkan tipe data parameter input dan return menunjukkan nilai balik. 
      public String evaluate(String s) { 
          if (s == null) { 
          return null; 
      } 
          return s.toLowerCase; 
    } 
  }

• Gunakan Tipe Data Writable Java

  // Kemas kelas Java yang didefinisikan ke dalam file bernama com.aliyun.odps.udf.example. 
  package com.aliyun.odps.udf.example;
  // Tambahkan kelas yang sesuai dengan tipe data writable Java. 
  import com.aliyun.odps.io.Text;
  // Wariskan kelas UDF. 
  import com.aliyun.odps.udf.UDF;
  // Kelas Java kustom. 
  public class MyConcat extends UDF {
    private Text ret = new Text();
  // Metode evaluate. Text menunjukkan tipe data parameter input dan return menunjukkan nilai balik. 
    public Text evaluate(Text a, Text b) {
        if (a == null || b == null) {
        return null;
      }
        ret.clear();
        ret.append(a.getBytes(), 0, a.getLength());
        ret.append(b.getBytes(), 0, b.getLength());
        return ret;
    }
  }

Pemetaan Tipe Data

Tabel berikut menjelaskan pemetaan antara tipe data yang didukung dalam proyek MaxCompute, tipe data Java, dan tipe data writable Java. Anda harus menulis UDF Java berdasarkan pemetaan ini untuk memastikan konsistensi tipe data. Tabel berikut menjelaskan pemetaan tipe data.

Hive UDFs

Jika proyek MaxCompute Anda menggunakan edisi tipe data MaxCompute V2.0 dan mendukung UDF Hive, Anda dapat langsung menggunakan UDF Hive yang versi Hivenya kompatibel dengan MaxCompute.

Versi Hive yang kompatibel dengan MaxCompute adalah 2.1.0, yang sesuai dengan Hadoop 2.7.2. Jika UDF dikembangkan pada versi Hive atau Hadoop lainnya, Anda harus menggunakan Hive 2.1.0 atau Hadoop 2.7.2 untuk mengompilasi ulang file JAR UDF tersebut.

Untuk informasi lebih lanjut tentang cara menggunakan UDF Hive di MaxCompute, lihat Tulis UDF Hive dalam Java.