MaxCompute:Mengembangkan UDF Java

UDF Java terdiri dari bagian-bagian berikut:

• Package Java: Opsional.

  Anda dapat mengelompokkan kelas Java Anda ke dalam sebuah package agar lebih mudah ditemukan dan digunakan kembali.

• Mewarisi kelas UDF: Wajib.

  Kelas dasar yang wajib digunakan adalah com.aliyun.odps.udf.UDF. Jika Anda memerlukan kelas UDF lain atau tipe data kompleks, tambahkan kelas yang diperlukan dari MaxCompute SDK. Misalnya, kelas untuk tipe data STRUCT adalah com.aliyun.odps.data.Struct.

• Anotasi @Resolve: Opsional.

  Formatnya adalah @Resolve(<signature>), di mana signature mendefinisikan tipe data parameter input dan nilai kembali. Saat Anda menggunakan tipe data STRUCT dalam UDF, refleksi tidak dapat mengambil nama field dan tipe field dari com.aliyun.odps.data.Struct. Dalam kasus ini, Anda harus menggunakan anotasi @Resolve untuk mengambilnya. Jika Anda menggunakan STRUCT dalam UDF, tambahkan anotasi @Resolve ke kelas UDF. Anotasi ini hanya berpengaruh pada overload yang parameternya atau nilai kembalinya mengandung com.aliyun.odps.data.Struct. Contoh: @Resolve("struct<a:string>,string->string"). Untuk contoh lengkap, lihat UDF Example: Complex Data Types.

• Kelas Java kustom: Wajib.

  Ini adalah unit yang mengorganisasi kode UDF Anda. Kelas ini mendefinisikan variabel dan metode yang mengimplementasikan logika bisnis Anda.

• Metode evaluate: Wajib.

  Kelas Java kustom Anda harus menyertakan metode evaluate publik non-statis. Tipe data parameter input dan nilai kembalinya menentukan signature SQL UDF tersebut.

  Anda dapat mengimplementasikan beberapa metode evaluate. Saat Anda memanggil UDF, MaxCompute memilih metode evaluate yang tepat berdasarkan tipe argumennya.

  Saat menulis UDF Java, Anda dapat menggunakan tipe Java atau tipe Java Writable. Untuk pemetaan lengkap antara tipe data MaxCompute dan tipe data Java, lihat Lampiran: Tipe data.

• Inisialisasi dan pembersihan UDF: Opsional. Anda dapat mengimplementasikan inisialisasi dan pembersihan menggunakan void setup(ExecutionContext ctx) dan void close(). Metode void setup(ExecutionContext ctx) dipanggil sekali sebelum metode evaluate dan dapat digunakan untuk menginisialisasi resource atau objek anggota yang diperlukan untuk komputasi. Metode void close() dipanggil sekali setelah semua pemanggilan evaluate selesai dan digunakan untuk tugas pembersihan, seperti menutup file.

Contoh berikut menunjukkan dua jenis UDF.

• Gunakan tipe Java

  // Mengorganisasi kelas Java dalam package org.alidata.odps.udf.examples.
  package org.alidata.odps.udf.examples;  
  // Mewarisi kelas UDF.
  import com.aliyun.odps.udf.UDF;         
  // Mendefinisikan kelas Java kustom.
  public final class Lower extends UDF { 
  // Metode evaluate mendefinisikan logika UDF. Metode ini menerima String dan mengembalikan String.
      public String evaluate(String s) { 
          if (s == null) { 
          return null; 
      } 
          return s.toLowerCase(); 
    } 
  }

• Gunakan tipe Java Writable

  // Mengorganisasi kelas Java dalam package com.aliyun.odps.udf.example.
  package com.aliyun.odps.udf.example;
  // Menambahkan kelas yang diperlukan untuk tipe Java Writable.
  import com.aliyun.odps.io.Text;
  // Mewarisi kelas UDF.
  import com.aliyun.odps.udf.UDF;
  // Mendefinisikan kelas Java kustom.
  public class MyConcat extends UDF {
    private Text ret = new Text();
  // Mendefinisikan metode evaluate. `Text` menentukan tipe data parameter input, dan nilai `return` juga berupa objek Text.
    public Text evaluate(Text a, Text b) {
        if (a == null || b == null) {
        return null;
      }
        ret.clear();
        ret.append(a.getBytes(), 0, a.getLength());
        ret.append(b.getBytes(), 0, b.getLength());
        return ret;
    }
  }

Pemetaan tipe data

Untuk memastikan tipe data yang digunakan dalam UDF Java konsisten dengan tipe data yang didukung oleh MaxCompute, gunakan pemetaan berikut.

Tipe Java byte[] tidak termasuk dalam daftar tipe Java yang didukung. Jika Anda menggunakan byte[] sebagai parameter input atau nilai kembali metode evaluate, kesalahan ODPS-0130071 akan dilaporkan. Untuk memproses data biner dalam UDF, gunakan tipe Java yang sesuai dengan tipe BINARY MaxCompute: com.aliyun.odps.data.Binary untuk tipe Java standar, atau com.aliyun.odps.io.BytesWritable untuk tipe Writable. Anda juga dapat mengonversi data biner menjadi string yang dienkode Base64 dan menggunakan tipe String sebagai nilai kembali.

Kompatibilitas UDF Hive

Jika proyek MaxCompute Anda menggunakan edisi tipe data 2.0, MaxCompute mendukung UDF bergaya Hive. Anda dapat langsung menggunakan UDF Hive yang dikembangkan pada versi Hive yang kompatibel dengan MaxCompute.

Versi Hive yang kompatibel adalah 2.1.0, yang sesuai dengan Hadoop 2.7.2. Jika UDF Anda dikompilasi dengan versi Hive atau Hadoop yang berbeda, kompilasi ulang file JAR UDF menggunakan Hive 2.1.0 atau Hadoop 2.7.2.

Untuk contoh lengkap penggunaan UDF Hive di MaxCompute, lihat UDF Example: Hive Compatibility.