MaxCompute:Mengembangkan Java UDF

• Menulis Hive UDF dalam Java

• Menggunakan tipe data kompleks dalam UDF Java

• Replace strings by using regular expressions

• Obtain the values of strings that have no delimiters

• Obtain the values of strings that have delimiters

• Reference a file resource

• Reference a table resource

• Reference third-party packages in Python UDFs

Java UDF terdiri atas bagian-bagian berikut:

• Package Java: Opsional.

  Anda dapat mengelompokkan kelas Java ke dalam package untuk mempermudah penggunaan ulang dan pengorganisasian.

• Mewarisi kelas UDF: Wajib.

  Kelas dasar yang wajib digunakan adalah com.aliyun.odps.udf.UDF. Jika Anda memerlukan kelas UDF lain atau tipe data kompleks, tambahkan kelas yang diperlukan dari MaxCompute SDK. Sebagai contoh, kelas untuk tipe data STRUCT adalah com.aliyun.odps.data.Struct.

• Anotasi @Resolve: Opsional.

  Formatnya adalah @Resolve(<signature>), di mana signature mendefinisikan tipe data parameter input dan nilai kembali. Saat Anda menggunakan tipe data STRUCT dalam UDF, refleksi tidak dapat mengambil nama field dan tipe field dari com.aliyun.odps.data.Struct. Dalam kasus ini, Anda harus menggunakan anotasi @Resolve untuk mengambilnya. Jika Anda menggunakan STRUCT dalam UDF, tambahkan anotasi @Resolve ke kelas UDF. Anotasi ini hanya berpengaruh pada overload yang parameternya atau nilai kembalinya mengandung com.aliyun.odps.data.Struct. Contohnya: @Resolve("struct<a:string>,string->string"). Untuk contoh lengkap, lihat UDF Example: Complex Data Types.

• Kelas Java kustom: Wajib.

  Ini adalah unit yang mengorganisasi kode UDF Anda serta mendefinisikan variabel dan metode yang mengimplementasikan logika bisnis Anda.

• Metode evaluate: Wajib.

  Kelas Java kustom Anda harus menyertakan metode evaluate publik non-statis. Tipe data parameter input dan nilai kembalinya menentukan signature SQL UDF.

  Anda dapat mengimplementasikan beberapa metode evaluate. Saat Anda memanggil UDF, MaxCompute memilih metode evaluate yang sesuai berdasarkan tipe argumennya.

  Saat menulis Java UDF, Anda dapat menggunakan tipe Java atau tipe Java Writable. Untuk pemetaan lengkap antara tipe data MaxCompute dan tipe data Java, lihat Lampiran: Tipe data.

• Inisialisasi dan pembersihan UDF: Opsional. Anda dapat mengimplementasikan inisialisasi dan pembersihan menggunakan void setup(ExecutionContext ctx) dan void close(). Metode void setup(ExecutionContext ctx) dipanggil sekali sebelum metode evaluate dan dapat digunakan untuk menginisialisasi resource atau objek anggota yang diperlukan untuk komputasi. Metode void close() dipanggil sekali setelah semua pemanggilan evaluate selesai dan digunakan untuk tugas pembersihan, seperti menutup file.

Contoh berikut menunjukkan dua jenis UDF.

• Gunakan tipe Java

  // Mengorganisasi kelas Java dalam package org.alidata.odps.udf.examples.
  package org.alidata.odps.udf.examples;  
  // Mewarisi kelas UDF.
  import com.aliyun.odps.udf.UDF;         
  // Mendefinisikan kelas Java kustom.
  public final class Lower extends UDF { 
  // Metode evaluate mendefinisikan logika UDF. Metode ini menerima String dan mengembalikan String.
      public String evaluate(String s) { 
          if (s == null) { 
          return null; 
      } 
          return s.toLowerCase(); 
    } 
  }

• Gunakan tipe Java Writable

  // Mengorganisasi kelas Java dalam package com.aliyun.odps.udf.example.
  package com.aliyun.odps.udf.example;
  // Menambahkan kelas yang diperlukan untuk tipe Java Writable.
  import com.aliyun.odps.io.Text;
  // Mewarisi kelas UDF.
  import com.aliyun.odps.udf.UDF;
  // Mendefinisikan kelas Java kustom.
  public class MyConcat extends UDF {
    private Text ret = new Text();
  // Mendefinisikan metode evaluate. `Text` menentukan tipe data parameter input, dan nilai `return` juga berupa objek Text.
    public Text evaluate(Text a, Text b) {
        if (a == null || b == null) {
        return null;
      }
        ret.clear();
        ret.append(a.getBytes(), 0, a.getLength());
        ret.append(b.getBytes(), 0, b.getLength());
        return ret;
    }
  }

Pemetaan tipe data

Untuk memastikan tipe data yang digunakan dalam Java UDF konsisten dengan tipe data MaxCompute, gunakan pemetaan berikut.

Tipe Java byte[] tidak termasuk dalam daftar tipe Java yang didukung. Jika Anda menggunakan byte[] sebagai parameter input atau nilai kembali metode evaluate, error ODPS-0130071 akan dilaporkan. Untuk memproses data biner dalam UDF, gunakan tipe Java yang sesuai dengan tipe BINARY MaxCompute: com.aliyun.odps.data.Binary untuk tipe Java standar, atau com.aliyun.odps.io.BytesWritable untuk tipe Writable. Anda juga dapat mengonversi data biner menjadi string terenkripsi Base64 dan menggunakan tipe String sebagai nilai kembali.

Kompatibilitas Hive UDF

Jika proyek MaxCompute Anda menggunakan edisi tipe data 2.0, MaxCompute mendukung UDF bergaya Hive. Anda dapat langsung menggunakan Hive UDF yang dikembangkan untuk versi Hive yang kompatibel.

Versi Hive yang kompatibel adalah 2.1.0, yang sesuai dengan Hadoop 2.7.2. Jika UDF Anda dikompilasi dengan versi Hive atau Hadoop yang berbeda, kompilasi ulang file JAR UDF dengan Hive 2.1.0 atau Hadoop 2.7.2.

Untuk contoh lengkap penggunaan Hive UDF di MaxCompute, lihat UDF Example: Hive Compatibility.