MaxCompute:Java UDTF

Struktur kode UDTF

Berikut ini adalah contoh UDTF.

// Mengorganisasi kelas Java yang didefinisikan dalam paket org.alidata.odps.udtf.examples.
package org.alidata.odps.udtf.examples;
// Memperluas kelas UDTF.
import com.aliyun.odps.udf.UDTF;
import com.aliyun.odps.udf.UDTFCollector;
import com.aliyun.odps.udf.annotation.Resolve;
import com.aliyun.odps.udf.UDFException;
// Kelas Java kustom.
//@Resolve annotation.
@Resolve("string,bigint->string,bigint")
public class MyUDTF extends UDTF {     
     // Mengimplementasikan metode kelas Java.
     @Override
     public void process(Object[] args) throws UDFException {
         String a = (String) args[0];
         Long b = (Long) args[1];
         for (String t: a.split("\\s+")) {
         forward(t, b);
       }
     }
   }

Batasan

• Akses Internet: Secara default, UDF tidak dapat mengakses Internet. Untuk mengaktifkan akses Internet, isi formulir permohonan koneksi jaringan. Setelah disetujui, tim dukungan teknis MaxCompute akan menghubungi Anda untuk menyiapkan koneksi tersebut. Untuk detailnya, lihat Proses koneksi jaringan.

• Tidak ada kolom lain dalam `SELECT` yang sama: Pernyataan SELECT yang memanggil UDTF tidak dapat mereferensikan kolom atau ekspresi lain. Pernyataan berikut tidak valid:

  -- Tidak valid: mencampur UDTF dengan kolom lain
  select value, user_udtf(key) as mycol ...

• Tidak boleh bersarang: UDTF tidak dapat disarangkan di dalam UDTF lain. Pernyataan berikut tidak valid:

  -- Tidak valid: user_udtf2 disarangkan di dalam user_udtf1
  select user_udtf1(user_udtf2(key)) as mycol...;

• Tidak kompatibel dengan `GROUP BY`, `DISTRIBUTE BY`, dan `SORT BY`: UDTF tidak dapat muncul dalam pernyataan SELECT yang sama dengan klausa-klausa tersebut. Pernyataan berikut tidak valid:

  -- Tidak valid: UDTF digunakan dengan GROUP BY
  select user_udtf(key) as mycol ... group by mycol;

Pertimbangan

Anotasi @Resolve

@Resolve(<signature>)

'arg_type_list -> type_list'

Tabel berikut menunjukkan contoh anotasi @Resolve yang valid.

Tipe data

Tipe data yang didukung oleh MaxCompute bervariasi berdasarkan edisi tipe data. Mulai dari MaxCompute 2.0, tersedia tipe data tambahan, termasuk tipe kompleks seperti ARRAY, MAP, dan STRUCT. Untuk informasi lebih lanjut, lihat Edisi tipe data.

Saat menulis Java UDTF, pastikan tipe data yang Anda gunakan dipetakan dengan benar ke tipe data yang didukung oleh MaxCompute. Tabel berikut menjelaskan pemetaan tersebut.

Penggunaan

Untuk panduan lengkap mengembangkan dan memanggil Java UDTF menggunakan MaxCompute Studio, lihat Contoh penggunaan.

Contoh penggunaan

Prosedur berikut memandu Anda mengembangkan dan memanggil Java UDTF menggunakan MaxCompute Studio:

1. Persiapkan lingkungan.

   Sebelum Anda dapat mengembangkan dan men-debug UDF di MaxCompute Studio, instal MaxCompute Studio dan hubungkan ke proyek MaxCompute. Untuk informasi lebih lanjut, lihat topik-topik berikut:

   1. Instal MaxCompute Studio

   2. Hubungkan ke proyek MaxCompute

   3. Buat modul Java MaxCompute

2. Tulis kode UDTF.

   1. Pada explorer Project, klik kanan direktori kode sumber modul (src > main > java) dan pilih New > MaxCompute Java.

   2. Pada kotak dialog Create new MaxCompute java class, klik UDTF, masukkan Name, lalu tekan Enter. Misalnya, beri nama kelas Java tersebut MyUDTF.

      Name adalah nama kelas Java MaxCompute yang akan dibuat. Jika paket belum dibuat, Anda dapat memasukkan packagename.classname di sini untuk menghasilkan paket secara otomatis.

   3. Pada editor kode, masukkan kode berikut. Ini adalah contoh kode UDTF.

      package org.alidata.odps.udtf.examples;
      import com.aliyun.odps.udf.UDTF;
      import com.aliyun.odps.udf.UDTFCollector;
      import com.aliyun.odps.udf.annotation.Resolve;
      import com.aliyun.odps.udf.UDFException;
      // TODO tentukan tipe input dan output, misalnya "string,string->string,bigint".
         @Resolve("string,bigint->string,bigint")
         public class MyUDTF extends UDTF {
           @Override
           public void process(Object[] args) throws UDFException {
             String a = (String) args[0];
             Long b = (Long) args[1];
             for (String t: a.split("\\s+")) {
               forward(t, b);
             }
           }
         }

3. Jalankan dan debug UDTF secara lokal untuk memastikan kode berfungsi sebagaimana mestinya.

   Untuk informasi lebih lanjut tentang debugging, lihat Jalankan dan debug UDF secara lokal.

   Klik kanan file MyUDTF pada pohon proyek dan pilih Run 'MyUDTF.main()'. Pada kotak dialog Run/Debug Configurations, atur MaxCompute project ke local, MaxCompute table ke wc_in2, Table partition ke p2=1,p1=2, Table columns ke colc,colb, Download Record limit ke 100, dan Data Column Separator ke |. Lalu, klik OK.

   Catatan

   Anda dapat menggunakan parameter di atas untuk menjalankan contoh.

4. Kemas UDTF ke dalam paket JAR, unggah ke proyek MaxCompute Anda, dan daftarkan fungsinya. Untuk contoh ini, beri nama fungsi user_udtf.

   Untuk informasi lebih lanjut tentang pengemasan, lihat Prosedur.

   Pada pohon proyek IntelliJ IDEA, klik kanan file Java UDTF (misalnya, MyUDTF) dan pilih Deploy to server.... Pada kotak dialog Package a jar, submit resource and register function, pilih MaxCompute project target, konfirmasi path Resource file, atur Main class ke kelas UDTF yang sesuai (misalnya, org.alidata.odps.udtf.examples.MyUDTF), masukkan user_udtf untuk Function name, pilih Force update if already exists, lalu klik OK untuk menyelesaikan penerapan.

5. Pada panel navigasi kiri MaxCompute Studio, klik Project Explorer. Klik kanan proyek MaxCompute target, mulai klien MaxCompute, dan jalankan perintah SQL untuk memanggil UDTF yang baru dibuat.

   Asumsikan tabel target, my_table, berisi data berikut:

   +------------+------------+
   | col0       | col1       |
   +------------+------------+
   | A B        | 1          |
   | C D        | 2          |
   +------------+------------+

   Jalankan perintah SQL berikut untuk memanggil UDTF.

   select user_udtf(col0, col1) as (c0, c1) from my_table;

   Hasil berikut dikembalikan.

   +----+------------+
   | c0 | c1         |
   +----+------------+
   | A  | 1          |
   | B  | 1          |
   | C  | 2          |
   | D  | 2          |
   +----+------------+

Dokumentasi terkait

Untuk contoh penggunaan Java UDTF lainnya, lihat Contoh Java UDTF.