Topik ini menjelaskan cara menggunakan parameter dinamis dengan anotasi Resolve dalam UDAF dan UDTF MaxCompute.
Sintaksis diperluas untuk anotasi Resolve
Di MaxCompute, UDAF dan UDTF menggunakan anotasi Resolve untuk menentukan signature fungsi.
@com.aliyun.odps.udf.annotation.Resolve("BIGINT->DOUBLE")
public class UDTFClass extends UDTF {
...
}
Contoh ini mendefinisikan UDTF yang menerima parameter input BIGINT dan mengembalikan nilai DOUBLE.
MaxCompute mendukung ekstensi berikut untuk sintaksis anotasi Resolve:
-
Anda dapat menggunakan
*dalam daftar parameter input untuk menerima sejumlah variabel parameter input bertipe apa pun. Misalnya,@Resolve('double,*->String')menunjukkan bahwa fungsi menerima parameter input pertama bertipe DOUBLE, diikuti oleh sejumlah parameter tambahan bertipe apa pun. Anda harus menulis kode untuk memeriksa jumlah dan tipe parameter input tersebut serta memprosesnya sesuai kebutuhan. Mekanisme ini mirip dengan fungsiprintfdalam C.CatatanTanda bintang memiliki makna berbeda dalam daftar nilai kembali.
-
Anda dapat menggunakan kata kunci
anydalam daftar parameter input untuk merepresentasikan parameter bertipe apa pun. Misalnya,@Resolve('double,any->string')menunjukkan bahwa fungsi menerima parameter input pertama bertipe DOUBLE dan parameter input kedua bertipe apa pun.CatatanKata kunci
anytidak dapat digunakan dalam daftar nilai kembali atau untuk subtipe tipe kompleks, seperti ARRAY. -
Nilai kembali UDTF dapat berupa tanda bintang (*), yang merepresentasikan sejumlah nilai bertipe STRING secara arbitrer. Jumlah nilai kembali bergantung pada jumlah alias yang ditentukan saat fungsi dipanggil. Misalnya, dengan anotasi
@Resolve("ANY,ANY->DOUBLE,*"), fungsi dipanggil sebagaiUDTF(x, y) as (a, b, c). Dalam kasus ini, terdapat tiga alias yang ditentukan setelahas: a, b, dan c. Editor menentukan bahwaabertipe DOUBLE, sesuai dengan nilai kembali pertama yang ditentukan dalam anotasi, sedangkanbdancbertipe STRING. Karena terdapat tiga nilai kembali yang ditentukan, UDTF harusforwardarray dengan panjang 3 saat metodeforwarddipanggil. Jika tidak, akan terjadi error waktu proses.CatatanJenis error ini tidak dapat dideteksi pada waktu kompilasi. Oleh karena itu, saat memanggil UDTF, jumlah alias dalam kueri SQL Anda harus sesuai dengan jumlah kolom yang dikembalikan oleh UDTF. Fitur ini tidak berlaku untuk UDAF, yang selalu memiliki satu nilai kembali.
Contoh UDTF
import com.aliyun.odps.udf.UDFException;
import com.aliyun.odps.udf.UDTF;
import com.aliyun.odps.udf.annotation.Resolve;
import org.json.JSONException;
import org.json.JSONObject;
@Resolve("STRING,*->STRING,*")
public class JsonTuple extends UDTF {
private Object[] result = null;
@Override
public void process(Object[] input) throws UDFException {
if (result == null) {
result = new Object[input.length];
}
try {
JSONObject obj = new JSONObject((String)input[0]);
for (int i = 1; i < input.length; i++) {
// Bagian nilai kembali dengan panjang variabel harus terdiri dari tipe STRING.
result[i] = String.valueOf(obj.get((String)(input[i])));
}
result[0] = null;
} catch (JSONException ex) {
for (int i = 1; i < result.length; i++) {
result[i] = null;
}
result[0] = ex.getMessage();
}
forward(result);
}
}
Pada contoh UDTF ini, jumlah nilai kembali ditentukan oleh jumlah parameter input. Parameter input pertama adalah string JSON, sedangkan parameter berikutnya adalah kunci yang akan diekstraksi dari objek JSON. Nilai kembali pertama melaporkan kesalahan parsing apa pun. Jika parsing berhasil, nilai ini bernilai null, dan nilai-nilai berikutnya adalah konten yang diekstraksi untuk setiap kunci. Contoh berikut menunjukkan penggunaan UDTF ini.
-- Sesuaikan jumlah alias output berdasarkan jumlah parameter input.
SELECT my_json_tuple(json, 'a', 'b') as exceptions, a, b FROM jsons;
-- Saat tidak ada field JSON yang akan diparsing, hanya kolom pesan error yang diharapkan.
SELECT my_json_tuple(json) as exceptions FROM jsons;
-- Pernyataan SQL berikut menyebabkan error waktu proses karena jumlah alias
-- tidak sesuai dengan jumlah output aktual.
-- Perhatikan bahwa error ini tidak dapat dideteksi pada waktu kompilasi.
SELECT my_json_tuple(json, 'a', 'b') as exceptions, a, b, c FROM jsons;
Jika ekstensi yang dijelaskan dalam topik ini tidak memenuhi kebutuhan bisnis Anda, Anda dapat mengimplementasikan fungsionalitas serupa dengan menggunakan UDT. Untuk informasi lebih lanjut, lihat Ikhtisar UDT.
Untuk contoh Python UDAF dan UDTF, lihat UDAF Python 3 dan Contoh UDTF Python 3 untuk membaca resource MaxCompute.