MaxCompute:Python 3 UDAF

Anda dapat menggunakan MaxCompute Studio untuk menulis kode user-defined aggregate function (UDAF) dalam Python 3. Kode tersebut harus mencakup informasi berikut:

• Impor modul: Wajib.

  Anda harus mengimpor setidaknya from odps.udf import annotate dan from odps.udf import BaseUDAF. Pernyataan from odps.udf import annotate mengimpor modul signature fungsi, yang memungkinkan MaxCompute mengenali signature fungsi yang didefinisikan dalam kode. from odps.udf import BaseUDAF mengimpor kelas dasar untuk UDAF Python. Anda harus mengimplementasikan metode seperti iterate, merge, dan terminate dalam kelas turunan.

  Jika kode UDAF perlu mereferensi resource file atau tabel, sertakan from odps.distcache import get_cache_file untuk resource file atau from odps.distcache import get_cache_table untuk resource tabel.

• Signature fungsi: Wajib.

  Formatnya adalah @annotate(<signature>). signature mendefinisikan tipe data parameter input dan nilai kembali fungsi. Untuk informasi lebih lanjut tentang signature fungsi, lihat Signature fungsi dan tipe data.

• Kelas Python kustom (kelas turunan): Wajib.

  Kelas ini merupakan unit organisasi untuk kode UDAF. Kelas ini mendefinisikan variabel dan metode yang mengimplementasikan logika bisnis Anda. Anda juga dapat mereferensi pustaka pihak ketiga bawaan, file, atau resource tabel dalam kode Anda. Untuk informasi lebih lanjut, lihat Pustaka pihak ketiga atau Referensi resource.

• Implementasi metode kelas Python: Wajib.

  Implementasi kelas Python mencakup metode-metode berikut. Anda dapat mengimplementasikan metode sesuai kebutuhan.

  Definisi metode	Deskripsi
  BaseUDAF.new_buffer()	Mengembalikan buffer untuk nilai antara fungsi agregat. buffer harus berupa objek Marshal, seperti LIST atau DICT. Ukuran buffer tidak boleh meningkat seiring volume data. Dalam kasus ekstrem, ukuran buffer setelah serialisasi objek tidak boleh melebihi 2 MB.
  BaseUDAF.iterate(buffer[, args, ...])	Mengagregasi args ke dalam nilai antara buffer.
  BaseUDAF.merge(buffer, pbuffer)	Menggabungkan nilai antara buffer dan pbuffer serta menyimpan hasilnya di buffer.
  BaseUDAF.terminate(buffer)	Mengonversi buffer menjadi tipe data primitif MaxCompute SQL.

Kode berikut memberikan contoh UDAF.

# Impor modul signature fungsi dan kelas dasar.
from odps.udf import annotate
from odps.udf import BaseUDAF
# Signature fungsi.
@annotate('double->double')
# Kelas Python kustom.
class Average(BaseUDAF):
# Implementasikan metode kelas Python.
    def new_buffer(self):
        return [0, 0]
    def iterate(self, buffer, number):
        if number is not None:
            buffer[0] += number
            buffer[1] += 1
    def merge(self, buffer, pbuffer):
        buffer[0] += pbuffer[0]
        buffer[1] += pbuffer[1]
    def terminate(self, buffer):
        if buffer[1] == 0:
            return 0.0
        return buffer[0] / buffer[1]

Python Software Foundation akan segera menghentikan pemeliharaan Python 2. Kami menyarankan Anda melakukan migrasi proyek berdasarkan jenis proyek:

• Proyek baru: Berlaku untuk proyek MaxCompute baru atau proyek MaxCompute tempat Anda pertama kali menulis UDAF Python. Kami menyarankan Anda menulis semua UDAF Python dalam Python 3.

• Proyek yang sudah ada: Berlaku untuk proyek MaxCompute yang memiliki banyak UDAF Python 2 yang sudah ada. Aktifkan Python 3 dengan hati-hati. Jika Anda berencana melakukan migrasi bertahap seluruh UDAF Python 2 ke Python 3, gunakan metode berikut:

  • Pekerjaan dan UDAF baru: Tulis dalam Python 3 dan aktifkan Python 3 pada tingkat session. Untuk informasi lebih lanjut tentang cara mengaktifkan Python 3, lihat Aktifkan Python 3.

  • UDAF Python 2: Tulis ulang UDAF Python 2 agar kompatibel dengan Python 2 dan Python 3. Untuk informasi lebih lanjut tentang cara menulis ulang kode, lihat Porting Python 2 Code to Python 3.

    Catatan

    Jika Anda ingin menulis UDAF publik dan memberikan izin kepada beberapa proyek MaxCompute untuk menggunakannya, kami menyarankan Anda membuat UDAF tersebut kompatibel dengan Python 2 dan Python 3.

@annotate(<signature>)

'arg_type_list -> type'

• arg_type_list: Mewakili tipe data parameter input. Beberapa parameter input dapat ditentukan, dipisahkan oleh koma (,). Tipe data yang didukung adalah BIGINT, STRING, DOUBLE, BOOLEAN, DATETIME, DECIMAL, FLOAT, BINARY, DATE, DECIMAL(precision,scale), CHAR, VARCHAR, tipe data kompleks (ARRAY, MAP, STRUCT), dan tipe data kompleks bersarang.

  arg_type_list juga mendukung tanda bintang (*) atau string kosong ('').

  • Jika arg_type_list adalah tanda bintang (*), artinya fungsi menerima sejumlah parameter input apa pun.

  • Jika arg_type_list adalah string kosong (''), artinya fungsi tidak memiliki parameter input.

  Untuk informasi lebih lanjut tentang sintaksis tambahan anotasi Resolve, lihat Parameter dinamis untuk UDAF dan UDTF.

• type: Mewakili tipe data nilai kembali. UDAF hanya mengembalikan satu kolom. Tipe data yang didukung meliputi BIGINT, STRING, DOUBLE, BOOLEAN, DATETIME, DECIMAL, FLOAT, BINARY, DATE, DECIMAL(precision,scale), tipe data kompleks (ARRAY, MAP, STRUCT), dan tipe data kompleks bersarang.

Setelah Anda mengembangkan UDAF Python 3 mengikuti alur pengembangan, Anda dapat memanggilnya dalam pernyataan SQL MaxCompute. Metode pemanggilannya adalah sebagai berikut:

• Gunakan UDF dalam proyek MaxCompute: Metodenya mirip dengan penggunaan fungsi bawaan. Anda dapat menggunakan fungsi yang didefinisikan pengguna dengan cara yang sama seperti menggunakan fungsi bawaan.

• Gunakan UDF lintas proyek: Gunakan UDF dari Proyek B di Proyek A. Pernyataan berikut menunjukkan contohnya: select B:udf_in_other_project(arg0, arg1) as res from table_t;. Untuk informasi lebih lanjut tentang berbagi lintas proyek, lihat Akses resource lintas proyek berbasis paket.