MaxCompute:Pengembangan UDF (Python 3)

Anda dapat menggunakan MaxCompute Studio untuk menulis UDF dalam Python 3. Kode tersebut harus mencakup komponen-komponen berikut:

• Impor modul: wajib.

  Kode UDF harus menyertakan from odps.udf import annotate untuk mengimpor signature fungsi sehingga MaxCompute dapat mengenali signature yang didefinisikan dalam kode. Jika Anda ingin mereferensikan file atau tabel dalam kode UDF, sertakan juga from odps.distcache import get_cache_file atau from odps.distcache import get_cache_table.

• Signature fungsi: wajib.

  Formatnya adalah @annotate(<signature>), di mana signature mendefinisikan tipe data parameter input dan nilai kembali fungsi. Untuk informasi lebih lanjut tentang signature fungsi, lihat Signature fungsi dan tipe data.

• Kelas Python kustom: wajib.

  Kelas ini mengorganisasi kode UDF serta mendefinisikan variabel dan metode yang mengimplementasikan logika bisnis Anda. Anda juga dapat mereferensikan pustaka pihak ketiga bawaan atau sumber daya file dan tabel dalam kode Anda. Untuk informasi lebih lanjut, lihat Pustaka pihak ketiga atau Referensi sumber daya.

• Metode evaluate: wajib.

  Metode evaluate terdapat dalam kelas Python kustom dan mendefinisikan parameter input serta nilai kembali UDF. Setiap kelas Python hanya boleh memiliki satu metode evaluate.

Kode berikut memberikan contoh UDF.

# Impor modul signature fungsi.
from odps.udf import annotate
# Definisikan signature fungsi.
@annotate("bigint,bigint->bigint")
# Definisikan kelas Python kustom.
class MyPlus(object):
# Implementasikan metode evaluate.
    def evaluate(self, arg0, arg1):
        if None in (arg0, arg1):
            return None
        return arg0 + arg1

Format signature fungsi:

@annotate(<signature>)

Parameter signature adalah string yang menentukan tipe data parameter input dan nilai kembali. Saat menjalankan UDF, tipe data parameter input dan nilai kembali UDF harus konsisten dengan tipe data yang ditentukan dalam signature fungsi. Konsistensi tipe data diperiksa selama penguraian semantik. Jika tipe data tidak konsisten, error akan dikembalikan. Format signature:

'arg_type_list -> type'

Deskripsi parameter:

• arg_type_list: menentukan tipe data parameter input. Jika terdapat beberapa parameter input, tipe datanya dipisahkan dengan koma (,). Tipe data berikut didukung: BIGINT, STRING, DOUBLE, BOOLEAN, DATETIME, DECIMAL, FLOAT, BINARY, DATE, DECIMAL(precision,scale), CHAR, dan VARCHAR. Tipe data kompleks seperti ARRAY, MAP, dan STRUCT serta tipe data kompleks bersarang juga didukung.

  arg_type_list dapat direpresentasikan dengan tanda bintang (*) atau dibiarkan kosong ('').

  • Jika arg_type_list direpresentasikan dengan tanda bintang (*), jumlah parameter input acak diperbolehkan.

  • Jika arg_type_list dibiarkan kosong (''), tidak ada parameter input yang digunakan.

• type: menentukan tipe data nilai kembali. Untuk UDF, hanya satu kolom nilai yang dikembalikan. Tipe data berikut didukung: BIGINT, STRING, DOUBLE, BOOLEAN, DATETIME, DECIMAL, FLOAT, BINARY, DATE, dan DECIMAL(precision,scale). Tipe data kompleks seperti ARRAY, MAP, dan STRUCT serta tipe data kompleks bersarang juga didukung.

Tabel berikut memberikan contoh signature fungsi yang valid.

Kode berikut menunjukkan cara mereferensikan tabel.

from odps.udf import annotate
from odps.distcache import get_cache_table
@annotate('->string')
class DistCacheTableExample(object):
    def __init__(self):
        self.records = list(get_cache_table('udf_test'))
        self.counter = 0
        self.ln = len(self.records)
    def evaluate(self):
        if self.counter > self.ln - 1:
            return None
        ret = self.records[self.counter]
        self.counter += 1
        return str(ret)

Setelah mengembangkan UDF Python 3 mengikuti alur kerja pengembangan, Anda dapat memanggilnya dalam MaxCompute SQL sebagai berikut:

set odps.sql.python.version=cp37;

Python 2 mencapai EOL pada awal tahun 2020. Kami menyarankan agar Anda memigrasikan proyek Anda berdasarkan jenisnya:

• Proyek baru: Untuk proyek MaxCompute baru atau proyek tempat Anda pertama kali menulis UDF Python, gunakan Python 3 untuk semua UDF Python.

• Proyek yang sudah ada: Untuk proyek dengan banyak UDF Python 2, berhati-hatilah saat mengaktifkan Python 3. Untuk migrasi bertahap, gunakan metode berikut:

  • Pekerjaan dan UDF baru: Gunakan Python 3 untuk menulis UDF dan aktifkan Python 3 pada tingkat sesi. Untuk informasi lebih lanjut tentang cara mengaktifkan Python 3, lihat Aktifkan Python 3.

  • UDF Python 2: Tulis ulang UDF Python 2 agar kompatibel dengan Python 2 dan Python 3. Untuk informasi lebih lanjut tentang cara menulis ulang UDF, lihat Porting Kode Python 2 ke Python 3.

    Catatan

    Jika Anda menulis UDF publik yang dibagikan lintas beberapa proyek MaxCompute, pastikan UDF tersebut kompatibel dengan Python 2 dan Python 3.