MaxCompute：Kembangkan UDF dalam Python 3

Anda dapat menggunakan MaxCompute Studio untuk menulis kode UDF dalam Python 3. Kode UDF harus berisi komponen-komponen berikut:

• Impor modul: wajib.

  Kode UDF harus menyertakan from odps.udf import annotate, yang digunakan untuk mengimpor tanda tangan fungsi sehingga MaxCompute dapat mengenali tanda tangan fungsi yang didefinisikan dalam kode. Jika Anda ingin mereferensikan file atau tabel dalam kode UDF, kode tersebut harus menyertakan from odps.distcache import get_cache_file atau from odps.distcache import get_cache_table.

• Tanda tangan fungsi: wajib.

  Tanda tangan fungsi menggunakan format @annotate(<signature>). Parameter signature mendefinisikan tipe data parameter input dan nilai kembali. Untuk informasi selengkapnya, lihat Tanda tangan fungsi dan tipe data.

• Kelas Python kustom: wajib.

  Kelas Python kustom merupakan unit organisasi kode UDF dan mendefinisikan variabel serta metode yang digunakan untuk memenuhi kebutuhan bisnis Anda. Dalam kode UDF, Anda juga dapat mereferensikan pustaka pihak ketiga yang diinstal di MaxCompute atau mereferensikan file atau tabel. Untuk informasi selengkapnya, lihat Pustaka pihak ketiga atau Referensi sumber daya.

• Metode evaluate: wajib.

  Metode evaluate terdapat dalam kelas Python kustom dan mendefinisikan parameter input serta nilai kembali dari UDF. Setiap kelas Python hanya dapat berisi satu metode evaluate.

Kode contoh:

# Impor modul tanda tangan fungsi.
from odps.udf import annotate
# Definisikan tanda tangan fungsi.
@annotate("bigint,bigint->bigint")
# Definisikan kelas Python kustom.
class MyPlus(object):
# Definisikan metode evaluate.
    def evaluate(self, arg0, arg1):
        if None in (arg0, arg1):
            return None
        return arg0 + arg1

Format tanda tangan fungsi:

@annotate(<signature>)

Parameter signature adalah string yang menentukan tipe data parameter input dan nilai kembali. Saat menjalankan UDF, tipe data parameter input dan nilai kembali UDF harus konsisten dengan tipe data yang ditentukan dalam tanda tangan fungsi. Konsistensi tipe data diperiksa selama penguraian semantik. Jika tipe data tidak konsisten, kesalahan akan dikembalikan. Format tanda tangan:

'arg_type_list -> type'

Deskripsi parameter:

• arg_type_list: menentukan tipe data parameter input. Jika terdapat beberapa parameter input, tipe datanya dipisahkan dengan koma (,). Tipe data berikut didukung: BIGINT, STRING, DOUBLE, BOOLEAN, DATETIME, DECIMAL, FLOAT, BINARY, DATE, DECIMAL(presisi,skala), CHAR, dan VARCHAR. Tipe data kompleks seperti ARRAY, MAP, dan STRUCT serta tipe data kompleks bersarang juga didukung.

  arg_type_list dapat direpresentasikan dengan tanda bintang (*) atau dibiarkan kosong ('').

  • Jika arg_type_list direpresentasikan dengan tanda bintang (*), jumlah parameter input acak diperbolehkan.

  • Jika arg_type_list dibiarkan kosong (''), tidak ada parameter input yang digunakan.

• type: menentukan tipe data nilai kembali. Untuk UDF, hanya satu kolom nilai yang dikembalikan. Tipe data berikut didukung: BIGINT, STRING, DOUBLE, BOOLEAN, DATETIME, DECIMAL, FLOAT, BINARY, DATE, dan DECIMAL(presisi,skala). Tipe data kompleks seperti ARRAY, MAP, dan STRUCT serta tipe data kompleks bersarang juga didukung.

Tabel berikut memberikan contoh tanda tangan fungsi yang valid.

Kode berikut menunjukkan cara mereferensikan tabel.

from odps.udf import annotate
from odps.distcache import get_cache_table
@annotate('->string')
class DistCacheTableExample(object):
    def __init__(self):
        self.records = list(get_cache_table('udf_test'))
        self.counter = 0
        self.ln = len(self.records)
    def evaluate(self):
        if self.counter > self.ln - 1:
            return None
        ret = self.records[self.counter]
        self.counter += 1
        return str(ret)

Setelah mengembangkan UDF Python 3, Anda dapat menggunakan MaxCompute SQL untuk memanggil UDF tersebut. Untuk informasi selengkapnya tentang cara memanggil UDF Python 3, lihat Proses pengembangan. Anda dapat memanggil UDF dalam Python 3 menggunakan salah satu metode berikut:

set odps.sql.python.version=cp37;

Python Software Foundation mengumumkan EOL untuk Python 2 pada awal tahun 2020. Oleh karena itu, kami menyarankan agar Anda melakukan porting UDF Python 2.

• Di proyek baru atau proyek yang sudah ada di mana Anda pertama kali menulis UDF dalam Python, kami menyarankan agar Anda menggunakan Python 3 untuk menulis semua UDF Python.

• Di proyek yang sudah ada dengan banyak UDF Python 2, berhati-hatilah saat mengaktifkan Python 3. Jika Anda ingin mengganti UDF Python 2 dengan UDF Python 3, gunakan metode berikut:

  • Gunakan Python 3 untuk menulis UDF baru dan aktifkan Python 3 untuk pekerjaan baru pada tingkat sesi. Untuk informasi selengkapnya tentang cara mengaktifkan Python 3, lihat Aktifkan Python 3.

  • Menulis ulang UDF Python 2 dengan cara yang kompatibel dengan Python 2 dan Python 3. Untuk informasi selengkapnya tentang cara menulis ulang UDF, lihat Porting Python 2 Code to Python 3.

    Catatan

    Jika Anda ingin menulis UDF publik yang dibagikan di antara beberapa proyek, kami menyarankan agar Anda menggunakan UDF yang kompatibel dengan Python 2 dan Python 3.