DataWorks:Resource dan fungsi MaxCompute

Jenis resource

Resource merupakan fondasi untuk menjalankan user-defined functions (UDF) dan pekerjaan MapReduce di MaxCompute. Data Studio menyediakan antarmuka visual untuk mengunggah resource dari mesin lokal atau dari OSS. Resource yang diunggah dapat dibaca selama eksekusi UDF dan MapReduce.

Jenis resource berikut didukung:

Batasan

Publikasi: Di ruang kerja mode standar, publikasikan resource ke lingkungan produksi agar berlaku.

Visibilitas: DataWorks hanya menampilkan dan mengelola resource yang diunggah melalui antarmukanya. Resource yang diunggah dengan cara lain tidak terlihat dalam daftar resource, tetapi dapat dilihat menggunakan metode yang dijelaskan di Lihat semua resource dalam proyek.

Buat resource

Resource MaxCompute dapat diunggah dari mesin lokal atau dari OSS. Setelah dibuat, referensikan langsung dalam node pengembangan data atau daftarkan sebagai fungsi.

1. Di halaman Resource Management, pada kotak dialog Create Resource or Function, atur Type, Path, dan Name resource.

2. Konfigurasikan sumber file:

   Parameter	Deskripsi
   File Source	Pilih On-premises untuk mengunggah dari mesin lokal, atau OSS untuk mereferensikan file di bucket OSS.
   File Content	Jika On-premises: klik Upload untuk memilih file lokal. Jika OSS: pilih file dari daftar drop-down.
   Data Source	Pilih sumber data MaxCompute tempat resource tersebut berada.

3. Klik Save di bilah alat, lalu klik Publish. Hanya resource yang telah dipublikasikan yang dapat digunakan dalam Pengembangan Data.

Gunakan resource

Setelah membuat resource, referensikan dalam node pengembangan data:

1. Di panel navigasi kiri, klik Resource Management.

2. Temukan resource target, klik kanan, lalu pilih Reference Resources.

Kode referensi berikut ditambahkan ke node:

##@resource_reference{"Resource Name"}

Contohnya, node PyODPS 3 menampilkan:

##@resource_reference{"example.py"}

Format eksaknya bervariasi tergantung jenis node. Atau, daftarkan resource sebagai fungsi dan panggil dalam node pengembangan.

Kelola resource

Di halaman Resource Management, klik resource untuk melakukan operasi berikut:

• Lihat versi historis: Bandingkan versi resource yang telah dipublikasikan untuk melacak perubahan. Pilih minimal dua versi untuk mengaktifkan perbandingan.

• Hapus resource: Menghapus resource dari lingkungan pengembangan. Untuk menghapusnya dari lingkungan produksi, publikasikan perubahan tersebut. Setelah tugas publikasi berhasil, resource akan dihapus dari kedua lingkungan. Lihat Publikasikan tugas.

Lihat semua resource dalam proyek

DataWorks hanya menampilkan resource yang diunggah melalui antarmukanya. Untuk melihat semua resource dalam proyek MaxCompute — termasuk yang diunggah dengan cara lain — gunakan salah satu metode berikut:

• Katalog data: Setelah menambahkan proyek MaxCompute ke katalog data, buka folder MaxCompute yang sesuai dan telusuri direktori sumber daya.

• Node SQL MaxCompute: Jalankan perintah berikut dalam node SQL MaxCompute. Secara default, perintah ini mengakses resource komputasi yang terhubung ke lingkungan pengembangan. Lihat semua resource dalam proyek saat ini:

  list resources;

  Lihat semua resource dalam proyek tertentu:

  use MaxCompute_project_name;
  list resources;

  Untuk daftar lengkap perintah resource, lihat Operasi resource.

Kapan menggunakan UDF vs. fungsi bawaan

Gunakan UDF ketika logika pemrosesan yang dibutuhkan oleh alur kerja Anda tidak dapat diekspresikan menggunakan fungsi bawaan yang tersedia. Untuk operasi standar seperti agregasi, aritmetika tanggal, dan manipulasi string, gunakan fungsi bawaan MaxCompute sebagai gantinya.

Jenis fungsi

Data Studio mendukung jenis fungsi berikut. Pilih jenis yang sesuai dengan perilaku UDF Anda:

Buat fungsi

1. Di halaman Resource Management, pada kotak dialog Create Resource or Function, atur Type, Path, dan Name fungsi.

2. Konfigurasikan fungsi:

   Parameter	Deskripsi
   Function Type	Pilih jenis fungsi. Lihat Jenis fungsi.
   Class Name	Kelas titik masuk untuk UDF, dalam format resource_name.class_name. Lihat Format Class Name.
   Type	Pilih Resource Function atau Embedded Function. Resource Function mereferensikan file resource yang diunggah. Embedded Function mencakup kode inline — konfigurasikan Language (JAVA, PYTHON2, atau PYTHON3) dan Code selain resource.
   Resource List	Pilih resource yang akan dikaitkan dengan fungsi. Di Visual Mode, pilih dari resource yang sudah diunggah ke DataWorks. Di mode Code Editor, masukkan nama resource secara manual — pisahkan beberapa resource dengan koma. Untuk resource yang tidak dikelola oleh DataWorks (seperti resource tabel atau yang diunggah langsung ke MaxCompute), gunakan mode Code Editor. Jangan sertakan path file resource — cukup nama saja.
   Command Syntax	Contoh cara memanggil UDF.

3. Klik Save di bilah alat, lalu klik Publish. Hanya fungsi yang telah dipublikasikan yang tersedia dalam Pengembangan Data.

com.aliyun.odps.examples.udf.UDAFExample

SELECT your_function_name(column_name) FROM table;

LcLognormDist_sh.LcLognormDist_sh

SELECT your_function_name(column_name) FROM table;

Gunakan user-defined function

Setelah fungsi dipublikasikan, gunakan dalam node pengembangan data atau kueri SQL:

• Dalam node pengembangan data: Di panel navigasi kiri, klik Resource Management, temukan fungsi, klik kanan, lalu pilih Insert Function. Nama fungsi dimasukkan ke editor, misalnya, example_function().

• Dalam kueri SQL: Panggil fungsi langsung berdasarkan namanya:

  SELECT example_function(column_name) FROM table;

Gunakan fungsi bawaan

MaxCompute menyediakan serangkaian fungsi bawaan yang mencakup operasi matematika, string, tanggal, agregasi, dan jendela.

Telusuri fungsi bawaan dengan salah satu cara berikut:

• Berdasarkan jenis

• Secara alfabetis

• Jalankan perintah berikut dalam node SQL MaxCompute:

  show builtin functions [<function_name>];

  Ganti <function_name> dengan nama fungsi bawaan tertentu untuk memfilter hasil. Jika Anda menjalankan perintah ini menggunakan klien MaxCompute (odpscmd), diperlukan versi 0.43.0 atau lebih baru.

Catatan penggunaan dan batasan:

• Catatan penggunaan fungsi bawaan

• Batasan fungsi JSON

• Batasan fungsi string

Kasus penggunaan umum:

• Presisi fungsi ROUND

• Mengimplementasikan GROUP_CONCAT

Pemecahan masalah:

• Kode kesalahan umum fungsi bawaan

• FAQ fungsi bawaan

Kelola fungsi

Di halaman Resource Management, klik fungsi untuk melakukan operasi berikut:

• Lihat versi historis: Klik tombol Version di sisi kanan halaman edit fungsi. Bandingkan versi yang disimpan atau dipublikasikan untuk melacak perubahan. Pilih minimal dua versi untuk mengaktifkan perbandingan.

• Hapus fungsi: Klik kanan fungsi dan pilih Delete. Untuk menghapusnya dari lingkungan produksi, publikasikan perubahan tersebut. Lihat Publikasikan tugas.

Untuk memeriksa user-defined function melalui SQL, jalankan perintah berikut dalam node SQL MaxCompute:

Lihat semua UDF yang terdaftar dalam proyek MaxCompute yang terhubung:

SHOW FUNCTIONS;

Lihat detail UDF tertentu:

DESC FUNCTION <function_name>;