DataWorks：Resource dan fungsi MaxCompute

Deskripsi resource

Resource merupakan dasar untuk mengimplementasikan fitur user-defined function (UDF) atau MapReduce di MaxCompute. Di DataStudio, Anda dapat menggunakan antarmuka visual untuk mengunggah resource yang disimpan di mesin lokal atau di OSS. Resource ini dapat dibaca dan digunakan selama eksekusi UDF dan MapReduce. Jenis resource MaxCompute berikut ini didukung.

Batasan

Perhatikan batasan berikut saat mengunggah resource:

• Ukuran sumber daya:

  • Edit online: Resource Python maksimal 10 MB. Resource File maksimal 500 KB.

  • Unggah dari mesin lokal: Anda dapat mengunggah resource hingga 500 MB.

  • Unggah dari OSS: Anda dapat mengunggah resource hingga 500 MB.

• Penerbitan resource: Jika Anda menggunakan ruang kerja mode standar, Anda harus menerbitkan resource ke lingkungan produksi agar berlaku.

  Catatan

  Informasi sumber data mungkin berbeda antara lingkungan pengembangan dan produksi. Sebelum melakukan kueri tabel atau resource di suatu lingkungan, pastikan informasi sumber data untuk lingkungan tersebut.

• Manajemen resource: Di DataWorks, Anda hanya dapat melihat dan mengelola resource yang diunggah melalui antarmuka DataWorks.

Buat sumber daya

Resource MaxCompute dapat diunggah dari mesin lokal atau dari OSS. Anda dapat langsung mereferensikan resource yang telah dibuat dalam pengembangan data atau membuat fungsi darinya.

1. Di halaman Resource Management, pada kotak dialog Create Resource and Function yang muncul, konfigurasikan Type, Path, dan Name resource.

2. Unggah file lokal atau file OSS sebagai sumber. Tabel berikut menjelaskan parameter utama untuk mengunggah resource.

   Item konfigurasi	Deskripsi konfigurasi
   File Source	Sumber file objek. Sumber yang didukung adalah Local dan OSS.
   File Content	Jika Anda memilih Local, di Upload File, klik Click To Upload untuk mengunggah file lokal. Jika Anda memilih OSS, pilih file OSS yang sesuai dari daftar drop-down Select File.
   Data Source	Pilih sumber data tempat resource MaxCompute yang diunggah berasal.

3. Di bilah alat atas, klik Save lalu Publish resource tersebut. Hanya resource yang telah diterbitkan yang dapat digunakan dalam Data Development.

Gunakan resource

Setelah membuat resource, Anda dapat mereferensikannya dalam node pengembangan data. Untuk melakukannya, klik Resource Management di panel navigasi kiri, temukan resource target, klik kanan, lalu pilih Reference Resource. Setelah resource berhasil direferensikan, kode dalam format ##@resource_reference{"Nama Resource"} akan ditambahkan ke node Anda.

Atau, Anda dapat membuat fungsi dari resource tersebut lalu menggunakannya dalam node developer.

Kelola resource

Di DataWorks, Anda hanya dapat melihat dan mengelola resource yang diunggah melalui antarmuka visual. Di halaman Resource Management, klik resource untuk melakukan operasi manajemen.

• Lihat versi historis: Lihat dan bandingkan versi resource yang telah diterbitkan untuk melihat perubahan di antara versi tersebut.

  Catatan

  Untuk membandingkan versi, Anda harus memilih minimal dua versi.

• Hapus resource: Operasi ini menghapus resource dari lingkungan pengembangan. Untuk menghapus resource dari lingkungan produksi, Anda harus menerbitkan perubahan ini. Setelah tugas penerbitan berhasil, resource juga akan dihapus dari lingkungan produksi. Untuk informasi selengkapnya, lihat Publish a task.

• Lihat resource lainnya.

  MaxCompute mungkin berisi resource yang diunggah menggunakan metode selain DataWorks. Anda dapat melihat resource tersebut dengan cara berikut.

  • Gunakan data catalog untuk melihat semua resource dalam proyek MaxCompute.

    Setelah Anda menambahkan proyek MaxCompute ke data catalog, Anda dapat membuka folder MaxCompute yang sesuai di data catalog dan melihat semua resource dalam proyek saat ini di direktori resource.

  • Gunakan node MaxCompute SQL untuk melihat resource lain dalam proyek MaxCompute.

    • Lihat semua resource dalam proyek saat ini. Saat Anda membuat skrip MaxCompute SQL di Data Development dan mengeksekusi perintah ini, sistem akan mengakses resource komputasi MaxCompute yang telah disambungkan ke lingkungan pengembangan secara default.

      list resources;

    • Lihat semua resource dalam proyek tertentu.

      use MaxCompute_project_name;
      list resources;

    Untuk informasi lebih lanjut tentang operasi perintah, lihat Resource operations.

Deskripsi fungsi

Di DataStudio, Anda dapat mendaftarkan resource sebagai fungsi di Resource and Function Management. Dalam Data Development atau kueri SQL, Anda juga dapat membuat fungsi dari resource yang telah diunggah dan diterbitkan, membuat fungsi embedded menggunakan JAVA, PYTHON2, atau PYTHON3, atau langsung menggunakan fungsi bawaan MaxCompute.

Buat fungsi

1. Di halaman Resource Management, pada kotak dialog New Resource and Function yang muncul, konfigurasikan Type, Path, dan Name fungsi.

2. Buat resource fungsi dan konfigurasikan informasinya.

   Sebelum mengonfigurasi fungsi MaxCompute, pastikan Anda telah mendaftarkan proyek MaxCompute sebagai resource komputasi di DataWorks dan telah mengunggah resource MaxCompute. Tabel berikut menjelaskan parameter utama untuk fungsi MaxCompute.

   Parameter	Deskripsi
   Function Type	Pilih jenis fungsi. Nilai yang valid: MATH (fungsi operasi matematika), AGGREGATE (fungsi agregat), STRING (fungsi pemrosesan string), DATE (fungsi tanggal), ANALYTIC (fungsi jendela), dan OTHER (fungsi lain).
   Class Name	Nama kelas UDF, dalam format nama_resource.nama_kelas. Nama resource dapat berupa nama paket Java atau nama resource Python. Saat Anda membuat user-defined function di DataWorks, Anda dapat menggunakan resource MaxCompute bertipe JAR dan Python. Konfigurasi nama kelas berbeda untuk jenis resource yang berbeda: Saat tipe resource adalah JAR, Class Name harus dalam format packageName.ActualClassName. Anda dapat memperoleh nilai ini dari IntelliJ IDEA menggunakan pernyataan Copy Reference. Sebagai contoh, jika com.aliyun.odps.examples.udf adalah nama paket Java dan UDAFExample adalah nama kelas aktual, parameter Class Name diatur menjadi com.aliyun.odps.examples.udf.UDAFExample. Ketika tipe sumber daya adalah Python, format untuk Class Name adalah PythonResourceName.ActualClassName. Sebagai contoh, jika nama resource Python adalah LcLognormDist_sh dan nama kelas aktual adalah LcLognormDist_sh, parameter Class Name diatur menjadi LcLognormDist_sh.LcLognormDist_sh. Catatan Jangan tambahkan akhiran .jar atau .py saat memasukkan nama resource. Resource harus diajukan dan diterbitkan sebelum dapat digunakan.
   Type	Pilih Resource Function atau Embedded Function: Jika Anda memilih Resource Function, Anda hanya perlu mengonfigurasi Resource List. Saat Anda memilih embedded function, selain memilih Resources, Anda juga perlu mengonfigurasi Language (JAVA, PYTHON2, atau PYTHON3) dan Code.
   Resource List	Pilih resource yang akan digunakan untuk mendaftarkan fungsi. Mode visualisasi: Anda hanya dapat memilih resource yang telah diunggah atau ditambahkan ke DataWorks. Mode skrip: Anda dapat memasukkan semua resource dalam sumber data yang sesuai. Jika UDF memanggil beberapa resource, pisahkan dengan koma (,). Catatan Anda tidak perlu memasukkan path resource yang telah ditambahkan. Untuk resource yang tidak didukung DataWorks untuk diunggah melalui fitur visualisasi, seperti resource tabel, atau resource yang telah diunggah ke MaxCompute melalui metode lain dan tidak dikelola oleh visualisasi DataWorks, Anda dapat memasukkannya secara manual dalam mode skrip.
   Command Format	Contoh cara menggunakan UDF ini.

3. Di bilah alat atas, klik Save lalu Publish fungsi tersebut. Hanya fungsi yang telah diterbitkan yang dapat digunakan dalam Data Development.

Gunakan fungsi

SELECT example_function(column_name) FROM table;

Kelola fungsi

Di halaman Resource Management, klik fungsi untuk melakukan operasi manajemen.

• Lihat versi historis: Klik tombol Version di sisi kanan halaman edit fungsi. Anda dapat melihat dan membandingkan versi fungsi yang tersimpan atau diterbitkan untuk melihat perubahan di antara versi tersebut.

  Catatan

  Untuk membandingkan versi, Anda harus memilih minimal dua versi.

• Hapus fungsi: Klik kanan fungsi target lalu pilih Delete.

  Untuk menghapus fungsi dari lingkungan produksi, Anda harus menerbitkan perubahan ini. Setelah tugas penerbitan berhasil, fungsi juga akan dihapus dari lingkungan produksi. Untuk informasi selengkapnya, lihat Publish a task.

// Lihat fungsi dalam proyek resource komputasi MaxCompute yang disambungkan ke ruang kerja DataWorks saat ini.
SHOW FUNCTIONS;