DataWorks:Resource dan fungsi EMR

Deskripsi resource

Di bagian Resource Management Data Studio, Anda dapat membuat resource yang ditunjukkan dalam tabel berikut. Resource tersebut dapat disimpan di OSS atau Hadoop Distributed File System (HDFS), lalu digunakan di Data Studio atau untuk membuat user-defined function.

Batasan

Resource yang diunggah harus memenuhi batasan berikut:

• Ukuran sumber daya:

• Penerbitan resource: Jika Anda menggunakan workspace mode standar, Anda harus menerbitkan resource ke lingkungan produksi agar berlaku.

  Catatan

  Informasi sumber data berbeda antara lingkungan pengembangan dan lingkungan produksi. Sebelum melakukan kueri tabel atau resource di suatu lingkungan, pastikan informasi sumber data sudah benar untuk lingkungan tersebut.

• Manajemen resource: Di DataWorks, Anda hanya dapat melihat dan mengelola resource yang diunggah melalui antarmuka DataWorks.

Buat resource

Anda dapat mengunggah resource EMR dari komputer lokal atau dari OSS. Resource yang telah dibuat dapat direferensikan langsung di Data Studio atau digunakan untuk membuat fungsi.

1. Di halaman Resource Management, pada kotak dialog Create Resource or Function yang muncul, konfigurasikan Type, Path, dan Name resource.

2. Setelah membuat resource, unggah file lokal atau objek OSS sebagai sumber file. Tabel berikut menjelaskan parameter utama untuk mengunggah resource.

   Configuration Item	Parameter description
   File source	Sumber file objek. Nilai yang valid: Local dan OSS.
   File content	Jika Anda memilih Local, klik Click to upload di bagian Upload File untuk mengunggah file lokal. Jika Anda memilih OSS, pilih file OSS dari daftar drop-down Select File.
   Storage path	Jalur tempat resource disimpan. Nilai yang valid: OSS dan HDFS. Jika Anda memilih OSS, berikan izin lalu pilih direktori. Catatan Anda harus menggunakan Akun Alibaba Cloud Anda untuk melakukan otorisasi. Jika Anda memilih HDFS, Anda harus memasukkan jalur penyimpanan secara manual. Contoh: /user/admin/[specific path]. Catatan Paket JAR dapat disimpan di salah satu lokasi berikut: Paket JAR disimpan di node Master kluster EMR. Paket JAR disimpan di Object Storage Service (Object Storage Service, OSS). Kami menyarankan Anda menggunakan OSS untuk penyimpanan. Untuk informasi selengkapnya, lihat Store JAR packages in OSS.
   Data source	Sumber data tempat resource EMR yang diunggah berasal.
   Resource group	Pilih Serverless resource group yang dapat terhubung ke sumber data EMR.

3. Di bilah alat, klik Save lalu Publish. Hanya resource yang telah diterbitkan yang dapat digunakan di Data Studio.

   Catatan

   Saat Anda menggunakan Serverless resource group untuk mengirimkan resource, DataWorks mengirimkan tugas ke Mesin DPI untuk membuat resource dan menghasilkan log eksekusi. Anda dapat menggunakan log ini untuk memecahkan masalah yang terjadi selama pengiriman. Jika Anda tidak memiliki Serverless resource group yang tersedia, tambahkan Serverless resource group.

Menggunakan sumber daya

Setelah membuat resource, buka Resource Management di panel navigasi kiri. Temukan resource target, klik kanan, lalu pilih Reference Resource. Saat resource direferensikan, kode dalam format ##@resource_reference{"Resource Name"} akan ditambahkan ke node tersebut.

Anda juga dapat membuat fungsi dari resource tersebut lalu menggunakannya di node pengembangan.

Deskripsi fungsi

Di bagian Resource Management Data Studio, Anda dapat mendaftarkan resource sebagai fungsi EMR. Selain fungsi bawaan yang disediakan oleh Hive, Anda juga dapat menggunakan user-defined functions yang Anda buat di Data Studio atau dalam kueri SQL.

Buat fungsi

1. Di halaman Resource Management, pada kotak dialog Create Resource or Function yang muncul, konfigurasikan Type, Path, dan Name fungsi.

2. Klik Confirm untuk membuat resource fungsi. Lalu, konfigurasikan parameter fungsi berdasarkan jenisnya.

   Sebelum mengonfigurasi fungsi EMR, pastikan kluster EMR telah didaftarkan sebagai resource komputasi di DataWorks dan Anda telah membuat resource EMR. Tabel berikut menjelaskan parameter utama untuk fungsi EMR.

   Parameter	Description
   Function Type	Jenis fungsi. Nilai yang valid: MATH (operasi matematika), AGGREGATE (fungsi agregat), STRING (string), DATE (tanggal), ANALYTIC (window), dan OTHER (lainnya).
   Data Source	Sumber data tempat Anda ingin mendaftarkan fungsi EMR.
   EMR Database	Database EMR tempat Anda ingin mendaftarkan fungsi.
   Resource Group	Pilih Serverless resource group yang dapat terhubung ke sumber data EMR.
   Class Name	Nama kelas user-defined function (UDF). Nama kelas harus dalam format Resource name.Class name dan harus sama dengan nama kelas dalam paket JAR. Jika jenis resource adalah JAR, atur parameter Class Name ke nilai dalam format Java package name.Actual class name. Anda dapat menjalankan pernyataan Copy Reference di IntelliJ IDEA untuk mendapatkan nama kelas tersebut. Sebagai contoh, jika nama paket Java adalah com.aliyun.emr.examples.udf dan nama kelas aktual adalah UDAFExample, atur parameter Class Name menjadi com.aliyun.emr.examples.udf.UDAFExample.
   Resource List	Parameter ini wajib diisi. Pilih resource yang telah ditambahkan ke workspace saat ini dari daftar drop-down.

3. Di bilah alat, klik Save lalu Publish. Hanya fungsi yang telah diterbitkan yang dapat digunakan di Data Studio.

Gunakan fungsi

Setelah fungsi dibuat dan diterbitkan, Anda dapat mereferensikannya secara langsung di Data Studio atau dalam kueri SQL.

• Saat mengedit node pengembangan data, klik Resource Management di panel navigasi kiri. Lalu, temukan resource atau fungsi target, klik kanan, dan pilih Insert Function.

  Setelah fungsi berhasil direferensikan, nama user-defined function akan otomatis dimasukkan ke halaman pengeditan node, misalnya example_function().

• Saat mengedit kueri SQL, Anda dapat langsung menggunakan fungsi yang telah dibuat.

SELECT example_function(column_name) FROM table;