DataWorks：Sumber daya dan fungsi CDH

Deskripsi sumber daya

Di panel MANAJEMEN SUMBER DAYA, Anda dapat mengunggah sumber daya dari mesin lokal Anda ke kluster CDH menggunakan DataWorks. DataWorks mendukung pembuatan berbagai jenis sumber daya CDH. Anda dapat menggunakan sumber daya tersebut untuk mengembangkan pekerjaan CDH atau membuat UDF di DataWorks.

Batasan

Sumber daya yang ingin diunggah harus memenuhi persyaratan berikut:

• Ukuran Sumber Daya: Ukuran maksimum yang didukung adalah 500MB.

• Penyebaran Sumber Daya: Jika Anda menggunakan workspace dalam mode standar, Anda perlu menyebarkan sumber daya ke lingkungan produksi. Setelah penyebaran, sumber daya akan tersedia di proyek di lingkungan produksi.

  Catatan

  Informasi tentang sumber data mungkin berbeda antara lingkungan pengembangan dan produksi. Pastikan Anda mengetahui informasi sumber data di lingkungan tempat Anda ingin menanyakan data. Hal ini memastikan bahwa Anda dapat menanyakan tabel dan data sumber daya yang valid dalam operasi selanjutnya.

• Manajemen Sumber Daya: DataWorks hanya mendukung melihat dan mengelola sumber daya yang diunggah melalui DataWorks.

Buat sumber daya

Anda dapat mengunggah sumber daya dari mesin lokal Anda ke sumber daya komputasi CDH di DataWorks. Setelah sumber daya CDH dibuat, Anda dapat mereferensikan sumber daya dalam pengembangan data atau membuat sumber daya sebagai fungsi.

1. Di halaman Manajemen Sumber Daya, ketika Anda membuat sumber daya dan membuka kotak dialog Create Resource And Function, konfigurasikan Type sumber daya, Path penyimpanan, dan Name sumber daya.

2. Ketika Anda membuat sumber daya CDH, unggah file lokal sebagai sumber file. Tabel berikut menjelaskan parameter utama yang perlu dikonfigurasi saat mengunggah file lokal.

   Parameter	Deskripsi
   Storage Path	Nilai defaultnya adalah /user/admin/lib. Catatan Jika otentikasi Kerberos diaktifkan, Anda harus memberikan izin tulis pada direktori ke akun login saat ini.
   Data Source	Pilih sumber data CDH yang telah disiapkan.
   Resource Group	Pilih grup sumber daya serverless yang terhubung ke kluster CDH.

3. Di bilah alat atas tab konfigurasi sumber daya, klik Save dan Deploy. Anda dapat menggunakan sumber daya di Data Studio hanya jika sumber daya tersebut disebarkan.

Gunakan sumber daya

Setelah sumber daya dibuat, Anda dapat menggunakannya dalam pengembangan data. Klik Resource Management di panel navigasi sisi kiri halaman Data Studio, temukan sumber daya yang telah dibuat di panel MANAJEMEN SUMBER DAYA, klik kanan nama sumber daya, lalu pilih Reference Resources. Setelah sumber daya direferensikan, baris kode dalam format ##@resource_reference{"Nama sumber daya"} akan ditampilkan.

Selain menggunakan sumber daya secara langsung, Anda juga dapat membuat sumber daya sebagai fungsi dan kemudian menggunakannya di node Data Studio.

Deskripsi fungsi

Data Studio memungkinkan Anda untuk mendaftarkan sumber daya sebagai fungsi CDH. Dalam pengembangan data atau kueri SQL, Anda dapat menggunakan fungsi bawaan yang disediakan oleh Hive dan fungsi kustom.

Buat fungsi

1. Di halaman Manajemen Sumber Daya, ketika Anda membuat fungsi dan membuka kotak dialog Create Resource And Function, konfigurasikan Type fungsi, Path penyimpanan, dan Name fungsi dari daftar drop-down.

2. Klik OK untuk membuat fungsi serta mengonfigurasi parameter sesuai dengan jenis fungsinya.

   Sebelum mengonfigurasi fungsi CDH, pastikan bahwa mesin CDH telah didaftarkan sebagai sumber daya komputasi di DataWorks dan sumber daya CDH telah diunggah ke DataWorks. Tabel berikut menjelaskan konfigurasi utama dari fungsi CDH.

   Parameter	Deskripsi
   Function Type	Jenis fungsi. Nilai yang valid: MATH, AGGREGATE, STRING, DATE, ANALYTIC, dan OTHER.
   Data Source	Pilih sumber data CDH dari daftar drop-down Sumber Data.
   Class Name	Nama kelas yang mengimplementasikan UDF. Konfigurasikan parameter ini dalam format Nama sumber daya.Nama kelas. Nama sumber daya bisa berupa nama paket Java atau sumber daya file. DataWorks memungkinkan Anda untuk membuat UDF berdasarkan sumber daya Jar CDH atau file. Jika jenis sumber daya adalah JAR, konfigurasikan parameter Class Name dalam format Nama paket JAR.Nama kelas sebenarnya. Anda dapat menanyakan nama kelas dengan mengeksekusi pernyataan Copy Reference di IntelliJ IDEA. Sebagai contoh, jika com.aliyun.cdh.examples.udf adalah nama paket Java dan UDAFExample adalah nama kelas, maka nilai parameter Class Name adalah com.aliyun.cdh.examples.udf.UDAFExample. Catatan Anda tidak perlu menyertakan akhiran .jar dalam nama sumber daya. Anda dapat menggunakan sumber daya setelah sumber daya tersebut diterapkan.
   Resources	Sumber daya yang ingin Anda gunakan. Anda dapat memilih sumber daya CDH Jar atau CDH file dari daftar drop-down.
   Command Syntax	Contoh cara menggunakan UDF.

3. Di bilah alat atas tab konfigurasi fungsi, klik Save dan Deploy. Anda dapat menggunakan fungsi di Data Studio hanya jika fungsi tersebut disebarkan.

Gunakan fungsi

Setelah fungsi dibuat dan disebar, Anda dapat mereferensikan fungsi tersebut secara langsung dalam pengembangan data atau kueri SQL.

• Saat mengedit node pengembangan data, klik Resource Management di panel navigasi sisi kiri, temukan sumber daya atau fungsi target, dan klik kanan untuk memilih Reference Function.

  Setelah berhasil mereferensikan fungsi, nama fungsi kustom akan dibuat dengan cepat di halaman pengeditan node saat ini, misalnya: example_function().

• Saat mengedit kueri SQL, Anda dapat langsung menggunakan fungsi yang telah dibuat.

SELECT example_function(column_name) FROM table;