Topik ini menjelaskan cara mendaftarkan fungsi E-MapReduce (EMR).
Prasyarat
-
Jenis engine EMR mencakup DataLake dan Hadoop. Persiapan yang diperlukan berbeda tergantung pada jenis engine-nya. Anda harus menyelesaikan persiapan yang sesuai baik di EMR maupun di DataWorks.
-
DataLake: Untuk informasi selengkapnya, lihat Konfigurasi kluster DataLake dan Konfigurasi DataWorks.
-
-
Anda harus mengunggah resource sebelum dapat mendaftarkan fungsi. Untuk informasi selengkapnya tentang cara membuat resource EMR, lihat Buat dan gunakan resource EMR.
Prosedur
-
Buka halaman DataStudio.
Masuk ke Konsol DataWorks. Di wilayah target, klik pada panel navigasi kiri. Pilih ruang kerja dari daftar drop-down, lalu klik Go to Data Development.
-
Buat alur kerja. Untuk informasi selengkapnya, lihat Buat alur kerja terjadwal.
-
Tulis program Anda di lingkungan Java lokal, buat paket menjadi file JAR, lalu buat dan unggah resource JAR. Untuk informasi selengkapnya, lihat Buat dan gunakan resource EMR.
-
Buat fungsi.
-
Buka alur kerja yang diinginkan, klik kanan EMR, lalu pilih Create Function.
-
Pada kotak dialog Create Function, masukkan Name, lalu pilih Engine Instance dan Path.
-
Klik Create.
-
Pada kotak dialog Register Function, konfigurasikan parameter berikut.
Parameter
Deskripsi
Function Type
Pilih jenis fungsi. Opsi meliputi Mathematical Operation Functions, Aggregate Functions, String Processing Functions, Date Functions, Window Functions, dan Other Functions.
EMR engine instance
Nilai default ditampilkan dan tidak dapat diubah.
EMR engine type
Nilai default ditampilkan dan tidak dapat diubah.
EMR database
Pilih database dari daftar drop-down. Untuk membuat database baru, klik Create Database. Pada kotak dialog Create Database, konfigurasikan parameter, lalu klik OK.
Function Name
Nama UDF yang digunakan dalam Pernyataan SQL. Nama ini harus unik secara global dan tidak dapat diubah setelah pendaftaran.
Owner
Pemilik ditampilkan secara default.
Class Name
Wajib diisi. Nama kelas utama yang mengimplementasikan UDF.
Resources
Wajib. Dari daftar drop-down, pilih Sumber daya yang termasuk dalam ruang kerja saat ini. Untuk membuat Sumber daya, klik Create Resource. Di kotak dialog Create Resource, konfigurasikan parameter lalu klik Determine.
Description
Deskripsi singkat mengenai UDF tersebut.
Expression Syntax
Contoh penggunaan UDF ini adalah
test.Parameter Description
Jenis parameter input dan nilai kembali yang didukung.
Return Value
Opsional. Nilai kembali, misalnya 1.
Example
Opsional. Contoh penggunaan.
-
-
Klik ikon Save
di bilah alat. -
Kirimkan fungsi tersebut.
-
Klik ikon Submit
di bilah alat.CatatanSaat mengirimkan fungsi, Anda harus memilih kelompok sumber daya penjadwalan. Kami merekomendasikan penggunaan kelompok sumber daya arsitektur tanpa server (serverless). Jika Anda menggunakan kelompok sumber daya arsitektur tanpa server, DataWorks akan mengirimkan tugas pendaftaran fungsi ke engine EMR, yang kemudian menjalankan tugas tersebut dan mencetak log eksekusi. Jika terjadi error selama pengiriman, Anda dapat menggunakan log tersebut untuk troubleshooting. Jika kelompok sumber daya arsitektur tanpa server tidak tersedia, Anda harus membeli dan mengonfigurasinya. Untuk informasi selengkapnya, lihat Gunakan kelompok sumber daya arsitektur tanpa server.
-
Pada kotak dialog Commit Node, masukkan Change Description.
-
Klik OK.
-