DataWorks memungkinkan Anda membuat sumber daya E-MapReduce (EMR) JAR atau file EMR di Konsol DataWorks. Anda dapat mengunggah file yang berisi fungsi yang ditentukan pengguna (UDF) atau kode MapReduce open source sebagai sumber daya EMR dan menyerahkan sumber daya tersebut. Setelah itu, Anda dapat merujuk sumber daya tersebut di node komputasi EMR. Topik ini menjelaskan cara membuat sumber daya dengan mengunggah file, menyerahkan sumber daya, serta merujuk sumber daya di node komputasi EMR.
Prasyarat
Anda hanya dapat membuat sumber daya EMR berdasarkan kluster DataLake EMR atau kluster Hadoop EMR. Persiapan yang diperlukan untuk membuat sumber daya bervariasi tergantung pada jenis kluster EMR. Pastikan Anda telah menyelesaikan persiapan yang diperlukan di sisi EMR dan DataWorks sesuai kebutuhan bisnis sebelum melanjutkan operasi dalam topik ini. Untuk informasi lebih lanjut, lihat topik-topik berikut:
Kluster DataLake: Konfigurasikan Kluster Danau Data EMR dan Konfigurasikan DataWorks.
Kluster Hadoop: Hubungkan Kluster EMR dengan Ruang Kerja DataWorks sebagai Instance Mesin Komputasi EMR.
Membuat sumber daya EMR
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih . Pada halaman yang muncul, pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.
Arahkan pointer ke ikon
lalu pilih atau .Anda juga dapat menemukan alur kerja yang diinginkan, klik kanan nama alur kerja, lalu pilih atau .
Dalam kotak dialog Create Resource, konfigurasikan parameter berikut. Penjelasan parameter dapat ditemukan pada tabel di bawah ini.
Parameter
Deskripsi
Engine Type
Nilai parameter ini tetap sebagai EMR. Anda tidak dapat mengubah nilai parameter ini.
Engine Instance
Pilih mesin komputasi yang diinginkan dari daftar drop-down.
CatatanDaftar drop-down menampilkan semua mesin komputasi EMR yang terhubung dengan ruang kerja Anda.
Resource Type
Tipe sumber daya. Nilai valid: EMR File dan EMR JAR.
Path
Alur kerja tempat Anda ingin membuat sumber daya.
Storage path
Path penyimpanan sumber daya. Nilai valid: OSS dan HDFS.
Jika Anda memilih OSS, Anda harus mengklik Otorisasi di sebelah OSS untuk memberi otorisasi DataWorks mengakses Object Storage Service (OSS). Lalu, pilih folder.
CatatanAnda harus menggunakan akun Alibaba Cloud Anda untuk melakukan otorisasi.
Jika Anda memilih HDFS, Anda harus memasukkan path penyimpanan.
CatatanPaket JAR dapat disimpan di objek berikut:
Node master dari kluster EMR.
OSS. Kami merekomendasikan Anda menyimpan paket JAR di OSS. Untuk informasi lebih lanjut tentang cara menyimpan paket JAR di OSS, lihat Operasi di konsol OSS.
File Source
Sumber file yang ingin Anda unggah. Nilai valid: Local dan OSS.
Jika Anda memilih Local, klik Upload di bidang File untuk mengunggah file dari mesin lokal Anda.
Jika Anda memilih OSS, pilih objek OSS untuk Select File atau klik Create in OSS untuk membuat objek OSS.
Name
Nama sumber daya EMR yang ingin Anda buat. Jika Anda mengunggah file JAR sebagai sumber daya, Anda harus menambahkan ekstensi nama file .jar ke nama sumber daya.
Klik Create.
Klik ikon
dan 
di bilah alat atas untuk menyimpan dan menyerahkan sumber daya ke server untuk penjadwalan tugas dan pengembangan.CatatanAnda harus memilih grup sumber daya untuk penjadwalan saat menyerahkan tabel. Jika menggunakan grup sumber daya tanpa server untuk menyerahkan tabel, DataWorks akan mengeluarkan tugas pembuatan tabel ke mesin komputasi dan menampilkan log proses. Jika terjadi kesalahan saat menyerahkan tabel, Anda dapat menggunakan log proses untuk memecahkan masalah. Jika tidak ada grup sumber daya tanpa server yang tersedia, Anda dapat membeli dan mengonfigurasi grup sumber daya tanpa server. Untuk informasi lebih lanjut, lihat Buat dan Gunakan Grup Sumber Daya Tanpa Server.
Gunakan sumber daya untuk mendaftarkan fungsi
DataWorks memungkinkan Anda menggunakan sumber daya untuk mendaftarkan fungsi di Konsol DataWorks. Setelah mengunggah sumber daya yang diperlukan untuk mendaftarkan fungsi ke Konsol DataWorks, Anda dapat menggunakan sumber daya tersebut saat mendaftarkan fungsi.
Gunakan sumber daya dalam kode node
Setelah membuat sumber daya EMR JAR, Anda dapat merujuk sumber daya dalam kode node dengan langkah berikut: Temukan sumber daya yang dibuat di Resource, klik kanan nama sumber daya, lalu pilih Insert Resource Path. Gambar berikut menunjukkan langkah-langkah referensi.
Setelah sumber daya dirujuk oleh node, kode dalam format @resource_reference{"Nama Sumber Daya"} akan ditampilkan.
Untuk informasi lebih lanjut tentang cara merujuk sumber daya, lihat Buat Node MR EMR.
Kelola versi sumber daya
Setiap kali Anda menyerahkan sumber daya, versi sumber daya akan dibuat. Anda dapat mengklik kanan nama sumber daya dan memilih View Versions untuk melihat informasi detail atau mengunduh sumber daya versi tertentu.