DataWorks：Buat node EMR Shell

Prasyarat

• Sebelum mengembangkan node, jika Anda perlu menyesuaikan lingkungan komponen, Anda dapat membuat citra kustom berdasarkan citra resmi dataworks_emr_base_task_pod dan gunakan citra kustom di DataStudio.

  Sebagai contoh, Anda dapat mengganti paket JAR Spark atau menyertakan library, file, atau paket JAR tertentu saat membuat citra kustom.

• Kluster EMR Alibaba Cloud dibuat dan didaftarkan ke DataWorks. Untuk informasi lebih lanjut, lihat DataStudio (versi lama): Asosiasikan sumber daya komputasi EMR.

• (Diperlukan jika Anda menggunakan pengguna RAM untuk mengembangkan tugas) Pengguna RAM ditambahkan ke ruang kerja DataWorks sebagai anggota dan diberi peran Develop atau Workspace Administrator. Peran Administrator Ruang Kerja memiliki lebih banyak izin daripada yang diperlukan. Berhati-hatilah saat memberikan peran Administrator Ruang Kerja. Untuk informasi lebih lanjut tentang cara menambahkan anggota, lihat Tambahkan anggota ruang kerja dan tetapkan peran kepada mereka.

• Grup sumber daya serverless dibeli dan dikonfigurasi. Konfigurasi mencakup asosiasi dengan ruang kerja dan konfigurasi jaringan. Untuk informasi lebih lanjut, lihat Buat dan gunakan grup sumber daya serverless.

• Alur kerja dibuat di DataStudio.

  Operasi pengembangan di mesin komputasi berbeda dilakukan berdasarkan alur kerja di DataStudio. Oleh karena itu, sebelum Anda membuat node, Anda harus membuat alur kerja terlebih dahulu. Untuk informasi lebih lanjut, lihat Buat alur kerja.

• Paket pihak ketiga diinstal berdasarkan grup sumber daya yang Anda gunakan. Paket pihak ketiga perlu dirujuk saat Anda menjalankan skrip Python pada grup sumber daya DataWorks.

  • Jika Anda menggunakan grup sumber daya serverless (direkomendasikan), Anda dapat menggunakan fitur manajemen citra untuk menginstal paket pihak ketiga. Untuk informasi lebih lanjut, lihat Kelola citra.

  • Jika Anda menggunakan grup sumber daya eksklusif untuk penjadwalan, Anda dapat menggunakan fitur O&M Assistant untuk menginstal paket pihak ketiga. Untuk informasi lebih lanjut, lihat Gunakan fitur O&M Assistant.

Batasan

• Jenis node ini hanya dapat dijalankan pada grup sumber daya serverless atau grup sumber daya eksklusif untuk penjadwalan. Kami merekomendasikan Anda menggunakan grup sumber daya serverless. Jika Anda perlu menggunakan citra di DataStudio, gunakan grup sumber daya komputasi serverless.

• Jika Anda ingin mengelola metadata untuk DataLake atau kluster kustom di DataWorks, Anda harus mengonfigurasi EMR-HOOK di kluster terlebih dahulu. Jika Anda tidak mengonfigurasi EMR-HOOK di kluster Anda, metadata tidak dapat ditampilkan secara real-time, log audit tidak dapat dihasilkan, dan garis keturunan data tidak dapat ditampilkan di DataWorks. Tugas tata kelola EMR juga tidak dapat dijalankan. Untuk informasi tentang cara mengonfigurasi EMR-HOOK, lihat Gunakan fitur ekstensi Hive untuk mencatat garis keturunan data dan informasi akses historis.

• Jika Anda mengirimkan node menggunakan spark-submit, kami sarankan Anda mengatur deploy-mode ke cluster bukan client.

• Node EMR Shell dijalankan pada grup sumber daya penjadwalan DataWorks, bukan di kluster EMR. Anda dapat menjalankan perintah tertentu yang didukung oleh komponen EMR tetapi tidak dapat langsung membaca informasi tentang sumber daya EMR. Jika Anda ingin merujuk sumber daya EMR dalam node EMR Shell, Anda harus mengunggah sumber daya ke DataWorks terlebih dahulu. Untuk informasi lebih lanjut, lihat Buat dan gunakan sumber daya EMR JAR.

• Anda tidak dapat menggunakan node EMR Shell untuk menjalankan skrip Python. Untuk menjalankan skrip Python, gunakan node Shell.

Langkah 1: Buat node EMR Shell

1. Pergi ke halaman DataStudio.

   Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Development and O&M > Data Development. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.

2. Buat node EMR Shell.

   1. Temukan alur kerja yang diinginkan, klik kanan nama alur kerja, dan pilih Create Node > EMR > EMR Shell.

      Catatan

      Sebagai alternatif, Anda dapat mengarahkan pointer ke ikon Create dan pilih Create Node > EMR > EMR Shell.

   2. Di kotak dialog Create Node, konfigurasikan parameter Name, Engine Instance, Node Type, dan Path. Klik Confirm. Tab konfigurasi node EMR Shell akan muncul.

      Catatan

      Nama node hanya dapat berisi huruf, angka, garis bawah (_), dan titik (.).

Langkah 2: Kembangkan tugas EMR Shell

Anda dapat menggunakan salah satu metode berikut berdasarkan kebutuhan bisnis Anda untuk mengembangkan tugas Shell pada tab konfigurasi node EMR Shell:

• Unggah sumber daya dari mesin lokal Anda ke DataStudio dan kemudian rujuk sumber daya tersebut. Untuk informasi lebih lanjut, lihat bagian Metode 1: Unggah dan rujuk sumber daya EMR JAR dalam topik ini. Kami merekomendasikan Anda menggunakan metode ini.

• Gunakan metode OSS REF untuk merujuk sumber daya OSS. Untuk informasi lebih lanjut, lihat bagian Metode 2: Rujuk sumber daya OSS dalam topik ini.

ossref://{endpoint}/{bucket}/{object}

DD=`date`;
echo "hello world, $DD"
## Parameter penjadwalan didukung.
echo ${var};

Langkah 3: Konfigurasikan properti penjadwalan

Jika Anda ingin sistem secara berkala menjalankan tugas pada node, Anda dapat mengklik Properties di panel navigasi kanan pada tab konfigurasi node untuk mengonfigurasi properti penjadwalan tugas berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Ikhtisar.

Langkah 4: Terapkan tugas

Setelah tugas pada node dikonfigurasi, Anda harus mengirimkan dan menerapkan tugas tersebut. Setelah Anda mengirimkan dan menerapkan tugas, sistem menjalankan tugas secara berkala berdasarkan konfigurasi penjadwalan.

1. Klik ikon di bilah alat atas untuk menyimpan tugas.

2. Klik ikon di bilah alat atas untuk mengirim tugas.

   Dalam kotak dialog Submit, konfigurasikan parameter Change description. Kemudian, tentukan apakah akan meninjau kode tugas setelah Anda mengirim tugas berdasarkan kebutuhan bisnis Anda.

   Catatan

   • Anda harus mengonfigurasi parameter Rerun dan Parent Nodes di tab Properti sebelum Anda mengirim tugas.

   • Anda dapat menggunakan fitur tinjauan kode untuk memastikan kualitas kode tugas dan mencegah kesalahan eksekusi tugas yang disebabkan oleh kode tugas yang tidak valid. Jika Anda mengaktifkan fitur tinjauan kode, kode tugas yang dikirimkan hanya dapat diterapkan setelah kode tugas tersebut lulus tinjauan kode. Untuk informasi lebih lanjut, lihat Tinjauan Kode.

Jika Anda menggunakan ruang kerja dalam mode standar, Anda harus menerapkan tugas di lingkungan produksi setelah Anda mengirimkan tugas. Untuk menerapkan tugas pada node, klik Deploy di sudut kanan atas tab konfigurasi node. Untuk informasi lebih lanjut, lihat Terapkan node.

Apa yang Harus Dilakukan Selanjutnya

Setelah Anda mengirimkan dan menerapkan tugas, tugas tersebut dijalankan secara berkala berdasarkan konfigurasi penjadwalan. Anda dapat mengklik Operation Center di sudut kanan atas tab konfigurasi node yang sesuai untuk pergi ke Pusat Operasi dan melihat status penjadwalan tugas. Untuk informasi lebih lanjut, lihat Lihat dan kelola tugas yang dipicu otomatis.

Referensi

Untuk informasi tentang cara menjalankan skrip Python pada node EMR Shell dengan menggunakan perintah Python 2 atau Python 3, lihat Gunakan node Shell untuk menjalankan skrip Python.