DataWorks:Kaitkan resource EMR Serverless Spark

Prasyarat

• Anda telah membuat ruang kerja EMR Serverless Spark.

• Anda telah membuat ruang kerja DataWorks. Pengguna RAM Anda harus memiliki peran Workspace Administrator di ruang kerja tersebut.

  Penting

  Hanya ruang kerja yang memilih Use Data Studio (New Version) yang didukung.

• Anda telah menggunakan kelompok sumber daya serverless dan mengaitkannya dengan ruang kerja DataWorks target.

Batasan

• Wilayah yang didukung: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Indonesia (Jakarta), Jerman (Frankfurt), AS (Silicon Valley), dan AS (Virginia).

• Izin:

  Pengguna/peran	Izin yang diperlukan
  Akun Alibaba Cloud	Tidak diperlukan izin tambahan.
  Pengguna RAM atau Peran RAM	Izin manajemen DataWorks: Hanya anggota ruang kerja dengan peran O&M atau Workspace Administrator, atau anggota dengan kebijakan AliyunDataWorksFullAccess yang dapat membuat resource komputasi. Untuk informasi lebih lanjut tentang otorisasi, lihat Berikan peran Workspace Administrator kepada pengguna. Izin layanan EMR Serverless Spark: Kebijakan AliyunEMRServerlessSparkFullAccess. Izin Owner untuk ruang kerja EMR Serverless Spark. Untuk informasi lebih lanjut, lihat Kelola pengguna dan peran.

Buka halaman daftar resource komputasi

1. Masuk ke Konsol DataWorks. Di panel navigasi kiri, alihkan ke wilayah target dan klik More > Management Center. Pilih ruang kerja Anda dari daftar drop-down dan klik Go to Management Center.

2. Di panel navigasi kiri, klik Computing Resources untuk membuka halaman daftar resource komputasi.

Kaitkan resource serverless Spark

Di halaman Computing Resources, konfigurasikan dan kaitkan resource komputasi serverless Spark.

1. Pilih jenis resource komputasi yang akan dikaitkan.

   1. Klik Associate Computing Resources untuk membuka halaman Associate Computing Resources.

   2. Di halaman Associate Computing Resources, pilih Serverless Spark sebagai jenis resource komputasi. Hal ini akan membuka halaman konfigurasi Associate EMR Serverless Spark Computing Resource.

2. Konfigurasikan resource komputasi serverless Spark.

   Di halaman konfigurasi Associate EMR Serverless Spark Computing Resource, konfigurasikan parameter seperti dijelaskan dalam tabel berikut.

   Parameter	Deskripsi
   EMR Serverless Spark Workspace	Pilih ruang kerja Spark yang ingin Anda kaitkan. Anda juga dapat mengklik Create di daftar drop-down untuk membuat ruang kerja Spark.
   Default Engine Version	Pilih versi engine yang ingin Anda gunakan. Saat Anda membuat tugas EMR Spark di Data Studio, versi engine ini digunakan secara default. Untuk menggunakan versi engine berbeda pada tugas tertentu, Anda dapat mengonfigurasinya di pengaturan lanjutan editor tugas Spark.
   Default Resource Queue	Pilih antrian sumber daya yang ingin Anda gunakan. Anda juga dapat mengklik Create di daftar drop-down untuk menambahkan antrian. Saat Anda membuat tugas EMR Spark di Data Studio, antrian sumber daya ini digunakan secara default. Untuk menggunakan antrian sumber daya berbeda pada tugas tertentu, Anda dapat mengonfigurasinya di pengaturan lanjutan editor tugas Spark.
   Default Kyuubi Gateway	Opsional. Konfigurasi Kyuubi Gateway memengaruhi cara menjalankan tugas berikut: Jika Anda mengonfigurasi Kyuubi Gateway: Semua tugas terkait (EMR Spark SQL/Kyuubi, Serverless Spark SQL/Kyuubi) dijalankan melalui Kyuubi Gateway. Jika Anda tidak mengonfigurasi Kyuubi Gateway: Tugas EMR Spark SQL dan Serverless Spark SQL dijalankan menggunakan spark-submit. Tugas EMR Kyuubi dan Serverless Kyuubi gagal dijalankan. Untuk mengonfigurasi gateway, buka EMR Serverless Spark Console > Operation Center > Gateway > Kyuubi Gateway untuk membuat Kyuubi Gateway dan token . Jika Kerberos tidak diaktifkan: Klik nama Kyuubi Gateway untuk mendapatkan URL JDBC dan token. Lalu, gabungkan keduanya untuk membentuk URL lengkap. Jika Kerberos diaktifkan: Dapatkan URL Beeline berdasarkan informasi Kerberos yang dikonfigurasi. Untuk informasi lebih lanjut, lihat Gunakan Kerberos dengan Kyuubi Gateway. # Contoh URL biasa jdbc:hive2://kyuubi-cn-hangzhou-internal.spark.emr.aliyuncs.com:80/;transportMode=http;httpPath=cliservice/token/<token> # Contoh URL untuk kluster yang mengaktifkan Kerberos (Pastikan menyertakan principal layanan Kyuubi) jdbc:hive2://ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com:10009/;principal=kyuubi/_HOST@EMR.C-DFD43*****7C204.COM
   Default Access Identity	Menentukan identitas yang digunakan untuk mengakses ruang kerja EMR Serverless Spark. Lingkungan pengembangan: Hanya identitas Executor yang didukung. Lingkungan produksi: Anda dapat menggunakan Alibaba Cloud Account, Alibaba Cloud RAM Sub-account, dan Task Owner.
   Computing Resource Instance Name	Mengidentifikasi resource komputasi. Saat runtime, nama instans digunakan untuk memilih resource komputasi bagi suatu tugas.

3. Klik Confirm untuk menyelesaikan konfigurasi resource komputasi serverless Spark.

Konfigurasikan parameter Spark global

Di DataWorks, Anda dapat menentukan parameter Spark untuk setiap modul di tingkat ruang kerja dan mengonfigurasi apakah parameter global memiliki prioritas lebih tinggi daripada parameter lokal dalam modul tertentu, seperti Data Studio. Setelah dikonfigurasi, tugas akan menggunakan parameter Spark yang sesuai secara default. Tabel berikut menjelaskan cara mengonfigurasi parameter tersebut.

Konfigurasikan pemetaan akun kluster

Petakan secara manual akun cloud anggota DataWorks ke identitas tertentu di kluster EMR. Hal ini memungkinkan anggota menjalankan tugas EMR Serverless Spark menggunakan identitas kluster yang dipetakan.

1. Buka halaman Computing Resources dan temukan resource komputasi serverless Spark yang telah Anda kaitkan.

2. Klik Account Mappings untuk membuka panel konfigurasi parameter Account Mappings.

3. Klik Edit Account Mapping untuk mengonfigurasi pemetaan akun kluster. Anda dapat mengonfigurasi parameter berdasarkan Mapping Type yang dipilih.

   Mapping Type	Deskripsi runtime	Detail konfigurasi
   System account mapping	Menjalankan tugas node EMR Spark, EMR Spark SQL, EMR Kyuubi, dan Notebook dengan menggunakan akun kluster yang namanya sama dengan Default Access Identity dalam informasi dasar resource komputasi.	Secara default, digunakan pemetaan nama yang sama. Jika Anda perlu menggunakan pemetaan akun berbeda, Anda dapat mengonfigurasinya secara manual.
   OpenLDAP account mapping	Menjalankan tugas EMR Spark dan EMR Spark SQL dengan menggunakan Default Access Identity dalam informasi dasar resource komputasi. Menjalankan tugas node EMR Kyuubi dan Notebook dengan menggunakan akun OpenLDAP yang dipetakan ke identitas akses default dalam informasi dasar resource komputasi.	Jika Anda telah mengonfigurasi dan mengaktifkan otentikasi LDAP untuk Kyuubi Gateway, Anda harus mengonfigurasi pemetaan antara Account dan akun OpenLDAP (LDAP Account, LDAP Password) untuk menjalankan tugas yang sesuai. Penting Jika akun cloud yang diperlukan untuk menjalankan tugas DataWorks tidak ada dalam daftar pemetaan akun, tugas tersebut mungkin gagal.
   Kerberos account mapping	Menjalankan tugas EMR Spark dan EMR Spark SQL dengan menggunakan Default Access Identity dalam informasi dasar resource komputasi. Menjalankan tugas node EMR Kyuubi dengan menggunakan akun Kerberos yang dipetakan ke identitas akses default dalam informasi dasar resource komputasi.	Anda harus mengunggah file krb5.conf dari layanan Kerberos yang dikonfigurasi untuk kluster EMR Serverless Spark. Konfigurasikan principal dan keytab yang diperlukan untuk otentikasi Kerberos untuk akun cloud yang ditetapkan sebagai identitas akses default.

4. Klik OK untuk menyelesaikan konfigurasi pemetaan akun kluster.

Langkah selanjutnya

Setelah Anda mengonfigurasi resource komputasi serverless Spark, Anda dapat menggunakan resource komputasi ini untuk mengembangkan tugas node di Data Studio. Untuk informasi lebih lanjut, lihat Node EMR Spark, Node EMR Spark SQL, Node EMR Spark Streaming, Node EMR Kyuubi, Node Serverless Spark Batch, Node Serverless Spark SQL, dan Node Serverless Kyuubi.