DataWorks:Daftarkan kluster EMR lintas akun

Prasyarat

• Anda telah membuat dua Akun Alibaba Cloud, yang disebut sebagai Akun A dan Akun B. Untuk informasi selengkapnya, lihat Daftarkan akun.

  • Akun Alibaba Cloud A: Akun yang digunakan untuk mengikat kluster EMR dari Akun B di DataWorks.

  • Akun Alibaba Cloud B: Akun yang memiliki kluster EMR.

• Anda telah membuat kluster EMR di Akun Alibaba Cloud B. Untuk informasi selengkapnya, lihat Buat kluster.

Batasan

• Pengikatan lintas akun hanya didukung untuk kluster Hadoop yang tidak menggunakan DLF untuk mengelola metadata.

• Otentikasi Kerberos tidak didukung.

• Untuk task Spark SQL, hanya lineage tabel yang didukung. Lineage bidang tidak didukung.

Akun B: Buat RAM role dan berikan akses

Di Akun B, buat RAM role dengan kebijakan kepercayaan yang memungkinkan Akun A mengasumsikan role tersebut. Hal ini memberikan Akun A akses ke resource EMR di Akun B.

1. Buat RAM role.

   Login ke Konsol RAM dengan Akun B untuk membuat RAM role. Tentukan Akun A sebagai akun tepercaya agar dapat mengasumsikan role dan mengakses resource yang diizinkan. Untuk petunjuk lengkap, lihat Buat RAM role untuk akun Alibaba Cloud tepercaya.

   Berikut adalah pengaturan parameter utama:

   • Nama RAM Role: Masukkan EMRRole.

   • Pilih Akun Alibaba Cloud Tepercaya: Pilih Akun Alibaba Cloud Lain. Di kolom ID akun, masukkan ID Akun A. Untuk menemukan ID tersebut, login ke konsol dengan Akun A dan arahkan kursor ke avatar profil di bilah navigasi atas.

   Setelah konfigurasi selesai, Akun A dapat mengasumsikan role EMRRole untuk mengakses resource yang diizinkan.

2. Ubah kebijakan kepercayaan.

   Di halaman detail role EMRRole, perbarui kebijakan kepercayaan untuk memberikan Akun A akses ke kluster EMR di Akun B. Untuk informasi selengkapnya, lihat Ubah kebijakan kepercayaan RAM role. Gunakan kebijakan berikut:

   {
     "Statement": [
       {
         "Action": "sts:AssumeRole",
         "Effect": "Allow",
         "Principal": {
           "Service": [
             "<UID of Account A>@emr.dataworks.aliyuncs.com"
           ]
         }
       }
     ],
     "Version": "1"
   }

   Catatan

   Ganti <UID of Account A> dengan UID Akun Alibaba Cloud A.

3. Berikan izin AliyunDataWorksAccessingEMRReadOnlyPolicy kepada role EMRRole.

   Di Konsol RAM, buka halaman detail role EMRRole. Di tab Permissions, klik Grant Permission. Cari dan pilih kebijakan AliyunDataWorksAccessingEMRReadOnlyPolicy, lalu klik OK.

Akun A: Daftarkan kluster lintas akun

1. Login ke Konsol DataWorks. Di wilayah target, klik More > Management Center di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Management Center.

2. Di panel navigasi kiri, klik Computing Resources.

3. Konfigurasikan informasi kluster.

   1. Konfigurasikan informasi dasar.

      Ruang kerja dalam mode standar mengharuskan Anda mengikat resource komputasi untuk lingkungan pengembangan dan produksi secara terpisah. Ikuti petunjuk di layar untuk mengonfigurasi kluster. Untuk informasi selengkapnya tentang mode ruang kerja, lihat Perbedaan antara mode ruang kerja.

      Untuk Cloud Account for Cluster, pilih Other Alibaba Cloud Account. Unggah tujuh file konfigurasi (core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml, hive-site.xml, spark-defaults.conf, dan spark-env.sh). Atur Default Access Identity dan Pass Proxy User Information. Masukkan Compute Resource Instance Name dan Description, lalu klik OK.

      Parameter utama dijelaskan sebagai berikut:

      • UID of Other Account: Masukkan UID Akun B, pemilik kluster EMR. Anda harus memperoleh UID tersebut dari pemilik Akun B.

      • RAM Role of Other Account: Masukkan nama RAM role yang telah Anda buat di Akun B. Dalam contoh ini, namanya adalah EMRRole.

      • EMR Cluster of Other Account: Pilih kluster EMR yang ingin Anda ikat ke DataWorks. Anda hanya dapat memilih kluster Hadoop versi 3.38.3 atau 3.38.2 yang tidak menggunakan DLF untuk mengelola metadata.

      Untuk informasi selengkapnya tentang cara mengikat kluster, lihat DataStudio: Bind EMR computing resources.

   2. Inisialisasi kelompok sumber daya

      Lakukan inisialisasi kelompok sumber daya saat Anda mengikat resource komputasi EMR untuk pertama kalinya, mengubah konfigurasi layanan kluster, atau melakukan upgrade komponen (misalnya, dengan memodifikasi core-site.xml). Proses ini memastikan bahwa kelompok sumber daya dapat mengakses kluster EMR setelah Anda mengonfigurasi konektivitas jaringan.

      Penting

      • Jika inisialisasi gagal, gunakan tool diagnosis konektivitas untuk memecahkan masalah.

      • Inisialisasi dapat menyebabkan task yang sedang berjalan gagal. Kecuali jika re-inisialisasi segera diperlukan—misalnya, untuk mencegah kegagalan task secara luas setelah perubahan konfigurasi—kami menyarankan melakukan inisialisasi kelompok sumber daya pada jam sepi.

Langkah selanjutnya

Setelah mendaftarkan kluster di DataWorks, Anda dapat melakukan operasi berikut:

• Konfigurasikan pemetaan identitas kluster: Jika identitas akses default kluster EMR bukan akun Hadoop, konfigurasikan pemetaan identitas kluster. Hal ini mencegah Pengguna RAM mengakses resource DataWorks yang tidak diizinkan.

• Gunakan Data Integration untuk menjalankan task sinkronisasi data pada kluster tersebut. Untuk informasi selengkapnya, lihat Data Integration.

• Buka Operation Center dan Data Map untuk melihat detail lebih lanjut tentang kluster tersebut. Untuk informasi selengkapnya, lihat Operation Center dan Data Map.