All Products
Search

This Product

    DataWorks:Data Studio: Mengasosiasikan resource komputasi EMR

    Document Center

    DataWorks:Data Studio: Mengasosiasikan resource komputasi EMR

    Last Updated:Aug 26, 2026

    Asosiasikan kluster E-MapReduce (EMR) Anda dengan DataWorks sebagai resource komputasi EMR untuk mengaktifkan sinkronisasi data, pengembangan, dan manajemen tugas EMR.

    Prasyarat

    Batasan

    • Batasan produk:

      • Untuk kluster EMR yang mengaktifkan otentikasi Kerberos, security group harus mengizinkan traffic UDP inbound dari blok CIDR vSwitch yang diasosiasikan dengan kelompok sumber daya.

        Catatan

        Klik ikon image di samping Cluster Security Group pada bagian Basic information kluster EMR untuk membuka tab Security Group Details. Klik Access Rule > Inbound, pilih Added Manually, atur Protocol Type menjadi Custom UDP. Untuk Port Range, periksa port KDC di file /etc/krb5.conf pada kluster EMR. Atur Authorized object ke blok CIDR vSwitch yang diasosiasikan dengan kelompok sumber daya.

      • Untuk mengelola metadata di DataWorks untuk kluster DataLake atau kustom, konfigurasikan EMR-HOOK di sisi kluster atau saat Anda mengonfigurasi parameter Spark. Tanpa EMR-HOOK, DataWorks tidak dapat menampilkan metadata secara real time, menghasilkan log audit, atau menampilkan lineage, serta tugas governance terkait EMR tidak dapat berjalan. Hanya layanan EMR Hive dan EMR Spark SQL yang mendukung EMR-HOOK. Untuk informasi selengkapnya, lihat Mengonfigurasi EMR-HOOK untuk Hive dan Mengonfigurasi EMR-HOOK untuk Spark SQL.

        Catatan

    • Batasan wilayah: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Jerman (Frankfurt), Inggris (London), AS (Silicon Valley), dan AS (Virginia).

    • Batasan izin:

      Operator

      Izin yang diperlukan

      Akun Alibaba Cloud

      Tidak diperlukan otorisasi tambahan.

      RAM user atau RAM role

      Hanya anggota ruang kerja yang diberi peran operator atau administrator ruang kerja, atau yang memiliki izin AliyunDataWorksFullAccess, yang dapat membuat resource komputasi. Untuk informasi selengkapnya, lihat Memberikan peran administrator ruang kerja kepada pengguna.

    Catatan

    • Versi EMR berikut untuk kluster Hadoop (data lake lama) didukung di DataWorks:

      EMR-3.38.2, EMR-3.38.3, EMR-4.9.0, EMR-5.6.0, EMR-3.26.3, EMR-3.27.2, EMR-3.29.0, EMR-3.32.0, EMR-3.35.0, EMR-4.3.0, EMR-4.4.1, EMR-4.5.0, EMR-4.5.1, EMR-4.6.0, EMR-4.8.0, EMR-5.2.1, dan EMR-5.4.3.

    • Kluster Hadoop (data lake lama) tidak lagi direkomendasikan. Segera migrasikan ke kluster DataLake. Untuk informasi selengkapnya, lihat Migrasi dari kluster Hadoop ke kluster DataLake.

    Buka halaman daftar resource komputasi

    1. Login ke DataWorks console. Di panel navigasi kiri, alihkan ke wilayah target dan klik More > Management Center. Pilih ruang kerja Anda dari daftar drop-down dan klik Go to Management Center.

    2. Di panel navigasi kiri, klik Computing Resources untuk membuka halaman daftar resource komputasi.

    Mengasosiasikan resource komputasi EMR

    Pada halaman daftar resource komputasi, konfigurasikan dan asosiasikan resource komputasi EMR.

    1. Pilih jenis resource komputasi yang akan diasosiasikan.

      1. Klik Associate Computing Resources untuk membuka halaman Associate Computing Resources.

      2. Pada halaman Associate Computing Resources, atur jenis resource komputasi menjadi EMR untuk membuka halaman konfigurasi Associate EMR Computing Resource.

    2. Konfigurasikan resource komputasi EMR.

      Pada halaman konfigurasi Associate EMR Computing Resource, konfigurasikan parameter berikut.

      Parameter

      Deskripsi

      Alibaba Cloud Account to Which Cluster Belongs

      Anda dapat memilih Current Alibaba Cloud Account atau Another Alibaba Cloud Account.

      Catatan

      Saat Anda memilih Another Alibaba Cloud Account, Anda dapat mengikuti petunjuk dalam Menggunakan kluster EMR lintas akun Alibaba Cloud untuk mengotorisasi akun terkait, lalu konfigurasikan parameter yang diperlukan sesuai petunjuk.

      Cluster Type

      Pilih jenis kluster berdasarkan kebutuhan bisnis Anda.

      Cluster

      Pilih kluster EMR yang ingin Anda gunakan di bawah jenis kluster yang sesuai.

      Default Access Identity

      • Lingkungan pengembangan: Anda dapat menggunakan akun kluster hadoop, atau akun kluster yang dipetakan ke pelaksana tugas.

      • Lingkungan produksi: Anda dapat menggunakan akun kluster hadoop, atau akun kluster yang dipetakan ke pemilik tugas, Akun Alibaba Cloud, atau RAM user.

        Catatan

        Saat identitas akses default diatur ke akun kluster yang dipetakan ke pemilik tugas, Akun Alibaba Cloud, atau RAM user, lihat Mengonfigurasi pemetaan akun antara DataWorks dan EMR untuk mengatur pemetaan antara anggota penyewa DataWorks dan akun kluster EMR. Tugas EMR dijalankan di bawah akun kluster yang dipetakan. Jika tidak ada pemetaan yang dikonfigurasi, DataWorks menanganinya sebagai berikut:

        • Jika RAM user (sub-account) menjalankan tugas: DataWorks menggunakan akun sistem kluster EMR dengan nama yang sama dengan operator saat ini secara default. Jika otentikasi LDAP atau Kerberos diaktifkan untuk kluster, tugas gagal.

        • Jika Akun Alibaba Cloud menjalankan tugas: Tugas DataWorks mengembalikan error.

      Pass Proxy User Information

      Apakah akan meneruskan informasi Proxy User saat tugas dijalankan di kluster EMR.

      Catatan

      Saat otentikasi LDAP, Kerberos, atau metode autentikasi lain diaktifkan, kluster mengeluarkan kredensial autentikasi untuk setiap pengguna biasa. Anda dapat menggunakan super user (real user) untuk memproksi pengguna biasa (proxy users) dalam autentikasi, sehingga proxy users mengakses kluster dengan kredensial super user. Anda hanya perlu menambahkan pengguna sebagai proxy user.

      • Pass: Saat tugas dijalankan di kluster EMR, izin akses data diverifikasi dan dikontrol berdasarkan Proxy User.

        • Data Studio dan Data Analysis: Nama Akun Alibaba Cloud dari pelaksana tugas diteruskan secara dinamis sebagai informasi Proxy User.

        • Operation Center: Nama Akun Alibaba Cloud dari identitas akses default yang dikonfigurasi saat kluster didaftarkan diteruskan sebagai informasi Proxy User tetap.

      • Do not pass: Saat tugas dijalankan di kluster EMR, izin akses data diverifikasi dan dikontrol berdasarkan metode autentikasi akun yang dikonfigurasi saat kluster didaftarkan.

      Informasi Proxy User diteruskan secara berbeda tergantung pada jenis tugas EMR:

      • Tugas EMR Kyuubi: Informasi diteruskan melalui item konfigurasi hive.server2.proxy.user.

      • Tugas EMR Spark dan tugas EMR Spark SQL dalam mode non-JDBC: Informasi diteruskan melalui item konfigurasi -proxy-user.

      Configuration files

      Saat jenis kluster diatur ke HADOOP, peroleh file konfigurasi dari EMR console. Untuk informasi selengkapnya, lihat Mengekspor file konfigurasi kluster EMR. Setelah diekspor, ubah nama file sesuai petunjuk di halaman konfigurasi.

      Anda juga dapat login ke kluster EMR dan memperoleh file konfigurasi dari path berikut.

      /etc/ecm/hadoop-conf/core-site.xml
/etc/ecm/hadoop-conf/hdfs-site.xml
/etc/ecm/hadoop-conf/mapred-site.xml
/etc/ecm/hadoop-conf/yarn-site.xml
/etc/ecm/hive-conf/hive-site.xml
/etc/ecm/spark-conf/spark-defaults.conf
/etc/ecm/spark-conf/spark-env.sh

      Computing Resource Instance Name

      Atur nama instance resource komputasi sesuai keinginan. Saat tugas dijalankan, Anda dapat memilih resource komputasi berdasarkan nama.

    3. Klik Confirm untuk menyelesaikan konfigurasi resource komputasi EMR.

    Inisialisasi kelompok sumber daya

    Setelah Anda mendaftarkan kluster untuk pertama kali, mengubah konfigurasi layanan kluster, atau melakukan peningkatan versi komponen (misalnya, mengubah core-site.xml), inisialisasi kelompok sumber daya untuk memastikan kluster EMR dapat diakses melalui konfigurasi konektivitas jaringan.

    1. Pada halaman daftar Computing Resources, temukan resource komputasi EMR yang telah Anda buat. Klik Initialize Resource Group di pojok kanan atas.

    2. Klik Initialize di samping kelompok sumber daya yang diinginkan. Setelah kelompok sumber daya diinisialisasi, klik Determine.

    (Opsional) Mengonfigurasi antrian sumber daya YARN

    Pada halaman daftar Computing Resources, temukan kluster EMR yang telah Anda asosiasikan. Pada tab YARN Resource Queue, klik Edit YARN Resource Queue untuk mengonfigurasi antrian sumber daya YARN untuk tugas di modul yang berbeda.

    (Opsional) Mengonfigurasi parameter Spark

    Konfigurasikan parameter properti Spark khusus untuk tugas di modul yang berbeda.

    1. Pada halaman daftar Computing Resources, temukan kluster EMR yang telah Anda asosiasikan.

    2. Klik tab Spark-related Parameter lalu klik Edit Spark Parameters untuk membuka halaman pengeditan parameter Spark untuk kluster EMR.

    3. Klik Add di bawah modul, masukkan Spark Property Name dan Spark Property Value yang sesuai untuk mengonfigurasi parameter properti Spark untuk tugas di modul yang berbeda.

    Langkah selanjutnya