All Products
Search

This Product

    DataWorks:Mengasosiasikan sumber daya komputasi EMR Serverless Spark

    Document Center

    DataWorks:Mengasosiasikan sumber daya komputasi EMR Serverless Spark

    Last Updated:Aug 26, 2026

    Asosiasikan ruang kerja EMR Serverless Spark Anda dengan DataWorks sebagai sumber daya komputasi Serverless Spark agar Anda dapat mengembangkan dan mengelola tugas EMR Serverless Spark di DataWorks.

    Prasyarat

    • Ruang kerja EMR Serverless Spark telah dibuat.

    • Ruang kerja DataWorks telah dibuat. Pengguna RAM yang melakukan operasi ini harus menjadi anggota ruang kerja dengan peran Workspace Administrator.

      Penting

      Hanya ruang kerja yang menggunakan Use Data Studio (New Version) yang didukung.

    • Kelompok sumber daya serverless telah diasosiasikan dengan ruang kerja DataWorks target.

    Batasan

    • Batasan wilayah: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Indonesia (Jakarta), Jerman (Frankfurt), AS (Silicon Valley), dan AS (Virginia).

    • Batasan izin:

      Operator

      Izin yang diperlukan

      Akun Alibaba Cloud

      Tidak diperlukan izin tambahan.

      Pengguna RAM/Peran RAM

      • Izin manajemen DataWorks: Hanya anggota ruang kerja dengan peran O&M dan Workspace Administrator, atau yang memiliki kebijakan AliyunDataWorksFullAccess, yang dapat membuat sumber daya komputasi. Untuk informasi lebih lanjut, lihat Memberikan izin Workspace Administrator kepada pengguna.

      • Izin layanan EMR Serverless Spark:

        • Kebijakan AliyunEMRServerlessSparkFullAccess.

        • Izin Owner untuk ruang kerja EMR Serverless Spark. Untuk informasi lebih lanjut, lihat Mengelola pengguna dan peran.

    Buka halaman daftar sumber daya komputasi

    1. Login ke Konsol DataWorks. Di panel navigasi kiri, alihkan ke wilayah target dan klik More > Management Center. Pilih ruang kerja Anda dari daftar drop-down dan klik Go to Management Center.

    2. Di panel navigasi kiri, klik Computing Resources untuk membuka halaman daftar sumber daya komputasi.

    Mengasosiasikan sumber daya komputasi Serverless Spark

    Di halaman daftar sumber daya komputasi, konfigurasikan dan asosiasikan sumber daya komputasi Serverless Spark.

    1. Pilih jenis sumber daya komputasi yang akan diasosiasikan.

      1. Klik Associate Computing Resources untuk membuka halaman Associate Computing Resources.

      2. Di halaman Associate Computing Resources, pilih Serverless Spark sebagai jenis sumber daya komputasi untuk membuka halaman konfigurasi Associate EMR Serverless Spark Computing Resource.

    2. Konfigurasikan sumber daya komputasi Serverless Spark.

      Di halaman konfigurasi Associate EMR Serverless Spark Computing Resource, konfigurasikan parameter berikut.

      Parameter

      Deskripsi

      EMR Serverless Spark Workspace

      Pilih ruang kerja Spark yang ingin diasosiasikan. Anda juga dapat mengklik Create dalam daftar drop-down untuk membuat ruang kerja Spark.

      Default Engine Version

      Pilih versi engine yang akan digunakan.

      • Saat Anda membuat tugas EMR Spark di Data Studio, versi engine ini digunakan secara default.

      • Untuk menetapkan versi engine berbeda untuk tugas berbeda, tentukan versi tersebut di pengaturan advanced pada jendela pengeditan tugas Spark.

      Default Resource Queue

      Pilih antrian sumber daya yang akan digunakan. Anda juga dapat mengklik Create dalam daftar drop-down untuk menambahkan antrian.

      • Saat Anda membuat tugas EMR Spark di Data Studio, antrian sumber daya ini digunakan secara default.

      • Untuk menetapkan antrian sumber daya berbeda untuk tugas berbeda, tentukan antrian tersebut di pengaturan advanced pada jendela pengeditan tugas Spark.

      Default Kyuubi Gateway

      Opsional. Konfigurasi Kyuubi Gateway menentukan cara menjalankan tugas berikut:

      • Jika Kyuubi Gateway dikonfigurasi:

        • Semua tugas terkait (EMR Spark SQL/Kyuubi dan Serverless Spark SQL/Kyuubi) dijalankan melalui Kyuubi Gateway.

      • Jika tidak ada Kyuubi Gateway yang dikonfigurasi:

        • Tugas EMR Spark SQL dan Serverless Spark SQL dijalankan menggunakan spark-submit.

        • Tugas EMR Kyuubi dan Serverless Kyuubi gagal dieksekusi.

      Untuk mengonfigurasi gateway, buat Kyuubi Gateway dan token di EMR Serverless Spark console > Operation Center > Gateway > Kyuubi Gateway .

      • Jika Kerberos tidak diaktifkan: Klik nama Kyuubi Gateway untuk mendapatkan URL JDBC dan token, lalu gabungkan keduanya untuk membentuk string koneksi lengkap.

      • Jika Kerberos diaktifkan: Dapatkan string koneksi Beeline berdasarkan konfigurasi Kerberos Anda. Untuk informasi lebih lanjut, lihat Menggunakan Kerberos dengan Kyuubi Gateway.

        # Contoh string koneksi standar
jdbc:hive2://kyuubi-cn-hangzhou-internal.spark.emr.aliyuncs.com:80/;transportMode=http;httpPath=cliservice/token/<token>
# Contoh string koneksi untuk kluster yang mengaktifkan Kerberos. Pastikan mencantumkan principal layanan Kyuubi.
jdbc:hive2://ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com:10009/;principal=kyuubi/_HOST@EMR.C-DFD43*****7C204.COM

      Default Access Identity

      Identitas yang digunakan untuk mengakses ruang kerja Spark ini dari DataWorks.

      • Lingkungan pengembangan: Hanya identitas Executor yang didukung.

      • Lingkungan produksi: Identitas Alibaba Cloud Account, Alibaba Cloud RAM Sub-account, dan Task Owner didukung.

      Computing Resource Instance Name

      Identifier untuk sumber daya komputasi. Saat runtime, tugas menggunakan nama ini untuk memilih sumber daya.

    3. Klik Confirm untuk menyelesaikan konfigurasi sumber daya komputasi Serverless Spark.

    Mengonfigurasi parameter Spark global

    Anda dapat mengonfigurasi parameter Spark di tingkat ruang kerja untuk setiap modul dan mengontrol apakah parameter global memiliki prioritas lebih tinggi daripada pengaturan spesifik modul. Setelah dikonfigurasi, tugas akan menggunakan parameter Spark yang ditentukan secara default.

    Ruang lingkup

    Metode konfigurasi

    Konfigurasi global

    Di tingkat ruang kerja, Anda dapat mengonfigurasi parameter Spark global untuk modul yang menjalankan tugas EMR dan mengatur prioritasnya atas parameter spesifik modul. Untuk informasi lebih lanjut, lihat Mengonfigurasi parameter SPARK global.

    Node tunggal

    Di Data Studio, Anda dapat menetapkan properti Spark spesifik untuk tugas node individual di halaman pengeditan node. Modul produk lain tidak mendukung pengaturan properti Spark di dalam modul.

    Manajemen izin

    Hanya pengguna dengan peran berikut yang dapat mengonfigurasi parameter Spark global:

    • Akun Alibaba Cloud

    • Pengguna RAM atau Peran RAM dengan kebijakan AliyunDataWorksFullAccess

    • Pengguna RAM dengan peran Workspace Administrator

    Mengonfigurasi parameter Spark global

    Konfigurasikan parameter Spark global dengan langkah-langkah berikut. Untuk informasi lebih lanjut tentang parameter Spark untuk sumber daya komputasi Serverless Spark, lihat Ikhtisar konfigurasi job.

    1. Buka halaman daftar sumber daya komputasi dan temukan sumber daya komputasi Serverless Spark yang telah Anda asosiasikan.

    2. Klik Spark Parameters untuk membuka panel konfigurasi dan melihat pengaturan parameter Spark global.

    3. Tetapkan parameter Spark global.

      Di pojok kanan atas halaman Spark Parameters, klik Edit Spark Parameters untuk mengonfigurasi parameter Spark global dan prioritasnya untuk setiap modul.

      Catatan

      Ini adalah konfigurasi tingkat ruang kerja. Sebelum melanjutkan, pastikan Anda telah memilih ruang kerja yang benar.

      Parameter

      Langkah

      Spark property

      Konfigurasikan properti Spark untuk menjalankan tugas Serverless Spark.

      • Klik Add di bawah dan masukkan Spark Property Name dan Spark Property Value yang sesuai untuk menetapkan informasi properti Spark.

      • Untuk informasi lebih lanjut tentang parameter properti Spark yang didukung, lihat Spark Configuration dan Daftar parameter Spark Conf kustom.

      Global Settings Take Precedence

      Jika Anda memilih opsi ini, konfigurasi global akan menggantikan konfigurasi di modul produk. Dalam hal ini, tugas dijalankan berdasarkan properti Spark global.

      • Konfigurasi global: merujuk pada properti Spark yang dikonfigurasi di halaman Spark Parameters sumber daya komputasi Serverless Spark di Management Center > Computing Resources.

        Saat ini, Anda hanya dapat menetapkan parameter Spark global untuk Data Studio, Operation Center, dan Data Analysis.

      • Konfigurasi di modul produk:

        • Data Studio: Untuk node EMR Spark, EMR Kyuubi, EMR Spark SQL, EMR Spark Streaming, Serverless Spark Batch, Serverless Spark SQL, dan Serverless Kyuubi, Anda dapat menetapkan properti Spark untuk tugas node individual di bagian Spark Parameters pada tab Run Configuration atau Scheduling Settings di halaman pengeditan node.

        • Modul produk lain: Anda tidak dapat menetapkan properti Spark di dalam modul.

    4. Klik Confirm untuk menyimpan parameter Spark global yang telah dikonfigurasi.

    Mengonfigurasi pemetaan akun kluster

    Konfigurasikan pemetaan antara akun Alibaba Cloud anggota DataWorks dan akun identitas di kluster EMR. Hal ini memungkinkan anggota menjalankan tugas EMR Serverless Spark menggunakan identitas kluster yang dipetakan.

    Penting

    Fitur ini hanya tersedia di kelompok sumber daya serverless. Jika Anda membeli kelompok sumber daya serverless sebelum 15 Agustus 2025 dan ingin menggunakan fitur ini, Anda harus membuat tiket untuk melakukan peningkatan kelompok sumber daya.

    1. Buka halaman daftar sumber daya komputasi dan temukan sumber daya komputasi Serverless Spark yang telah Anda asosiasikan.

    2. Klik Account Mappings untuk membuka panel konfigurasi Account Mappings.

    3. Klik Edit Account Mapping untuk mengonfigurasi informasi pemetaan akun kluster. Anda dapat mengonfigurasi parameter terkait berdasarkan Mapping Type yang dipilih.

      Account Mapping Type

      Eksekusi tugas

      Konfigurasi

      System account mapping

      Menjalankan tugas EMR Spark, EMR Spark SQL, EMR Kyuubi, dan notebook yang dikembangkan di lingkungan pengembangan pribadi menggunakan akun kluster yang memiliki nama sama dengan Default Access Identity yang ditentukan dalam informasi dasar sumber daya komputasi.

      Secara default, digunakan pemetaan nama yang sama. Untuk menggunakan pemetaan akun berbeda, konfigurasikan akun secara manual.

      OpenLDAP account mapping

      Default Access Identity yang ditentukan dalam informasi dasar sumber daya komputasi digunakan untuk menjalankan tugas EMR Spark dan EMR Spark SQL.

      Akun OpenLDAP yang dipetakan ke identitas akses default dalam informasi dasar sumber daya komputasi digunakan untuk menjalankan tugas EMR Kyuubi dan notebook yang dikembangkan di lingkungan pengembangan pribadi.

      Jika Anda telah mengonfigurasi dan mengaktifkan otentikasi LDAP untuk Kyuubi Gateway, Anda harus mengonfigurasi pemetaan antara Account dan akun OpenLDAP (LDAP Account dan LDAP Password) untuk menjalankan tugas terkait.

      Penting

      Jika akun Alibaba Cloud yang diperlukan tidak ada dalam daftar pemetaan, tugas mungkin gagal.

      Kerberos account mapping

      Default Access Identity yang ditentukan dalam informasi dasar sumber daya komputasi digunakan untuk menjalankan tugas EMR Spark dan EMR Spark SQL.

      Akun Kerberos yang dipetakan ke identitas akses default dalam informasi dasar sumber daya komputasi digunakan untuk menjalankan tugas node EMR Kyuubi.

      1. Anda harus mengunggah file krb5.conf dari layanan Kerberos yang dikonfigurasi untuk kluster EMR Serverless Spark.

      2. Untuk akun Alibaba Cloud yang ditentukan sebagai identitas akses default, konfigurasikan principal dan keytab yang diperlukan untuk otentikasi Kerberos.

    4. Klik Confirm untuk menyelesaikan konfigurasi pemetaan akun kluster.

    Langkah selanjutnya

    Setelah sumber daya komputasi Serverless Spark dikonfigurasi, Anda dapat menggunakannya untuk mengembangkan tugas node di Data Studio. Untuk informasi lebih lanjut, lihat Node EMR Spark, Node EMR Spark SQL, Node EMR Spark Streaming, Node EMR Kyuubi, Node Serverless Spark Batch, Node Serverless Spark SQL, dan Node Serverless Kyuubi.