All Products
Search

This Product

    DataWorks:Kembangkan tugas pada kluster Hadoop yang dikelola sendiri

    Document Center

    DataWorks:Kembangkan tugas pada kluster Hadoop yang dikelola sendiri

    Last Updated:Jun 21, 2026

    Dokumen ini menjelaskan cara menghubungkan kluster Hadoop yang dikelola sendiri ke DataWorks untuk pengembangan tugas dan membuat lingkungan runtime kustom untuk kluster tersebut.

    Latar Belakang

    Anda dapat menghubungkan DataWorks ke kluster Hadoop yang dikelola sendiri dengan menyediakan alamat layanannya saat mendaftarkannya sebagai kluster CDH. Setelah itu, Anda dapat menggunakan gambar CDH bawaan di DataWorks untuk membuat lingkungan runtime yang sesuai dengan versi komponen kluster Anda. Hal ini memungkinkan Anda menjadwalkan dan menjalankan job dari kluster Hadoop yang dikelola sendiri secara langsung dalam DataWorks.

    Prasyarat

    Sebelum membuat gambar kustom, Anda harus menyiapkan lingkungan kluster, DataWorks, dan Object Storage Service (OSS).

    • Anda memiliki kluster Hadoop yang dikelola sendiri.

    • Anda telah mengaktifkan DataWorks dan membuat DataWorks workspace serta serverless resource group.

      Jika Anda perlu men-download installation packages dari endpoint OSS publik, serverless resource group memerlukan akses internet. Untuk mengaktifkannya, konfigurasikan NAT gateway untuk serverless resource group tersebut. Untuk informasi lebih lanjut, lihat Ikhtisar solusi konektivitas jaringan.

    • Anda telah mengaktifkan Object Storage Service (OSS) dan membuat bucket. Gunakan bucket ini untuk meng-upload dan menyimpan Spark installation package dan Hadoop installation package kustom, sehingga dapat diakses oleh skrip pembuatan gambar.

    Langkah 1: Hubungkan kluster yang dikelola sendiri ke DataWorks

    Bind kluster Hadoop yang dikelola sendiri ke DataWorks sebagai sumber daya komputasi. Karena proses binding untuk workspace yang Use Data Studio (New Version) berbeda dengan proses untuk workspace yang tidak Use Data Studio (New Version), rujuk dokumentasi yang sesuai dengan lingkungan workspace Anda untuk menyelesaikan proses binding.

    Langkah 2: Sesuaikan lingkungan runtime

    DataWorks memungkinkan Anda membangun gambar kustom berdasarkan gambar CDH resmi bawaan. Gambar kustom ini berfungsi sebagai lingkungan runtime tugas di DataWorks untuk kluster yang dikelola sendiri. Ikuti langkah-langkah berikut untuk menyiapkan paket instalasi dan membangun gambar baru.

    Siapkan paket instalasi

    Sebelum membuat gambar kustom, peroleh paket instalasi komponen yang diperlukan. Anda dapat mengekstrak paket-paket ini dari kluster Hadoop yang dikelola sendiri yang sudah ada atau mengunduhnya secara langsung. Setelah mendapatkan paket tersebut, unggah ke Object Storage Service (OSS).

    1. Peroleh paket instalasi komponen.

      • Temukan direktori instalasi komponen yang diperlukan di kluster Hadoop yang dikelola sendiri Anda dan ekstrak paketnya.

      • Unduh versi yang sesuai dari paket instalasi komponen.

        Contoh ini menggunakan paket instalasi open source Spark dan Hadoop. Anda dapat menemukannya di lokasi berikut:

        Catatan

        Contoh ini menggunakan paket instalasi untuk Spark 3.4.2 dan Hadoop 3.2.1.

    2. Unggah paket instalasi Spark dan Hadoop yang telah diunduh ke bucket OSS Anda.

    Bangun gambar baru

    Untuk membuat gambar kustom, tulis skrip yang mengunduh paket instalasi Spark dan Hadoop dari bucket OSS Anda dan menginstalnya ke dalam gambar dasar CDH. Setelah instalasi selesai, bangun dan terbitkan gambar kustom tersebut untuk digunakan dalam pengembangan data.

    1. Buat gambar kustom.

      1. Login ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah tempat workspace Anda berada. Di panel navigasi kiri, klik Image Management, lalu klik tab Custom Image.

      2. Klik Create Image. Konfigurasikan parameter untuk gambar kustom. Untuk informasi lebih lanjut, lihat Image Management. Tabel berikut menjelaskan parameter utama.

        Parameter

        Deskripsi

        Contoh

        Image name/ID

        Anda dapat memilih dari berbagai gambar dasar. Untuk membangun gambar kustom untuk kluster Hadoop, pilih gambar CDH resmi yang disediakan oleh DataWorks.

        Dari daftar drop-down, pilih dataworks_cdh_custom_task_pod.

        Supported task types

        Gambar CDH mendukung tugas CDH Hive, CDH Spark, CDH Spark SQL, CDH MR, CDH Presto, dan CDH Impala. Pilih jenis tugas yang Anda butuhkan.

        Untuk contoh ini, pilih semua jenis tugas yang didukung oleh gambar CDH.

        Installation package

        • Pada bagian ini, Anda harus menyediakan skrip untuk mengunduh dan menginstal paket Hadoop dan Spark yang telah Anda unggah ke OSS.

        • Anda dapat menyesuaikan skrip untuk mengganti paket sesuai kebutuhan.

        Dari daftar drop-down, pilih Script.

        Skrip kustom

        mkdir -p /opt/taobao/tbdpapp/cdh/custom

wget -O spark-3.4.2-bin-hadoop3.tgz "{Your OSS Download URL}"
tar zxf spark-3.4.2-bin-hadoop3.tgz
mv spark-3.4.2-bin-hadoop3 /opt/taobao/tbdpapp/cdh/custom

wget -O hadoop-3.2.1.tar.gz "{Your OSS Download URL}"
tar zxf hadoop-3.2.1.tar.gz
mv hadoop-3.2.1 /opt/taobao/tbdpapp/cdh/custom

echo "\nexport PATH=/opt/taobao/tbdpapp/cdh/custom/hadoop-3.2.1/bin:/opt/taobao/tbdpapp/cdh/custom/spark-3.4.2-bin-hadoop3/bin:$PATH" >> /home/admin/.bashrc
        Catatan

        • Ganti {Your OSS Download URL} dengan URL unduh aktual paket Anda. Untuk informasi lebih lanjut, lihat Gunakan URL objek.

          • Jika objek OSS bersifat publik: Sediakan URL unduh.

          • Jika objek OSS bersifat privat: Sediakan signed URL dan pastikan belum kedaluwarsa.

        • Versi dalam kode contoh ini hanya sebagai referensi. Gunakan versi yang sesuai dengan paket yang Anda unggah ke OSS.

      3. Setelah mengonfigurasi parameter, klik Determine untuk membuat gambar.

    2. Bangun dan terbitkan gambar kustom.

      Setelah membuat gambar kustom, Anda harus membangun dan menerbitkannya sebelum dapat menggunakannya di Data Studio. Ikuti langkah-langkah berikut untuk membangun dan menerbitkan gambar:

      1. Setelah gambar kustom dibuat, temukan di daftar dan klik Deploy di kolom Tindakan untuk memulai proses pengujian dan penerbitan.

        Status gambar berubah menjadi Not Tested.

      2. Di panel Publish Image, pilih kelompok sumber daya dari daftar drop-down Test Resource Group untuk menguji gambar. Setelah pengujian berhasil, klik Deploy.

      Catatan

      Jika Anda perlu mengunduh paket instalasi dari endpoint OSS publik, test resource group memerlukan akses internet. Untuk mengaktifkannya, konfigurasikan NAT gateway untuk serverless resource group. Untuk informasi lebih lanjut, lihat Ikhtisar solusi konektivitas jaringan.

    Langkah 3: Jalankan tugas dengan lingkungan kustom

    Setelah gambar diterbitkan, Anda dapat menggunakannya untuk pengembangan data. Cara menggunakan gambar kustom tergantung pada apakah workspace Anda menggunakan versi baru Data Studio.

    Login ke Konsol DataWorks. Pilih wilayah Anda, lalu di panel navigasi kiri, pilih Data Development & O&M > Data Studio. Pilih workspace Anda dari daftar drop-down dan masuk ke Data Studio/Data Development.

    Data Studio Baru

    1. Buat node CDH.

      Di halaman Data Studio, klik ikon image+ dan pilih Create Node > cdh > CDH Hive. Masukkan nama untuk node tersebut dan tekan Enter.

    2. Konfigurasikan gambar untuk node CDH Hive.

      • Konfigurasi Eksekusi

        1. Klik ganda node CDH Hive untuk membuka tab editor. Di sisi kanan, klik Run Configuration.

        2. Klik tab DataWorks configuration dan pilih gambar yang telah Anda buat.

          • Resource Group: Pilih serverless resource group.

          • Image: Pilih gambar kustom yang telah Anda terbitkan dan kaitkan dengan workspace saat ini.

        Nilai default untuk Compute CU adalah 0,25. Node ini menggunakan nilai default, sehingga tidak perlu perubahan.

      • Konfigurasi Penjadwalan

        1. Klik ganda node CDH Hive untuk membuka tab editor. Di sisi kanan, klik Scheduling.

        2. Klik tab Scheduling Policy dan konfigurasikan parameter.

          • Resource Group for Scheduling: Pilih serverless resource group.

          • Image: Pilih gambar kustom yang telah Anda terbitkan dan kaitkan dengan workspace saat ini.

    Catatan

    • Gambar CDH mendukung jenis node berikut: CDH Hive, CDH Spark, CDH Spark SQL, CDH MR, CDH Presto, dan CDH Impala.

    • Untuk memastikan node tugas berjalan lancar, pastikan Resource Group for Scheduling sama dengan Test Resource Group yang Anda pilih saat published the image.

    • Jika kelompok sumber daya target tidak ditampilkan, periksa apakah sudah dikaitkan dengan workspace saat ini. Anda dapat membuka halaman Daftar Kelompok Sumber Daya, temukan kelompok sumber daya target, lalu klik Bind to Workspace di kolom Operation.

    Data Studio Versi Lama

    1. Buat node CDH.

      1. Klik ikon image+ dan pilih Create Node > cdh > CDH Hive.

        Parameter

        Deskripsi

        Engine Instance

        Pilih kluster CDH yang telah Anda daftarkan saat menghubungkan kluster yang dikelola sendiri ke DataWorks.

        Node Type

        CDH Hive.

        Path

        • Pilih workflow tempat node CDH Hive berada.

        • Contoh: Workflow.

        Name

        Masukkan nama kustom untuk node tersebut.

        Setelah mengonfigurasi parameter, klik Determine.

      2. Klik ganda node CDH Hive untuk membuka tab editor.

        Setelah selesai menulis kode CDH Hive, Anda dapat mengonfigurasi gambar untuk node tersebut dan menjalankan pengujian.

        • Jalankan dengan parameter.

          Di bilah alat, klik ikon imageRun. Di kotak dialog konfigurasi, pilih gambar kustom Anda, misalnya, dw_cdh_image.

          • Resource Group Name: Pilih serverless resource group.

          • Image: Pilih gambar kustom yang telah Anda terbitkan dan kaitkan dengan workspace saat ini.

          Parameter Run CU menggunakan nilai default 0,25 dan tidak perlu diubah. Di area Custom Parameter, masukkan nilai untuk parameter kustom apa pun, lalu klik Run.

        • Konfigurasi penjadwalan.

          Di bilah alat, klik ikon imageProperties. Di kotak dialog konfigurasi, pilih gambar kustom Anda, misalnya, dw_cdh_image.

          • Resource Group for Scheduling: Pilih serverless resource group.

          • Image: Pilih gambar kustom yang telah Anda terbitkan dan kaitkan dengan workspace saat ini.

          Parameter Scheduling CU secara default bernilai 0,25, sedangkan Tanggal Efektif secara default diatur ke Selamanya.

    Catatan

    • Gambar CDH mendukung jenis node berikut: CDH Hive, CDH Spark, CDH Spark SQL, CDH MR, CDH Presto, dan CDH Impala.

    • Untuk memastikan node tugas berjalan lancar, pastikan Resource Group for Scheduling sama dengan Test Resource Group yang Anda pilih saat published the image.

    • Jika kelompok sumber daya target tidak ditampilkan, periksa apakah sudah dikaitkan dengan workspace saat ini. Anda dapat membuka halaman Daftar Kelompok Sumber Daya, temukan kelompok sumber daya target, lalu klik Bind to Workspace di kolom Operation.