All Products
Search

This Product

    AnalyticDB:Jadwalkan pekerjaan Spark dengan DolphinScheduler

    Document Center

    AnalyticDB:Jadwalkan pekerjaan Spark dengan DolphinScheduler

    Last Updated:Aug 22, 2026

    DolphinScheduler adalah sistem penjadwalan alur kerja open-source terdistribusi dan skalabel dengan antarmuka Directed Acyclic Graph (DAG) visual yang membantu Anda menjalankan serta mengelola proses data besar secara efisien. Anda dapat menggunakan antarmuka web DolphinScheduler untuk membuat, mengedit, dan menjadwalkan pekerjaan Spark untuk AnalyticDB for MySQL.

    Prasyarat

    Jadwalkan pekerjaan Spark SQL

    Anda dapat menjalankan pekerjaan Spark SQL pada AnalyticDB for MySQL dalam dua mode: batch dan interaktif. Prosedurnya dijelaskan secara rinci pada bagian berikut.

    Batch

    1. Instal tool baris perintah spark-submit dan konfigurasikan parameternya.

      Catatan

      Anda hanya perlu mengonfigurasi parameter yang diperlukan: keyId, secretId, regionId, clusterId, dan rgName.

    2. Buat proyek.

      1. Masuk ke antarmuka web DolphinScheduler. Di bilah navigasi atas, klik Project.

      2. Klik Create Project.

      3. Di kotak dialog Create Project, konfigurasikan parameter seperti Project Name dan Owned Users.

    3. Buat alur kerja.

      1. Klik nama proyek untuk membuka halaman Process Definition.

      2. Klik Create Workflow untuk membuka halaman workflow DAG edit.

      3. Dari daftar komponen di panel kiri, seret Shell ke kanvas di sebelah kanan.

      4. Di kotak dialog Current node settings, konfigurasikan parameter berikut:

        Parameter

        Deskripsi

        Node Name

        Nama node alur kerja.

        Script

        Jalur instalasi tool baris perintah spark-submit dan kode pekerjaan untuk pekerjaan Spark SQL Anda. Contoh: /root/adb-spark-toolkit-submit/bin/spark-submit --class com.aliyun.adb.spark.sql.OfflineSqlTemplate local:///opt/spark/jars/offline-sql.jar "show databases" "select 100"

        Penting

        Tentukan jalur instalasi lengkap spark-submit dalam skrip. Jika tidak, tugas penjadwalan tidak akan menemukan perintah tersebut.
        Catatan

        Untuk informasi selengkapnya tentang parameter lainnya, lihat DolphinScheduler Task Parameters.

      5. Klik OK.

      6. Di pojok kanan atas halaman, klik Save. Di kotak dialog Basic Information, konfigurasikan parameter seperti Workflow Name, lalu klik OK.

    4. Jalankan alur kerja.

      1. Temukan alur kerja yang telah dibuat dan klik ikon image di kolom Operation untuk memublikasikan alur kerja tersebut.

      2. Klik ikon image di kolom Operation.

      3. Di kotak dialog Please set the parameters before starting, konfigurasikan parameter.

      4. Klik Confirm untuk menjalankan alur kerja.

    5. Lihat detail alur kerja.

      1. Di panel navigasi kiri, pilih Task > Task Instance.

      2. Temukan tugas dari alur kerja tersebut dan klik ikon image di kolom Operation untuk melihat hasil eksekusi dan log alur kerja.

    Interaktif

    1. Dapatkan URL koneksi kelompok sumber daya Spark interaktif.

      1. Masuk ke Konsol AnalyticDB for MySQL. Di pojok kiri atas konsol, pilih wilayah. Di panel navigasi kiri, klik Clusters. Temukan kluster yang ingin Anda kelola dan klik ID kluster tersebut.

      2. Di panel navigasi kiri, pilih Cluster Management > Resource Management. Di halaman yang muncul, klik tab Resource Groups.

      3. Temukan kelompok sumber daya Spark interaktif yang telah Anda buat dan klik Details di kolom Actions untuk melihat URL koneksi internal atau publik kelompok sumber daya tersebut. Anda dapat mengklik ikon image di dalam tanda kurung di samping nomor port yang sesuai untuk menyalin URL koneksi tersebut.

        Anda harus mengklik Apply for Endpoint di samping Public Endpoint untuk mengajukan endpoint publik secara manual dalam skenario berikut:

        • Tool klien yang digunakan untuk mengirimkan pekerjaan Spark SQL dideploy di lingkungan on-premises.

        • Tool klien yang digunakan untuk mengirimkan pekerjaan Spark SQL dideploy pada instans Elastic Compute Service (ECS) yang berada di virtual private cloud (VPC) berbeda dari kluster AnalyticDB for MySQL Anda.

    2. Buat sumber data.

      1. Masuk ke antarmuka web DolphinScheduler. Di bilah navigasi atas, klik Datasource.

      2. Klik Add Data Source dan pilih Spark sebagai tipe sumber data.

      3. Di kotak dialog Add Data Source, konfigurasikan parameter berikut:

        Parameter

        Deskripsi

        Data Source

        Pilih Spark.

        Datasource name

        Nama sumber data.

        IPHost Name

        Masukkan URL koneksi dari Langkah 1. Di URL tersebut, ganti default dengan nama database aktual Anda dan hapus akhiran resource_group=<resource_group_name>.

        Contoh: jdbc:hive2://amv-t4naxpqk****sparkwho.ads.aliyuncs.com:10000/adb_demo.

        Port

        Nomor port kelompok sumber daya Spark interaktif tetap pada 10000.

        Username

        Akun database untuk AnalyticDB for MySQL.

        Database Name

        Nama database kluster AnalyticDB for MySQL.
        Catatan

        Parameter lainnya bersifat opsional. Untuk informasi selengkapnya, lihat MySQL Datasource.

      4. Klik Test Connection. Setelah pengujian berhasil, klik OK.

    3. Buat proyek.

      1. Masuk ke antarmuka web DolphinScheduler. Di bilah navigasi atas, klik Project.

      2. Klik Create Project.

      3. Di kotak dialog Create Project, konfigurasikan parameter seperti Project Name dan Owned Users.

    4. Buat alur kerja.

      1. Klik nama proyek untuk membuka halaman Process Definition.

      2. Klik Create Workflow untuk membuka halaman workflow DAG edit.

      3. Dari daftar komponen di panel kiri, seret SQL ke kanvas di sebelah kanan.

      4. Di kotak dialog Current node settings, konfigurasikan parameter berikut:

        Parameter

        Deskripsi

        Data Source Type

        Pilih Spark.

        Datasource instance

        Pilih sumber data yang dibuat pada Langkah 2.

        SQLType

        Tipe pekerjaan SQL, seperti Queries atau Non Query.

        SQL statement

        Pernyataan SQL yang akan dijalankan.

      5. Klik OK.

      6. Di pojok kanan atas halaman, klik Save. Di kotak dialog Basic Information, konfigurasikan parameter seperti Workflow Name, lalu klik OK.

    5. Jalankan alur kerja.

      1. Temukan alur kerja yang telah dibuat dan klik ikon image di kolom Operation untuk memublikasikan alur kerja tersebut.

      2. Klik ikon image di kolom Operation.

      3. Di kotak dialog Please set the parameters before starting, konfigurasikan parameter.

      4. Klik Confirm untuk menjalankan alur kerja.

    6. Lihat detail alur kerja.

      1. Di panel navigasi kiri, pilih Task > Task Instance.

      2. Temukan tugas dari alur kerja tersebut dan klik ikon image di kolom Operation untuk melihat hasil eksekusi dan log alur kerja.

    Jadwalkan pekerjaan Spark JAR

    1. Instal tool baris perintah spark-submit dan konfigurasikan parameternya.

      Catatan

      Anda hanya perlu mengonfigurasi parameter yang diperlukan: keyId, secretId, regionId, clusterId, dan rgName. Jika paket Spark JAR Anda disimpan secara lokal, Anda juga harus mengonfigurasi parameter terkait Object Storage Service (OSS), seperti ossUploadPath.

    2. Buat proyek.

      1. Masuk ke antarmuka web DolphinScheduler. Di bilah navigasi atas, klik Project.

      2. Klik Create Project.

      3. Di kotak dialog Create Project, konfigurasikan parameter seperti Project Name dan Owned Users.

    3. Buat alur kerja.

      1. Klik nama proyek untuk membuka halaman Process Definition.

      2. Klik Create Workflow untuk membuka halaman workflow DAG edit.

      3. Dari daftar komponen di panel kiri, seret Shell ke kanvas di sebelah kanan.

      4. Di kotak dialog Current node settings, konfigurasikan parameter berikut:

        Parameter

        Deskripsi

        Node Name

        Nama node alur kerja.

        Script

        Jalur instalasi tool baris perintah spark-submit dan kode pekerjaan untuk pekerjaan Spark Anda. Contoh:

        /root/adb-spark-toolkit-submit/bin/spark-submit --class org.apache.spark.examples.SparkPi --name SparkPi --conf spark.driver.resourceSpec=medium --conf spark.executor.instances=2 --conf spark.executor.resourceSpec=medium local:///tmp/spark-examples.jar 1000.

        Penting

        Tentukan jalur instalasi lengkap spark-submit dalam skrip. Jika tidak, tugas penjadwalan tidak akan menemukan perintah tersebut.
        Catatan

        Untuk informasi selengkapnya tentang parameter lainnya, lihat DolphinScheduler Task Parameters.

      5. Klik OK.

      6. Di pojok kanan atas halaman, klik Save. Di kotak dialog Basic Information, konfigurasikan parameter seperti Workflow Name, lalu klik OK.

    4. Jalankan alur kerja.

      1. Temukan alur kerja yang telah dibuat dan klik ikon image di kolom Operation untuk memublikasikan alur kerja tersebut.

      2. Klik ikon image di kolom Operation.

      3. Di kotak dialog Please set the parameters before starting, konfigurasikan parameter.

      4. Klik Confirm untuk menjalankan alur kerja.

    5. Lihat detail alur kerja.

      1. Di panel navigasi kiri, pilih Task > Task Instance.

      2. Temukan tugas dari alur kerja tersebut dan klik ikon image di kolom Operation untuk melihat hasil eksekusi dan log alur kerja.