Jadwalkan pekerjaan Spark dengan Azkaban - AnalyticDB - Alibaba Cloud Documentation Center

Azkaban adalah penjadwal alur kerja batch yang digunakan untuk membangun, menjalankan, dan mengelola alur kerja dengan dependensi kompleks. Anda dapat menggunakan antarmuka web Azkaban untuk menjadwalkan pekerjaan Spark di AnalyticDB for MySQL.

Prasyarat

Kluster AnalyticDB for MySQL Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse telah dibuat.
Anda telah membuat kelompok sumber daya pekerjaan atau kelompok sumber daya interaktif untuk mesin Spark di kluster AnalyticDB for MySQL Anda.
Azkaban telah diinstal.
Beeline telah diinstal.
Anda telah menambahkan alamat IP server yang menjalankan Azkaban ke Daftar putih alamat IP kluster AnalyticDB for MySQL Anda.

Jadwalkan pekerjaan Spark SQL

Anda dapat menggunakan Spark-Submit untuk mengirimkan pekerjaan Spark SQL dan pekerjaan Spark ke AnalyticDB for MySQL.

Batch

Instal tool command line Spark-Submit dan konfigurasikan parameter terkait.

Buat file alur kerja dan kompres folder induknya menjadi file ZIP.

nodes:
  - name: SparkPi
    type: command
    config:
      command: /<your path>/adb-spark-toolkit-submit/bin/spark-submit 
                --class com.aliyun.adb.spark.sql.OfflineSqlTemplate 
                local:///opt/spark/jars/offline-sql.jar 
                "show databases" 
                "select 100"
    dependsOn:
      - jobA
      - jobB

  - name: jobA
    type: command
    config:
      command: echo "This is an echoed text."

  - name: jobB
    type: command
    config:
      command: pwd

Penting

Ganti <your path> dengan path instalasi aktual tool command line Spark-Submit.
Jangan gunakan karakter kelanjutan baris (\) dalam perintah untuk node command.

Buat proyek dan unggah file ZIP dari langkah 2.
1. Buka antarmuka web Azkaban. Di bilah navigasi atas, klik Project.
2. Di pojok kanan atas halaman, klik Create Project.
3. Pada kotak dialog Create Project, atur parameter Name dan Description.
4. Di pojok kanan atas halaman, klik Upload.
5. Pada kotak dialog Upload Project Files, unggah file ZIP lalu klik Upload.
Jalankan alur kerja.
1. Di halaman Project, klik tab Flows.
2. Klik Execute Flow.
3. Klik Execute.
4. Pada kotak dialog Flow submitted, klik Continue.
Lihat detail alur kerja.
1. Di bilah navigasi atas, klik Executing.
2. Klik tab Recently Finished.
3. Klik sebuah Execution ID, lalu klik tab Job List untuk melihat detail eksekusi setiap pekerjaan.
4. Klik Logs untuk melihat log pekerjaan.

Interaktif

Dapatkan URL koneksi kelompok sumber daya Spark interaktif.
1. Masuk ke Konsol AnalyticDB for MySQL. Di pojok kiri atas konsol, pilih wilayah. Di panel navigasi kiri, klik Clusters. Temukan kluster yang ingin Anda kelola dan klik ID kluster tersebut.
2. Di panel navigasi kiri, pilih Cluster Management > Resource Management. Pada halaman yang muncul, klik tab Resource Groups.
3. Temukan kelompok sumber daya Spark interaktif yang telah Anda buat dan klik Details pada kolom Actions untuk melihat URL koneksi internal atau publik kelompok sumber daya tersebut. Anda dapat mengklik ikon di dalam tanda kurung di sebelah nomor port yang sesuai untuk menyalin URL koneksi.
  
  Anda harus mengklik Apply for Endpoint di samping Public Endpoint untuk mengajukan endpoint publik secara manual dalam skenario berikut:
  - Tool client yang digunakan untuk mengirimkan pekerjaan Spark SQL dideploy di lingkungan on-premises.
  - Tool client yang digunakan untuk mengirimkan pekerjaan Spark SQL dideploy pada instans Elastic Compute Service (ECS) yang berada di virtual private cloud (VPC) berbeda dari kluster AnalyticDB for MySQL Anda.

Buat file alur kerja dan kompres folder induknya menjadi file ZIP.

nodes:
  - name: jobB
    type: command
    config:
      command: <path> -u "jdbc:hive2://amv-t4n83e67n7b****sparkwho.ads.aliyuncs.com:10000/adb_demo" -n spark_interactive_prod/spark_user -p "spark_password" -e "show databases;show tables;"

    dependsOn:
      - jobA

  - name: jobA
    type: command
    config:
      command: <path> -u "jdbc:hive2://amv-t4n83e67n7b****sparkwho.ads.aliyuncs.com:10000/adb_demo" -n spark_interactive_prod/spark_user -p "spark_password" -e "show tables;"

Parameter:

Parameter	Deskripsi
path	Path ke client Beeline. Contoh: `/path/to/spark/bin/beeline`.
-u	Masukkan alamat koneksi yang diperoleh pada Langkah 1. Ganti `default` dalam alamat koneksi dengan nama database aktual, dan hapus `resource_group=<resource group name>` dari alamat koneksi. Contoh: `jdbc:hive2://amv-t4naxpqk****sparkwho.ads.aliyuncs.com:10000/adb_demo`.
-n	Akun database AnalyticDB for MySQL dan nama kelompok sumber daya, dalam format `resource_group_name/database_account_name`. Sebagai contoh, jika nama kelompok sumber daya adalah spark_interactive_prod dan nama akun database adalah spark_user, masukkan `spark_interactive_prod/spark_user`.
-p	Password untuk akun database AnalyticDB for MySQL.
-e	Pernyataan SQL yang akan dijalankan. Gunakan titik koma (;) untuk memisahkan beberapa pernyataan.

Buat proyek dan unggah file ZIP dari langkah sebelumnya.
1. Buka antarmuka web Azkaban. Di bilah navigasi atas, klik Project.
2. Di pojok kanan atas halaman, klik Create Project.
3. Pada kotak dialog Create Project, atur parameter Name dan Description.
4. Di pojok kanan atas halaman, klik Upload.
5. Pada kotak dialog Upload Project Files, unggah file ZIP lalu klik Upload.
Jalankan alur kerja.
1. Di halaman Project, klik tab Flows.
2. Klik Execute Flow.
3. Klik Execute.
4. Pada kotak dialog Flow submitted, klik Continue.
Lihat detail alur kerja.
1. Di bilah navigasi atas, klik Executing.
2. Klik tab Recently Finished.
3. Klik sebuah Execution ID, lalu klik tab Job List untuk melihat detail eksekusi setiap pekerjaan.
4. Klik Logs untuk melihat log pekerjaan.

Jadwalkan pekerjaan Spark JAR

Instal tool command line Spark-Submit dan konfigurasikan parameternya.

Catatan
Konfigurasikan hanya parameter yang diperlukan berikut: keyId, secretId, regionId, clusterId, dan rgName. Jika paket Spark JAR Anda disimpan di mesin lokal, konfigurasikan juga parameter Object Storage Service (OSS), seperti ossUploadPath.

Buat file alur kerja dan kompres folder induknya menjadi file ZIP.

nodes:
  - name: SparkPi
    type: command
    config:
      command: /<your path>/adb-spark-toolkit-submit/bin/spark-submit 
                --class org.apache.spark.examples.SparkPi 
                --name SparkPi 
                --conf spark.driver.resourceSpec=medium 
                --conf spark.executor.instances=2 
                --conf spark.executor.resourceSpec=medium 
                local:///tmp/spark-examples.jar 1000
    dependsOn:
      - jobA
      - jobB

  - name: jobA
    type: command
    config:
      command: echo "This is an echoed text."

  - name: jobB
    type: command
    config:
      command: pwd

Penting

Ganti <your path> dengan path instalasi aktual tool command line Spark-Submit.
Jangan gunakan karakter kelanjutan baris (\) dalam perintah untuk node command.

Buat proyek dan unggah file ZIP dari langkah 2.
1. Buka antarmuka web Azkaban. Di bilah navigasi atas, klik Project.
2. Di pojok kanan atas halaman, klik Create Project.
3. Pada kotak dialog Create Project, atur parameter Name dan Description.
4. Di pojok kanan atas halaman, klik Upload.
5. Pada kotak dialog Upload Project Files, unggah file ZIP lalu klik Upload.
Jalankan alur kerja.
1. Di halaman Project, klik tab Flows.
2. Klik Execute Flow.
3. Klik Execute.
4. Pada kotak dialog Flow submitted, klik Continue.
Lihat detail alur kerja.
1. Di bilah navigasi atas, klik Executing.
2. Klik tab Recently Finished.
3. Klik sebuah Execution ID, lalu klik tab Job List untuk melihat detail eksekusi setiap pekerjaan.
4. Klik Logs untuk melihat log pekerjaan.