Menggunakan DMS untuk mengorkestrasi dan menjadwalkan pekerjaan Lindorm Spark - Lindorm - Alibaba Cloud - Lindorm

Lindorm Distributed Processing System (LDPS) yang disediakan oleh Lindorm memungkinkan Anda menggunakan fitur orkestrasi task dari Data Management (DMS) untuk menjadwalkan pekerjaan Lindorm Spark serta melihat riwayat publikasi dan log pekerjaan Lindorm Spark. LDPS dapat memenuhi kebutuhan komputasi Anda dalam berbagai skenario, seperti produksi data, analitik interaktif, pembelajaran mesin, dan komputasi graf. Topik ini menjelaskan cara menggunakan DMS untuk mengelola pekerjaan Lindorm Spark.

Prasyarat

DMS telah diaktifkan.
LDPS telah diaktifkan untuk instans Lindorm. Untuk informasi selengkapnya, lihat Aktifkan layanan.
Pekerjaan telah dikembangkan. Untuk informasi selengkapnya, lihat Praktik pengembangan pekerjaan JAR atau Panduan Praktis Pengembangan Pekerjaan Python.
Pekerjaan yang telah dikembangkan diunggah ke HDFS atau Object Storage Service (OSS). Untuk informasi selengkapnya, lihat Unggah file menggunakan konsol.

Buat alur task Lindorm Spark

Masuk ke DMS console V5.0.
Buka halaman Task Orchestration.
- Mode sederhana:
  1. Pada bagian Scene Guide, klik Data Transmission and Processing (DTS).
  2. Klik Task Orchestration pada bagian Data processing di sisi kanan halaman.
- Mode normal: Di bilah navigasi atas, pilih DTS > Data Development > Task Orchestration.
Pada halaman Task Orchestration, klik Create Task Flow.
Pada kotak dialog Create Task Flow, tentukan Task Flow Name dan Description, lalu klik Confirm.
Pada bagian Task Type di sisi kiri, seret node Lindorm Spark ke kanvas, lalu hubungkan satu node ke node lainnya untuk menentukan dependensi antar node.

Konfigurasikan node Lindorm Spark.

Klik dua kali node Lindorm Spark, atau klik node Lindorm Spark lalu klik ikon .

Pada halaman yang muncul, konfigurasikan parameter dasar dan parameter kustom pekerjaan yang ingin Anda jalankan.

Pada bagian Basic Configurations, konfigurasikan parameter dasar. Tabel berikut menjelaskan parameter dasar tersebut.

Parameter	Description
Region	Pilih wilayah tempat instans Lindorm Anda dideploy.
Lindorm Instance	Pilih ID instans Lindorm Anda.
Task Type	Pilih jenis pekerjaan Spark. Jenis pekerjaan berikut didukung: JAR Python SQL

Pada bagian Job Configuration, konfigurasikan parameter kustom pekerjaan yang ingin Anda jalankan. Bagian berikut menjelaskan templat konfigurasi dan parameter kustom untuk berbagai jenis pekerjaan Spark.

Bagian berikut menjelaskan templat konfigurasi dan parameter kustom untuk pekerjaan Spark JAR:

{
  "mainResource" : "oss://path/to/your/file.jar",
  "mainClass" : "path.to.main.class",
  "args" : [ "arg1", "arg2" ],
  "configs" : {
    "spark.hadoop.fs.oss.endpoint" : "",
    "spark.hadoop.fs.oss.accessKeyId" : "",
    "spark.hadoop.fs.oss.accessKeySecret" : "",
    "spark.hadoop.fs.oss.impl" : "org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem",
    "spark.sql.shuffle.partitions" : "20"
  }
}

Parameter	Type	Required	Description	Example
mainResource	String	Yes	Jalur tempat paket JAR disimpan di HDFS atau OSS.	Jalur HDFS tempat paket JAR disimpan: hdfs:///path/spark-examples_2.12-3.1.1.jar Jalur OSS tempat paket JAR disimpan: oss://testBucketName/path/spark-examples_2.12-3.1.1.jar
mainClass	String	Yes	Kelas yang digunakan sebagai titik masuk program Anda dalam pekerjaan JAR.	com.aliyun.ldspark.SparkPi
args	Array	No	Parameter yang diteruskan ke parameter mainClass.	["arg1", "arg2"]
configs	Json	No	Parameter sistem pekerjaan Spark. Jika pekerjaan diunggah ke OSS, Anda harus mengonfigurasi parameter berikut di configs: spark.hadoop.fs.oss.endpoint: Jalur tempat pekerjaan Spark disimpan di OSS. spark.hadoop.fs.oss.accessKeyId: ID AccessKey yang digunakan untuk mengakses OSS. Anda dapat memperoleh ID AccessKey di konsol. Untuk informasi selengkapnya, lihat Obtain an AccessKey pair. spark.hadoop.fs.oss.accessKeySecret: Rahasia AccessKey yang digunakan untuk mengakses OSS. Anda dapat memperoleh rahasia AccessKey di konsol. Untuk informasi selengkapnya, lihat Obtain an AccessKey pair. spark.hadoop.fs.oss.impl: Kelas yang digunakan untuk mengakses OSS. Tetapkan nilainya ke org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem.	{ "spark.sql.shuffle.partitions": "200"}

Bagian berikut menjelaskan templat konfigurasi dan parameter kustom untuk pekerjaan Spark Python:

{
  "mainResource" : "oss://path/to/your/file.py",
  "args" : [ "arg1", "arg2" ],
  "configs" : {
    "spark.hadoop.fs.oss.endpoint" : "",
    "spark.hadoop.fs.oss.accessKeyId" : "",
    "spark.hadoop.fs.oss.accessKeySecret" : "",
    "spark.hadoop.fs.oss.impl" : "org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem",
    "spark.submit.pyFiles" : "oss://path/to/your/project_file.py,oss://path/to/your/project_module.zip",
    "spark.archives" : "oss://path/to/your/environment.tar.gz#environment",
    "spark.sql.shuffle.partitions" : "20"
  }
}

Parameter	Type	Required	Description	Example
mainResource	String	Yes	Jalur tempat file Python disimpan di OSS atau HDFS.	Jalur OSS tempat file Python disimpan: oss://testBucketName/path/spark-examples.py Jalur HDFS tempat file Python disimpan: hdfs:///path/spark-examples.py
args	Array	No	Parameter yang diteruskan ke parameter mainClass.	["arg1", "arg2"]
configs	Json	No	Parameter sistem pekerjaan Spark. Jika Anda perlu mengunggah pekerjaan ke OSS, Anda harus mengonfigurasi parameter berikut di configs: spark.hadoop.fs.oss.endpoint: Jalur tempat pekerjaan Spark disimpan di OSS. spark.hadoop.fs.oss.accessKeyId: ID AccessKey yang digunakan untuk mengakses OSS. Anda dapat memperoleh ID AccessKey di konsol. Untuk informasi selengkapnya, lihat Obtain an AccessKey pair. spark.hadoop.fs.oss.accessKeySecret: Rahasia AccessKey yang digunakan untuk mengakses OSS. Anda dapat memperoleh rahasia AccessKey di konsol. Untuk informasi selengkapnya, lihat Obtain an AccessKey pair. spark.hadoop.fs.oss.impl: Kelas yang digunakan untuk mengakses OSS. Tetapkan nilainya ke org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem.	{"spark.sql.shuffle.partitions": "200"}

Bagian berikut menjelaskan templat konfigurasi dan parameter kustom untuk pekerjaan SQL:

{
  "mainResource" : "oss://path/to/your/file.sql",
  "configs" : {
    "spark.hadoop.fs.oss.endpoint" : "",
    "spark.hadoop.fs.oss.accessKeyId" : "",
    "spark.hadoop.fs.oss.accessKeySecret" : "",
    "spark.hadoop.fs.oss.impl" : "org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem",
    "spark.sql.shuffle.partitions" : "20"
  }
}

Parameter	Type	Required	Description	Example
mainResource	String	Yes	Jalur tempat file SQL disimpan di OSS atau HDFS.	Jalur OSS tempat file SQL disimpan: oss://testBucketName/path/spark-examples.sql Jalur HDFS tempat file SQL disimpan: hdfs:///path/spark-examples.sql
configs	Json	No	Konfigurasi lain untuk pekerjaan SQL.	{ "spark.executor.memory" : "8g"}

Setelah konfigurasi selesai, klik Try Run di pojok kiri atas untuk memeriksa apakah pekerjaan berjalan sesuai harapan.

Publikasikan alur task. Setelah semua node dikonfigurasi, klik Save di pojok kiri atas halaman alur task saat ini.

Lihat riwayat publikasi dan log alur task

Pada halaman Task Orchestration, klik nama alur task yang ingin Anda lihat riwayat publikasi dan log-nya.
Pada halaman yang muncul, klik Go to O&M di pojok kanan atas.
Lihat riwayat publikasi dan log alur task.
- Lihat riwayat publikasi alur task. Pada halaman Task Flow Information, klik tab Published Tasks untuk melihat riwayat publikasi alur task. Daftar tugas yang dipublikasikan berisi kolom Version ID, Publisher, Publish Time, Remarks, dan Actions. Pada kolom Actions, Anda dapat mengklik Details atau DAG untuk melihat detail publikasi suatu versi.
- Lihat log alur task.
  1. Pada tab Running History, pilih Triggered at Specified Time atau Triggered Manually dari daftar drop-down di pojok kiri atas untuk melihat detail semua node dalam alur task. Di tab Running History, buka catatan eksekusi untuk melihat status berjalan, waktu yang dibutuhkan, dan log berjalan setiap subtask node.
  2. Klik View pada baris node yang ingin Anda lihat. Kemudian, lihat log pengiriman pekerjaan Lindorm Spark, dan peroleh job ID serta SparkUI node tersebut.
    
    Catatan
    Jika pekerjaan gagal dikirimkan, sertakan job ID dan SparkUI saat Anda submit a ticket.

Pengaturan lanjutan

Catatan

Anda dapat mengonfigurasi alur task Lindorm Spark di konsol DMS. Setelah alur task Lindorm Spark dikonfigurasi, Anda harus mempublikasikan ulang alur task tersebut.

Konfigurasi pengaturan penjadwalan

Anda dapat mengonfigurasi kebijakan penjadwalan sesuai kebutuhan bisnis Anda. Alur task Lindorm Spark akan dieksekusi secara otomatis berdasarkan kebijakan penjadwalan tersebut. Anda dapat mengikuti langkah-langkah berikut untuk mengonfigurasi kebijakan penjadwalan:

Pada halaman Task Orchestration, klik nama alur task yang ingin Anda konfigurasi kebijakan penjadwalannya.
Di pojok kiri bawah halaman yang muncul, klik Task Flow Information.

Pada bagian Scheduling Settings di sisi kanan, aktifkan Enable Scheduling dan konfigurasi kebijakan penjadwalan. Tabel berikut menjelaskan parameter yang dapat Anda konfigurasi.

Parameter	Description
Scheduling Type	Pilih jenis penjadwalan: Cyclic Scheduling: Jadwalkan task secara berkala, misalnya seminggu sekali. Schedule Once: Eksekusi task sekali pada waktu tertentu. Anda hanya perlu mengonfigurasi waktu eksekusi spesifik.
Effective Period	Pilih periode berlakunya siklus penjadwalan. Nilai default adalah 1970-01-01 hingga 9999-01-01, yang berarti penjadwalan selalu berlaku.
Scheduling Cycle	Pilih siklus penjadwalan: Hour: Lakukan penjadwalan task berdasarkan jam tertentu. Penjadwalan berbasis waktu diperlukan. Day: Lakukan penjadwalan task sekali sehari. Anda perlu mengonfigurasi waktu spesifik untuk penjadwalan harian. Week: Lakukan penjadwalan task sekali pada hari tertentu dalam seminggu. Anda perlu mengonfigurasi hari dan waktu spesifik. Month: Lakukan penjadwalan task sekali pada tanggal tertentu dalam sebulan. Anda perlu mengonfigurasi tanggal dan waktu spesifik.
Timed Scheduling	Tersedia dua metode penjadwalan berbasis waktu: Penjadwalan interval tetap: Start Time: Waktu mulai eksekusi task. Interval: Interval antar eksekusi task, dalam satuan jam. End Time: Waktu akhir eksekusi task. Contohnya, jika Anda menetapkan waktu mulai pukul 00.00, interval 6 jam, dan waktu akhir pukul 20.59, task akan dieksekusi pada pukul 00.00, 06.00, 12.00, dan 18.00. Penjadwalan Specified Time: Pilih titik waktu spesifik untuk eksekusi task. Contohnya, jika Anda memilih Jam 0 dan Jam 5, task akan dieksekusi pada pukul 00.00 dan 05.00.
Specified Time	Jika siklus penjadwalan adalah Week, pilih hari dalam seminggu untuk mengeksekusi task. Pemilihan ganda didukung. Jika siklus penjadwalan adalah Month, pilih tanggal dalam sebulan untuk mengeksekusi task. Pemilihan ganda didukung.
Specific Time	Tentukan waktu spesifik untuk eksekusi alur task. Contohnya, jika Anda menetapkan waktu pukul 02.55, task akan dieksekusi pada pukul 02.55 pada hari yang ditentukan.
Cron Expression	Tidak perlu konfigurasi manual. Sistem secara otomatis menghasilkan ekspresi cron berdasarkan siklus dan waktu spesifik yang dikonfigurasi.

Contoh: Jika Anda ingin alur task dijadwalkan pada pukul 00.00 dan 12.00 setiap hari, konfigurasikan kebijakan penjadwalan dengan menetapkan parameter berikut:

Tetapkan Scheduling Type ke Cyclic scheduling.
Pilih Hour dari daftar drop-down Scheduling Cycle.
Pada bidang Timed Scheduling, pilih Specified Time. Pilih 0Hour dan 12Hour dari daftar drop-down Specified Time.

Konfigurasi variabel

Untuk alur task yang diaktifkan penjadwalan sikliknya, Anda dapat mengonfigurasi variabel waktu untuk pekerjaan yang ingin dieksekusi. Misalnya, Anda dapat mengonfigurasi variabel waktu bizdate untuk node tersebut. Variabel waktu ini menentukan hari sebelum waktu eksekusi task. Anda dapat mengikuti langkah-langkah berikut untuk mengonfigurasi variabel waktu:

Pada halaman alur task saat ini, klik dua kali node Lindorm Spark, atau klik node Lindorm Spark lalu klik ikon .
Di panel navigasi sisi kanan, klik Variable Setting.
Pada tab Node Variable atau Task Flow Variable, tambahkan variabel.
Pada bagian Job Configuration, gunakan variabel tersebut. Untuk informasi tentang variabel lainnya, lihat Variables.

Gunakan ${nama variabel} untuk mereferensikan variabel yang telah didefinisikan dalam parameter pekerjaan.

Kelola notifikasi

Jika Anda mengaktifkan fitur notifikasi untuk alur task Anda, sistem akan mengirimkan pesan notifikasi berdasarkan hasil eksekusi alur task. Anda dapat mengikuti langkah-langkah berikut untuk mengaktifkan fitur notifikasi:

Di pojok kiri bawah halaman alur task saat ini, klik Notification Configuration.
Aktifkan salah satu sakelar notifikasi berikut sesuai kebutuhan bisnis Anda:
- Notifikasi Dasar
  - Notifikasi Sukses: Sistem mengirimkan pesan notifikasi jika alur task berhasil dieksekusi.
  - Notifikasi Gagal: Sistem mengirimkan pesan notifikasi jika alur task gagal dieksekusi.
- Notifikasi Timeout: Sistem mengirimkan pesan notifikasi jika alur task mengalami timeout.
- Notifikasi Peringatan: Sistem mengirimkan pesan notifikasi saat task akan segera dimulai.
(Opsional): Konfigurasikan penerima pesan. Untuk informasi lebih lanjut tentang cara mengonfigurasi penerima pesan, lihat Notification management.

Eksekusi pernyataan SQL

Masuk ke DMS console V5.0.
Klik tab Home.
Di panel navigasi sisi kiri, klik ikon untuk membuat instans.
Pada kotak dialog Add Instance, pilih Lindorm_Compute pada bagian NoSQL Database.
Tentukan Instance Region, Instance ID, Database Account, dan Database password untuk instans tersebut, lalu klik Submit.
Pada kotak dialog yang muncul, klik Submit untuk membuka SQLConsole.
Pada tab SQLConsole, masukkan pernyataan SQL yang akan dieksekusi lalu klik Execute.

Referensi

Untuk informasi selengkapnya tentang fitur orkestrasi task DMS, lihat Overview.