AnalyticDB:Editor Spark

Prasyarat

Sebelum memulai, pastikan Anda telah memiliki:

• Kluster AnalyticDB for MySQL edisi Data LakehouseData Lakehouse Edition

• Kelompok sumber daya job yang telah dibuat untuk kluster tersebut. Lihat Data Lakehouse EditionBuat kelompok sumber daya

• Izin yang diperlukan telah diberikan kepada Pengguna Resource Access Management (RAM) Anda. Lihat bagian "Berikan izin kepada pengguna RAM" dalam Kelola pengguna dan izin RAM

• Akun database untuk kluster tersebut:

  • Akun Alibaba Cloud: akun istimewa. Lihat bagian "Buat akun istimewa" dalam Buat akun database

  • Pengguna RAM: akun istimewa dan akun standar, dengan akun standar dikaitkan ke pengguna RAM tersebut. Lihat Buat akun database dan Kaitkan atau putuskan kaitan akun database dengan atau dari pengguna RAM

• AnalyticDB for MySQL telah diberi otorisasi untuk mengasumsikan role AliyunADBSparkProcessingDataRole. Lihat Lakukan otorisasi

• Jalur penyimpanan log yang telah dikonfigurasi untuk aplikasi Spark

Untuk mengonfigurasi jalur penyimpanan log: Masuk ke Konsol AnalyticDB for MySQL. Temukan kluster tersebut dan klik ID klusternya. Di panel navigasi sebelah kiri, pilih Job Development > Spark JAR Development, lalu klik Log Settings. Pilih jalur default atau masukkan jalur kustom. Jalur kustom tidak boleh merupakan direktori root OSS—harus mencakup setidaknya satu level folder.

Buat dan jalankan aplikasi Spark

1. Masuk ke Konsol AnalyticDB for MySQL. Di pojok kiri atas, pilih wilayah. Di panel navigasi sebelah kiri, klik ClustersData Lakehouse Edition. Pada tab Data Lakehouse Edition, temukan kluster tersebut dan klik ID klusternya.

2. Di panel navigasi sebelah kiri, pilih Job Development > Spark JAR Development.

3. Pada halaman Spark JAR Development, klik ikon di sebelah kanan Applications.

4. Pada panel Create Application, konfigurasikan parameter berikut.

   Parameter	Deskripsi
   Name	Nama aplikasi atau direktori. Nama file tidak peka huruf besar/kecil.
   Type	Application: membuat templat Spark berbasis file. Directory: membuat folder untuk mengelompokkan aplikasi.
   Parent Level	Direktori induk untuk file atau folder tersebut.
   Job Type	Jenis job Spark: Batch untuk pemrosesan batch, Streaming untuk aplikasi streaming, atau SQL Engine untuk beban kerja mesin SQL terdistribusi Spark.

5. Klik OK.

6. Di editor Spark, konfigurasikan aplikasi tersebut. Lihat Ikhtisar untuk detail konfigurasi.

7. Sebelum menjalankan aplikasi, pilih kelompok sumber daya job dan jenis aplikasi di editor. Lalu pilih salah satu tindakan berikut:

   • Klik Save untuk menyimpan aplikasi guna digunakan nanti.

   • Klik Run Now untuk menjalankan aplikasi segera. Statusnya akan diperbarui secara real time pada tab Applications.

   Catatan

   Secara default, tidak ada upaya ulang setelah kegagalan. Untuk mengonfigurasi perilaku upaya ulang, atur parameter spark.adb.maxAttempts dan spark.adb.attemptFailuresValidityInterval sebelum menjalankan. Lihat Parameter konfigurasi aplikasi Spark untuk detail selengkapnya.

Monitor aplikasi Spark

Pada tab Applications, cari aplikasi berdasarkan ID aplikasi. Gunakan tindakan berikut di kolom Actions sesuai kebutuhan investigasi Anda.

Untuk melihat riwayat upaya ulang semua aplikasi, klik tab Execution History.