AnalyticDB:Editor Spark

Ikhtisar

• Buat dan jalankan aplikasi Spark batch atau streaming.

• Lihat log driver dan informasi pengiriman untuk aplikasi Spark Anda.

• Lihat log eksekusi pernyataan SQL.

Prasyarat

• Kluster Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse AnalyticDB for MySQL telah dibuat.

• Kelompok sumber daya pekerjaan telah dibuat untuk kluster Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse AnalyticDB for MySQL.

• Anda telah memberikan izin yang diperlukan kepada pengguna RAM. Untuk informasi selengkapnya, lihat Memberi otorisasi kepada pengguna RAM.

• Akun database telah dibuat untuk kluster AnalyticDB for MySQL.

  • Jika Anda menggunakan akun Alibaba Cloud, Anda hanya perlu membuat akun istimewa.

  • Jika Anda menggunakan pengguna Resource Access Management (RAM), Anda harus membuat akun istimewa dan akun standar serta mengaitkan akun standar tersebut dengan pengguna RAM.

• AnalyticDB for MySQL telah diberi otorisasi untuk mengasumsikan role AliyunADBSparkProcessingDataRole guna mengakses sumber daya cloud lainnya.

• Jalur penyimpanan log untuk aplikasi Spark telah dikonfigurasi.

  Catatan

  Login ke konsol AnalyticDB for MySQL. Temukan kluster yang ingin Anda kelola dan klik ID kluster tersebut. Di panel navigasi sebelah kiri, pilih Job Development > Spark JAR Development. Klik Log Settings. Pada kotak dialog yang muncul, pilih jalur default atau tentukan jalur penyimpanan kustom. Anda tidak boleh menetapkan jalur penyimpanan kustom ke direktori root OSS. Pastikan jalur penyimpanan kustom tersebut berisi setidaknya satu lapis folder.

Membuat dan menjalankan aplikasi Spark

1. Login ke konsol AnalyticDB for MySQL. Di pojok kiri atas konsol, pilih wilayah. Di panel navigasi sebelah kiri, klik Clusters. Temukan kluster yang ingin Anda kelola dan klik ID kluster tersebut.

2. Di panel navigasi sebelah kiri, klik Job Development > Spark JAR Development.

3. Pada halaman Spark JAR Development, klik ikon di sebelah kanan Applications.

4. Pada panel Create Application, atur parameter berikut.

   Parameter	Deskripsi
   Name	Nama aplikasi atau folder. Nama aplikasi dan folder tidak membedakan huruf besar/kecil.
   Type	Application: Membuat file. Directory: Membuat folder.
   Parent Level	Folder induk dari file atau folder tersebut.
   Job type	Batch: Aplikasi batch. Streaming: Aplikasi streaming. SQL Engine: Mesin SQL terdistribusi Spark.

5. Setelah mengonfigurasi parameter, klik OK untuk membuat templat aplikasi.

6. Setelah membuat templat aplikasi, Anda dapat mengonfigurasi aplikasi Spark di editor Spark. Untuk informasi selengkapnya, lihat Pengembangan aplikasi Spark.

7. Setelah mengonfigurasi aplikasi Spark, Anda dapat melakukan operasi berikut:

• Klik Save untuk menyimpan aplikasi Spark guna digunakan di masa mendatang.

• Klik Immediately untuk menjalankan aplikasi Spark. Tab Applications menampilkan status eksekusi secara real-time.

Catatan

Sebelum menjalankan aplikasi Spark, pilih kelompok sumber daya pekerjaan dan jenis aplikasi terlebih dahulu.

Menampilkan informasi aplikasi Spark

1. Pada tab Applications, temukan aplikasi berdasarkan Application ID-nya dan lakukan salah satu operasi berikut:

   • Log: Lihat log driver untuk aplikasi Spark atau log eksekusi pernyataan SQL.

   • UI: Buka Spark web UI aplikasi tersebut. Akses bersifat temporary, dan jika sesi kedaluwarsa, buka kembali UI tersebut.

   • Details: Lihat informasi pengiriman aplikasi, seperti jalur log, URL web UI, ID kluster, dan nama kelompok sumber daya.

   • Stop: Hentikan aplikasi yang sedang berjalan.

   • History: Lihat riwayat percobaan ulang aplikasi tersebut.

2. Pada tab Tuning History, lihat riwayat percobaan ulang untuk semua aplikasi.

   Catatan

   Secara default, aplikasi yang gagal tidak akan dicoba ulang secara otomatis. Untuk mengaktifkan percobaan ulang, konfigurasikan parameter percobaan ulang (spark.adb.maxAttempts dan spark.adb.attemptFailuresValidityInterval). Untuk informasi selengkapnya, lihat Parameter konfigurasi aplikasi Spark.