AnalyticDB：Editor Spark

Ikhtisar

• Gunakan editor Spark untuk membuat dan menjalankan aplikasi Spark batch atau streaming.

• Lihat log driver dan detail pengiriman dari aplikasi Spark yang sedang berjalan.

• Lihat log eksekusi pernyataan SQL.

Prasyarat

• Kluster Enterprise Edition, Basic Edition, atau Data Lakehouse Edition dari AnalyticDB for MySQL telah dibuat.

• Grup sumber daya tugas telah dibuat untuk kluster AnalyticDB for MySQL Enterprise Edition, Basic Edition, atau Data Lakehouse Edition.

• Pengguna Resource Access Management (RAM) diberikan izin yang diperlukan. Untuk informasi lebih lanjut, lihat bagian "Memberikan izin kepada pengguna RAM" dalam topik Mengelola pengguna dan izin RAM.

• Akun database telah dibuat untuk kluster AnalyticDB for MySQL.

  • Jika Anda menggunakan akun Alibaba Cloud, cukup buat akun istimewa.

  • Jika Anda menggunakan pengguna Resource Access Management (RAM), Anda harus membuat akun istimewa dan akun standar, serta mengaitkan akun standar dengan pengguna RAM.

• AnalyticDB for MySQL diberi otorisasi untuk mengambil peran AliyunADBSparkProcessingDataRole guna mengakses sumber daya cloud lainnya.

• Path penyimpanan log aplikasi Spark telah dikonfigurasi.

  Catatan

  Masuk ke konsol AnalyticDB for MySQL. Temukan kluster yang ingin Anda kelola dan klik ID kluster. Di panel navigasi sebelah kiri, pilih Job Development > Spark JAR Development. Klik Log Settings. Di kotak dialog yang muncul, pilih jalur default atau tentukan jalur penyimpanan kustom. Jalur penyimpanan kustom tidak dapat ditetapkan ke direktori root dari OSS. Pastikan bahwa jalur penyimpanan kustom memiliki setidaknya satu lapis folder.

Membuat dan menjalankan aplikasi Spark

1. Masuk ke konsol AnalyticDB for MySQL. Pilih wilayah di pojok kiri atas konsol. Di panel navigasi sebelah kiri, klik Clusters. Temukan kluster yang ingin Anda kelola dan klik ID kluster.

2. Di panel navigasi sebelah kiri, pilih Job Development > Spark JAR Development.

3. Pada halaman Spark JAR Development, klik ikon di sebelah kanan Applications.

4. Di panel Create Application, konfigurasikan parameter sesuai tabel berikut.

   Parameter	Deskripsi
   Name	Nama aplikasi atau direktori. Nama file tidak peka huruf besar/kecil.
   Type	Jika Anda memilih Application dari daftar drop-down Type, templatnya dalam format file. Jika Anda memilih Directory dari daftar drop-down Type, templatnya dalam format folder.
   Parent Level	Direktori induk dari file atau folder.
   Job Type	Batch: aplikasi batch. Streaming: aplikasi streaming. SQL Engine: mesin SQL terdistribusi Spark.

5. Klik OK.

6. Setelah membuat templat Spark, konfigurasikan aplikasi Spark di editor Spark. Untuk informasi lebih lanjut, lihat Ikhtisar.

7. Setelah mengonfigurasi aplikasi Spark, lakukan operasi berikut:

• Klik Save untuk menyimpan aplikasi Spark agar dapat digunakan kembali.

• Klik Run Now untuk menjalankan aplikasi Spark. Status aplikasi Spark akan ditampilkan secara real-time pada tab Applications.

Catatan

Sebelum menjalankan aplikasi Spark, Anda harus memilih grup sumber daya tugas dan tipe aplikasi.

Melihat informasi tentang aplikasi Spark

1. Pada tab Applications, cari aplikasi berdasarkan application ID dan lakukan operasi berikut untuk melihat informasi terkait aplikasi Spark:

   • Klik Logs di kolom Actions untuk melihat log driver aplikasi Spark saat ini atau log eksekusi pernyataan SQL.

   • Klik UI di kolom Actions untuk masuk ke UI Spark yang sesuai. Akses ke UI memiliki periode validitas. Jika periode validitas berakhir, Anda harus mengakses ulang UI.

   • Klik Details di kolom Actions untuk melihat detail pengiriman aplikasi saat ini, seperti jalur log, URL web UI, ID kluster, dan nama grup sumber daya.

   • Pilih More > Stop di kolom Actions untuk menghentikan aplikasi saat ini.

   • Pilih More > History di kolom Actions untuk melihat riwayat percobaan ulang aplikasi saat ini.

2. Pada tab Execution History, lihat riwayat percobaan ulang semua aplikasi.

   Catatan

   Secara default, tidak ada percobaan ulang yang dilakukan setelah aplikasi gagal. Untuk melakukan percobaan ulang, konfigurasikan parameter spark.adb.maxAttempts dan spark.adb.attemptFailuresValidityInterval. Untuk informasi lebih lanjut, lihat Parameter Konfigurasi Aplikasi Spark.