AnalyticDB：Gunakan spark-submit untuk mengembangkan aplikasi Spark

Prasyarat

• Kluster Enterprise Edition, Basic Edition, atau Data Lakehouse Edition AnalyticDB for MySQL telah dibuat.

• Grup sumber daya tugas telah dibuat.

• Bucket Object Storage Service (OSS) telah dibuat di wilayah yang sama dengan kluster AnalyticDB for MySQL.

• Java Development Kit (JDK) 1.8 atau versi lebih baru telah diinstal.

Catatan penggunaan

Saat menggunakan alat baris perintah spark-submit untuk mengembangkan tugas, Anda hanya dapat mengirimkan aplikasi Spark JAR. Aplikasi Spark SQL tidak didukung.

Unduh dan instal alat baris perintah spark-submit

1. Jalankan perintah berikut untuk mengunduh paket instalasi alat baris perintah spark-submit bernama adb-spark-toolkit-submit-0.0.1.tar.gz:

   wget https://dla003.oss-cn-hangzhou.aliyuncs.com/adb-spark-toolkit-submit-0.0.1.tar.gz

2. Jalankan perintah berikut untuk mengekstrak paket instalasi dan menginstal alat baris perintah spark-submit:

   tar zxvf adb-spark-toolkit-submit-0.0.1.tar.gz

Parameter konfigurasi aplikasi Spark

Setelah mengekstrak paket instalasi alat baris perintah spark-submit, masuk ke direktori adb-spark-toolkit-submit/conf dan jalankan perintah vim spark-defaults.conf untuk memodifikasi parameter konfigurasi dalam file spark-defaults.conf. Skrip spark-submit secara otomatis membaca file konfigurasi. Parameter konfigurasi berlaku untuk semua aplikasi Spark.

Tabel berikut menjelaskan parameter konfigurasi aplikasi Spark.

Kirimkan aplikasi Spark

1. Unggah paket JAR yang diperlukan untuk aplikasi Spark ke OSS. Untuk informasi lebih lanjut, lihat Unggah Sederhana.

2. Jalankan perintah berikut untuk masuk ke direktori alat baris perintah spark-submit:

   cd adb-spark-toolkit-submit

3. Kirimkan aplikasi Spark dalam format berikut:

   ./bin/spark-submit  \
   --class com.aliyun.spark.oss.SparkReadOss \
   --verbose \
   --name Job1 \
   --jars oss://testBucketname/jars/test.jar,oss://testBucketname/jars/search.jar\
   --conf spark.driver.resourceSpec=medium \
   --conf spark.executor.instances=1 \
   --conf spark.executor.resourceSpec=medium \
   oss://testBucketname/jars/test1.jar args0 args1

   Catatan

   Setelah mengirimkan aplikasi Spark, salah satu kode balasan berikut akan dikembalikan:

   • 255: Aplikasi gagal dijalankan.

   • 0: Aplikasi berhasil dijalankan.

   • 143: Aplikasi dihentikan.

   Tabel berikut menjelaskan parameter.

   Parameter	Deskripsi
   --class	Kelas entri aplikasi Java atau Scala. Kelas entri tidak diperlukan untuk aplikasi Python.
   --verbose	Menampilkan log yang dihasilkan saat Anda mengirimkan aplikasi Spark.
   --name	Nama aplikasi Spark.
   --jars	Jalur absolut paket JAR yang diperlukan untuk aplikasi Spark. Pisahkan beberapa jalur dengan koma (,). Jika Anda menentukan jalur lokal, perhatikan hal-hal berikut: Pengguna RAM yang Anda gunakan harus memiliki izin AliyunOSSFullAccess. Pastikan parameter ossUploadPath dikonfigurasi dalam file conf/spark-defaults.conf untuk menentukan jalur OSS tempat Anda ingin mengunggah paket JAR lokal. Saat paket JAR lokal sedang diunggah, sistem memverifikasi paket berdasarkan nilai hash yang dihasilkan menggunakan algoritma Message Digest 5 (MD5). Jika paket JAR dengan nama dan nilai MD5 yang sama sudah ada di jalur OSS yang ditentukan, unggahan dibatalkan. Jika Anda memperbarui paket JAR secara manual di jalur OSS, Anda harus menghapus file MD5 yang sesuai dari paket tersebut.
   --conf	Parameter konfigurasi aplikasi Spark. Parameter konfigurasi aplikasi Spark sangat mirip dengan alat baris perintah spark-submit open source. Untuk informasi tentang parameter konfigurasi yang berbeda dari alat baris perintah spark-submit open source dan spesifik untuk alat baris perintah spark-submit AnalyticDB for MySQL, lihat bagian "Perbedaan antara spark-submit AnalyticDB for MySQL dan spark-submit open source" dari topik ini. Catatan Tentukan beberapa parameter dalam format berikut: --conf key1=value1 --conf key2=value2.
   oss://testBucketname/jars/test1.jar args0 args1	Jalur absolut file utama aplikasi Spark. File utama bisa berupa paket JAR yang berisi kelas entri atau file yang dapat dieksekusi yang berfungsi sebagai titik masuk untuk Python. Catatan Anda harus menyimpan file utama aplikasi Spark di OSS.
   args	Argumen yang diperlukan untuk paket JAR. Pisahkan beberapa argumen dengan spasi.

Permintaan daftar aplikasi Spark

./bin/spark-submit --list --clusterId <cluster_Id>  --rgName <ResourceGroup_name> --pagenumber 1 --pagesize 3

Parameter:

• cluster_Id: ID kluster AnalyticDB for MySQL.

• ResourceGroup_name: Nama grup sumber daya tugas yang digunakan untuk menjalankan aplikasi Spark.

Permintaan status aplikasi Spark

./bin/spark-submit --status <appId>

Anda dapat memperoleh appId aplikasi dari informasi tentang aplikasi Spark. Untuk informasi lebih lanjut, lihat bagian "Permintaan Daftar Aplikasi Spark" dari topik ini.

Permintaan parameter pengiriman dan URL UI Spark dari aplikasi Spark

./bin/spark-submit --detail <appId>

Anda dapat memperoleh appId aplikasi dari informasi tentang aplikasi Spark. Untuk informasi lebih lanjut, lihat bagian "Permintaan Daftar Aplikasi Spark" dari topik ini.

Parameter Spark WEB UI dalam keluaran perintah menunjukkan URL UI Spark.

Permintaan log aplikasi Spark

./bin/spark-submit --get-log <appId>

Anda dapat memperoleh appId aplikasi dari informasi tentang aplikasi Spark. Untuk informasi lebih lanjut, lihat bagian "Permintaan Daftar Aplikasi Spark" dari topik ini.

Hentikan aplikasi Spark

./bin/spark-submit --kill <appId>

Anda dapat memperoleh appId aplikasi dari informasi tentang aplikasi Spark. Untuk informasi lebih lanjut, lihat bagian "Permintaan Daftar Aplikasi Spark" dari topik ini.

Perbedaan antara AnalyticDB for MySQL spark-submit dan spark-submit open source

Parameter spesifik untuk AnalyticDB for MySQL spark-submit

--list 
--pagenumber 1 
--pagesize 5

Parameter spesifik untuk spark-submit open source

Alat baris perintah spark-submit AnalyticDB for MySQL tidak mendukung parameter konfigurasi spesifik dari alat baris perintah spark-submit open source. Untuk informasi lebih lanjut, lihat bagian "Parameter konfigurasi yang tidak didukung oleh AnalyticDB for MySQL" dari topik Parameter Konfigurasi Aplikasi Spark.