Fitur diagnostik kinerja aplikasi Spark membantu Anda mengidentifikasi dan menganalisis hambatan kinerja secara cepat guna meningkatkan efisiensi troubleshooting. Topik ini menjelaskan cara mendiagnosis kinerja aplikasi Spark serta menyediakan contoh diagnostik.
Prasyarat
-
Anda telah membuat kluster AnalyticDB for MySQL Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse. Untuk informasi selengkapnya, lihat Create a cluster.
-
Anda telah membuat kelompok sumber daya khusus pekerjaan dengan minimal 8 ACU sumber daya komputasi yang dipesan. Untuk informasi selengkapnya, lihat Create and manage resource groups.
-
Anda telah memberikan izin AliyunADBDeveloperAccess kepada RAM user. Untuk informasi selengkapnya, lihat RAM users and permissions.
Akun database telah dibuat untuk kluster AnalyticDB for MySQL Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse.
AnalyticDB for MySQL telah diberi otorisasi untuk assume the AliyunADBSparkProcessingDataRole role to access other cloud resources.
Kasus penggunaan
Gunakan fitur diagnostik kinerja Spark dalam skenario berikut:
-
Analisis kinerja set data: Saat memproses set data besar dengan Spark, alat diagnostik kinerja dapat membantu Anda mengidentifikasi hambatan secara cepat, seperti penggunaan memori puncak dan spill, guna meningkatkan efisiensi pemrosesan data.
-
Pemerataan beban untuk aplikasi skala besar: Aplikasi Spark yang berjalan di bawah beban kerja konkurensi tinggi dapat mengalami masalah kinerja seperti kesenjangan data, tugas long-tail, dan beban tidak seimbang. Fitur diagnostik kinerja membantu Anda mengidentifikasi masalah tersebut secara cepat dan mengoptimalkan aplikasi Anda.
Batasan
-
Anda hanya dapat mendiagnosis aplikasi Spark yang telah berhasil berjalan dalam 14 hari terakhir.
-
Hanya aplikasi Batch dan streaming yang dapat didiagnosis.
Prosedur
Masuk ke Konsol AnalyticDB for MySQL. Di pojok kiri atas konsol, pilih wilayah. Di panel navigasi sebelah kiri, klik Clusters. Temukan kluster yang ingin Anda kelola lalu klik ID kluster tersebut.
-
Di panel navigasi sebelah kiri, pilih Job Development>Spark JAR Development.
-
Di bagian Applications, temukan aplikasi target, lalu pada kolom Actions, pilih More > History.
-
Di bagian Execution History, temukan tugas target lalu klik Diagnose pada kolom Actions.
CatatanSetelah diagnosis selesai, panel Diagnostic Optimization Details akan terbuka secara otomatis. Jika aplikasi Spark Anda memiliki masalah kinerja, Anda dapat mengoptimalkannya berdasarkan informasi diagnostik yang diberikan.