AnalyticDB for MySQL Edisi Perusahaan, Edisi Dasar, dan Edisi Data Lakehouse (V3.0) menyediakan fitur diagnostik aplikasi Spark. Jika aplikasi Spark yang Anda kirimkan mengalami masalah kinerja, Anda dapat menggunakan informasi diagnostik untuk dengan cepat mengidentifikasi dan menganalisis hambatan kinerja, mengoptimalkan aplikasi Spark, serta meningkatkan efisiensi penyelesaian masalah. Topik ini menjelaskan cara mendiagnosis kinerja aplikasi Spark beserta contohnya.
Prasyarat
-
Anda telah membuat kluster AnalyticDB for MySQL Edisi Data Lakehouse (V3.0). Untuk informasi selengkapnya, lihat Create a cluster.
-
Anda telah membuat kelompok sumber daya job dengan minimal 8 ACU sumber daya komputasi yang dipesan. Untuk informasi selengkapnya, lihat Create and manage resource groups.
-
Anda telah memberikan izin AliyunADBDeveloperAccess kepada Pengguna Resource Access Management (RAM). Untuk informasi selengkapnya, lihat RAM users and permissions.
Akun database telah dibuat untuk kluster AnalyticDB for MySQL Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse.
AnalyticDB for MySQL telah diberi otorisasi untuk assume the AliyunADBSparkProcessingDataRole role to access other cloud resources.
Kasus penggunaan
Fitur ini terutama digunakan dalam skenario berikut:
-
Analisis kinerja set data: Saat memproses data berskala besar dengan Spark, analisis kinerja sangat penting. Alat diagnostik membantu Anda dengan cepat mengidentifikasi hambatan kinerja, seperti lonjakan memori dan disk spill, guna meningkatkan efisiensi pemrosesan data.
-
Pemerataan beban untuk aplikasi berskala besar: Saat aplikasi Spark berjalan di bawah beban kerja konkurensi tinggi, masalah kinerja seperti kesenjangan data, tugas long-tail, dan ketidakseimbangan beban dapat terjadi. Diagnosis aplikasi membantu Anda dengan cepat mengidentifikasi masalah tersebut sehingga Anda dapat mengoptimalkan aplikasi.
Batasan
-
Anda hanya dapat mendiagnosis aplikasi Spark yang berhasil diselesaikan dalam 14 hari terakhir.
-
Hanya aplikasi Batch dan streaming yang didukung.
Prosedur
Masuk ke Konsol AnalyticDB for MySQL. Di sudut kiri atas konsol, pilih Wilayah. Pada panel navigasi sebelah kiri, klik Clusters, lalu temukan kluster yang ingin Anda kelola dan klik ID-nya.
-
Di panel navigasi sebelah kiri, pilih Job Development>Spark JAR Development.
-
Di bagian Workspaces, temukan aplikasi target lalu pilih More > History di kolom Actions.
-
Di bagian Tuning History, temukan tugas target lalu klik Diagnose di kolom Actions.
CatatanSetelah diagnosis selesai, panel Diagnostic Optimization Details akan terbuka secara otomatis. Jika aplikasi memiliki masalah kinerja, gunakan informasi dalam panel ini untuk mengoptimalkannya.