AnalyticDB for MySQL Data Lakehouse Edition (V3.0) menyediakan fitur diagnostik kinerja aplikasi Spark. Jika aplikasi Spark Anda mengalami masalah kinerja, Anda dapat menggunakan informasi diagnostik untuk dengan cepat mengidentifikasi dan menganalisis hambatan kinerja, mengoptimalkan aplikasi Spark, serta meningkatkan efisiensi pemecahan masalah. Topik ini menjelaskan cara melakukan diagnostik kinerja aplikasi Spark.
Prasyarat
Sebuah kluster AnalyticDB for MySQL Data Lakehouse Edition (V3.0) telah dibuat. Untuk informasi lebih lanjut, lihat Buat Kluster.
Grup sumber daya pekerjaan dengan setidaknya 8 unit komputasi AnalyticDB (ACU) dari sumber daya komputasi cadangan telah dibuat. Untuk informasi lebih lanjut, lihat Buat Grup Sumber Daya.
Pengguna Resource Access Management (RAM) diberikan izin AliyunADBDeveloperAccess. Untuk informasi lebih lanjut, lihat Kelola Pengguna RAM dan Izin.
Akun database telah dibuat untuk kluster Enterprise Edition, Basic Edition, atau Data Lakehouse Edition AnalyticDB for MySQL.
AnalyticDB for MySQL diberi otorisasi untuk mengambil peran AliyunADBSparkProcessingDataRole untuk mengakses sumber daya cloud lainnya.
Skenario
Fitur diagnostik kinerja aplikasi Spark cocok untuk skenario berikut:
Analisis kinerja dataset: Anda ingin menganalisis kinerja dataset saat menggunakan Spark untuk memproses sejumlah besar data. Fitur ini membantu Anda dengan cepat mengidentifikasi hambatan kinerja, seperti lonjakan memori dan tumpahan, untuk meningkatkan efisiensi pemrosesan data.
Penyeimbangan beban pada banyak aplikasi: Beban dengan konkurensi tinggi dapat menyebabkan masalah kinerja untuk aplikasi Spark, seperti skew data, ekor panjang, dan ketidakseimbangan beban. Fitur ini membantu Anda dengan cepat mengidentifikasi masalah dan mengoptimalkan aplikasi Spark.
Batasan
Hanya aplikasi Spark yang berhasil dijalankan dalam 14 hari terakhir yang dapat didiagnosis.
Hanya aplikasi batch dan streaming yang dapat didiagnosis.
Prosedur
Masuk ke Konsol AnalyticDB for MySQL. Di pojok kiri atas konsol, pilih wilayah. Di panel navigasi di sebelah kiri, klik Clusters. Temukan kluster yang ingin Anda kelola dan klik ID kluster.
Di panel navigasi di sebelah kiri, pilih Job Development > Spark JAR Development.
Di bagian Applications, temukan aplikasi yang ingin Anda diagnosis dan pilih More > History di kolom Tindakan.
Di bagian Execution History, temukan pekerjaan yang ingin Anda diagnosis dan klik Diagnose di kolom Tindakan.
CatatanSetelah operasi diagnosis selesai, panel Diagnostic Optimization Details akan muncul. Jika aplikasi Spark Anda memiliki masalah kinerja, Anda dapat mengoptimalkan aplikasi Spark berdasarkan informasi diagnosis.