AnalyticDB for MySQL menyediakan dua mode eksekusi Spark SQL: batch dan interaktif. Dalam setiap mode, Anda dapat membaca dan menulis database serta tabel AnalyticDB for MySQL menggunakan fitur metadata dari AnalyticDB for MySQL. Topik ini menjelaskan catatan penggunaan, skenario, fitur, dan metode startup untuk kedua mode eksekusi Spark SQL.
Mode eksekusi batch
Catatan penggunaan
Saat mengeksekusi pernyataan SQL dalam mode batch, Anda harus mengeksekusi pernyataan
USE <database_name>;terlebih dahulu untuk memilih database.Saat menentukan tabel dalam pernyataan SQL, gunakan format
database_name.table_name.Saat mengeksekusi pernyataan DML, DDL, atau DQL dalam mode batch, sistem akan mengembalikan pesan keberhasilan atau kegagalan eksekusi, tetapi tidak mengembalikan data. Hasil dari pernyataan SQL yang berhasil ditampilkan di log. Untuk informasi tentang cara melihat data yang dikembalikan oleh pernyataan SQL, lihat bagian "Lihat Informasi Aplikasi Spark" dalam topik editor Spark.
Skenario
Pernyataan SQL yang saling bergantung dieksekusi.
Isolasi sumber daya sangat diperlukan untuk pernyataan SQL.
Sejumlah besar data terlibat, seperti operasi extract-transform-load (ETL) yang dilakukan sekaligus.
Paket dependensi pihak ketiga yang kompleks harus diunggah dan mungkin diuji ulang serta diganti berulang kali.
Fitur
Pernyataan SQL yang diajukan dalam mode batch berjalan di aplikasi Spark individu untuk memastikan stabilitas.
Anda dapat mengeksekusi pernyataan SQL untuk mengonfigurasi parameter independen, seperti
SET spark.sql.adaptive.coalescePartitions.minPartitionSize = 2MB;.Jika pernyataan SELECT terkandung dalam pernyataan SQL yang dieksekusi dalam mode batch, hasil eksekusi sampel dari pernyataan SELECT ditampilkan di log.
Metode startup
Di tab SQLConsole, pilih mesin Spark dan grup sumber daya pekerjaan. Setelah memasukkan pernyataan SQL, klik Execute.
Mode eksekusi interaktif
Catatan penggunaan
Saat mengeksekusi pernyataan DDL atau DML dalam mode interaktif, sistem mengembalikan hingga 1.000 baris data hasil.
Saat mengeksekusi pernyataan DDL dalam mode interaktif, sistem mengembalikan pesan keberhasilan atau kegagalan eksekusi, tetapi tidak mengembalikan data. Sebagai contoh, jika Anda mengeksekusi pernyataan
CREATE TABLE, sistem mengembalikan pesan keberhasilan atau kegagalan eksekusi, tetapi tidak mengembalikan data tabel. Hal ini sesuai dengan SQL open source.Waktu tertentu diperlukan untuk memulai grup sumber daya interaktif Spark. Jika grup sumber daya interaktif Spark gagal dimulai, tunggu sejenak dan coba lagi.
Skenario
Operasi komputasi data yang tidak memerlukan semua data untuk dikembalikan dilakukan.
Sejumlah besar pernyataan DDL harus dieksekusi.
Pernyataan DQL harus dieksekusi segera setelah diserahkan. Eksekusi pernyataan DQL tidak memberlakukan persyaratan tinggi pada isolasi sumber daya dan mengizinkan isolasi sumber daya gagal.
Fitur
Sumber daya diisolasi pada tingkat thread. Jika beberapa pengguna mengeksekusi pernyataan SQL dalam aplikasi Spark yang sama, pernyataan SQL tersebut dapat saling mengintervensi.
Setelah mengonfigurasi pernyataan SQL, konfigurasi tingkat thread mulai berlaku.
Konfigurasi tingkat aplikasi hanya mulai berlaku setelah memulai ulang grup sumber daya interaktif Spark. Untuk memodifikasi konfigurasi tingkat aplikasi, hentikan grup sumber daya interaktif Spark, rekonfigurasikan parameter, lalu mulai ulang grup sumber daya interaktif Spark.
Metode startup
Di tab SQLConsole, pilih mesin Spark dan grup sumber daya interaktif Spark. Setelah memasukkan pernyataan SQL, klik Execute.