AnalyticDB for MySQL mendukung eksekusi Spark SQL dalam dua mode: batch dan interaktif. Kedua mode ini terhubung langsung ke layanan metadata AnalyticDB for MySQL, sehingga Anda dapat membaca dari dan menulis ke database serta tabel AnalyticDB for MySQL. Topik ini menjelaskan catatan penggunaan, kasus penggunaan, fitur, dan prosedur startup untuk kedua mode eksekusi tersebut.
Eksekusi batch
Catatan penggunaan
-
Saat mengeksekusi SQL dalam mode batch, mulailah dengan pernyataan
USE <database_name>;untuk memilih database. -
Saat menentukan tabel dalam pernyataan SQL, gunakan format
database_name.table_name. -
Saat menjalankan pernyataan DML, DDL, atau DQL dalam mode batch, sistem hanya mengembalikan status sukses atau gagal, bukan data. Eksekusi yang berhasil akan mencetak contoh hasilnya ke log. Untuk melihat data yang dikembalikan oleh pernyataan SQL, lihat Lihat informasi aplikasi Spark.
Kasus penggunaan
-
Mengeksekusi beberapa pernyataan SQL yang saling bergantung.
-
Memberlakukan isolasi resource yang ketat untuk pernyataan SQL.
-
Memproses data skala besar, seperti menjalankan pekerjaan ETL satu kali menggunakan SQL.
-
Mengunggah dan melakukan iterasi terhadap paket dependensi pihak ketiga yang kompleks.
Fitur
-
SQL yang dikirimkan dalam mode batch dijalankan dalam aplikasi Spark khusus, sehingga menjamin stabilitas.
-
Mendukung setelan konfigurasi independen yang ditentukan dalam pernyataan SQL, seperti
SET spark.sql.adaptive.coalescePartitions.minPartitionSize = 2MB;. -
Jika pernyataan SQL batch berisi pernyataan SELECT, sistem akan mencetak contoh hasilnya ke log.
Metode startup
Di SQL Console, pilih kelompok sumber daya pekerjaan dan engine Spark, masukkan pernyataan SQL Anda, lalu klik Run Now.
Eksekusi interaktif
Catatan penggunaan
-
Dalam mode interaktif, pernyataan DML mengembalikan maksimal 1.000 baris.
-
Pernyataan DDL yang dieksekusi dalam mode interaktif, seperti
CREATE TABLE, hanya mengembalikan status sukses atau gagal, bukan data dari tabel. Perilaku ini konsisten dengan konvensi open-source. -
Kelompok sumber daya interaktif Spark memerlukan waktu untuk memulai. Jika proses startup gagal, tunggu beberapa saat lalu coba lagi.
Kasus penggunaan
-
Menjalankan kueri ad hoc yang tidak memerlukan set hasil lengkap.
-
Mengeksekusi sejumlah besar pernyataan DDL.
-
Untuk mengeksekusi pernyataan DQL secara langsung di lingkungan yang mengizinkan isolasi sumber daya dan kegagalan sesekali.
Fitur
-
Isolasi resource bersifat tingkat thread. Beberapa pengguna yang mengeksekusi SQL dalam aplikasi Spark yang sama dapat saling mengganggu.
-
Anda dapat menerapkan setelan konfigurasi tingkat thread dengan menggunakan pernyataan SQL.
-
Setelan konfigurasi tingkat aplikasi hanya berlaku setelah Anda me-restart kelompok sumber daya interaktif Spark. Untuk mengubah setelan tingkat aplikasi, Anda harus terlebih dahulu menghentikan kelompok sumber daya interaktif Spark, mengonfigurasi parameter, lalu me-restart kelompok sumber daya interaktif Spark.
Metode startup
Di SQL Console, pilih kelompok sumber daya interaktif Spark dan engine Spark, masukkan pernyataan SQL Anda, lalu klik Run Now.