DataWorks：Node ADB Spark SQL

Latar Belakang

AnalyticDB for MySQL Serverless Spark adalah layanan analitik dan komputasi big data terkelola yang dibangun di atas Apache Spark. Layanan ini mendukung pengiriman pernyataan Spark SQL langsung di konsol AnalyticDB for MySQL, sehingga menyederhanakan analisis data dengan Spark bagi pengembang data. Setelah Anda mengikat AnalyticDB for MySQL Serverless Spark sebagai resource komputasi di DataWorks, Anda dapat menggunakan node ADB Spark SQL untuk mengembangkan dan menjalankan tugas Spark SQL. Untuk informasi selengkapnya, lihat Ikhtisar.

Prasyarat

Prasyarat AnalyticDB for MySQL:

• Anda telah membuat kluster AnalyticDB for MySQLEdisi Dasar di region yang sama dengan workspace Anda. Untuk informasi selengkapnya, lihat Buat kluster.

• Anda telah membuat interactive resource group di kluster AnalyticDB for MySQL dengan tipe engine-nya diatur ke Spark untuk menjalankan tugas Spark SQL di DataWorks. Untuk informasi selengkapnya, lihat Buat interactive resource group.

• Jika Anda berencana menggunakan Object Storage Service (OSS) dalam node ADB Spark SQL, pastikan bucket OSS dan kluster berada di region yang sama.

Prasyarat DataWorks:

• Anda memiliki workspace dengan resource group yang telah diikat.

• Kelompok sumber daya diikat ke Virtual Private Cloud (VPC) yang sama dengan kluster AnalyticDB for MySQL. Alamat IP kelompok sumber daya telah ditambahkan ke daftar putih kluster AnalyticDB for MySQL. Untuk informasi selengkapnya, lihat Mengonfigurasi daftar putih.

• Anda telah menambahkan instans kluster AnalyticDB for MySQL ke DataWorks sebagai compute resource AnalyticDB for Spark dan telah menguji konektivitas melalui resource group. Untuk informasi selengkapnya, lihat Kaitkan resource komputasi.

• Anda telah membuat ADB Spark SQL node. Untuk informasi selengkapnya, lihat Buat node untuk alur kerja terjadwal.

Langkah 1: Kembangkan node ADB Spark SQL

1. Buat database eksternal.

   Kembangkan kode SQL di editor node ADB Spark SQL. Contoh berikut membuat database eksternal. Untuk membuat tabel terkelola, lihat Gunakan Spark SQL untuk membuat tabel internal.

   CREATE DATABASE IF NOT EXISTS `adb_spark_db` location 'oss://dw-1127/db_home';

2. Kembangkan tugas.

   Kembangkan kode tugas di editor SQL. Anda dapat mendefinisikan variabel dalam format ${variable_name} dan memberikan nilai pada bagian scheduling parameters di tab Properties. Hal ini memungkinkan pengiriman parameter dinamis untuk pekerjaan terjadwal. Untuk informasi selengkapnya tentang scheduling parameters, lihat Sumber dan ekspresi parameter penjadwalan. Berikut contohnya:

   CREATE TABLE IF NOT EXISTS adb_spark_db.tb_order_${var}(id int, name string, age int) 
   USING parquet 
   location 'oss://dw-1127/db_home/tb1' 
   tblproperties ('parquet.compress'='SNAPPY');
   
   CREATE TABLE IF NOT EXISTS adb_spark_db.tb_order_result_${var}(id int, name string, age int) 
   USING parquet 
   location 'oss://dw-1127/db_home/tb2' 
   tblproperties ('parquet.compress'='SNAPPY');
   
   INSERT INTO adb_spark_db.tb_order_result_${var} SELECT * FROM adb_spark_db.tb_order_${var};

   Catatan

   Dalam contoh ini, Anda dapat mengatur variabel ${var} menjadi $[yyyymmdd] untuk pemrosesan data inkremental harian.

Langkah 2: Debug node ADB Spark SQL

1. Konfigurasikan properti debug untuk node ADB Spark SQL.

   Di tab Properties pada panel kanan, konfigurasikan parameter seperti Compute Engine, ADB Compute Resource Group, Resource Group, dan Compute CUs. Untuk informasi selengkapnya, lihat tabel berikut.

   Jenis parameter	Parameter	Deskripsi
   Compute resource	Compute engine	Pilih compute resource AnalyticDB for Spark yang telah Anda ikat.
   	ADB Compute Resource Group	Pilih interactive resource group yang telah Anda buat di kluster AnalyticDB for MySQL. Untuk informasi selengkapnya, lihat Buat dan kelola resource group. Catatan Engine interactive resource group harus berupa Spark.
   Resource group	Resource group	Pilih resource group yang lulus uji konektivitas saat Anda mengikat compute resource AnalyticDB for Spark.
   	Compute CUs	Node menggunakan nilai CU default. Anda dapat membiarkan parameter ini tidak diubah.

2. Debug dan jalankan node ADB Spark SQL.

   Untuk menjalankan tugas, klik Save lalu Run.

Langkah 3: Jadwalkan node ADB Spark SQL

1. Konfigurasikan properti penjadwalan untuk node ADB Spark SQL.

   Untuk menjalankan tugas secara berkala, konfigurasikan parameter berikut di bagian Scheduling Policy pada tab Properties. Untuk informasi selengkapnya tentang parameter lainnya, lihat Konfigurasi penjadwalan node.

   Parameter	Deskripsi
   Compute engine	Pilih compute resource AnalyticDB for Spark yang telah Anda ikat.
   ADB Compute Resource Group	Pilih interactive resource group yang telah Anda buat di kluster AnalyticDB for MySQL. Untuk informasi selengkapnya, lihat Buat dan kelola resource group. Catatan Engine interactive resource group harus berupa Spark.
   Resource group	Pilih resource group yang lulus uji konektivitas saat Anda mengikat compute resource AnalyticDB for Spark.
   Compute CUs	Node menggunakan nilai CU default. Anda dapat membiarkan parameter ini tidak diubah.

2. Terapkan node ADB Spark SQL.

   Setelah mengonfigurasi node, terapkan node tersebut. Untuk informasi selengkapnya, lihat Penerapan node dan alur kerja.

Langkah selanjutnya

Setelah tugas diterapkan, Anda dapat melihat statusnya di Operation Center. Untuk informasi selengkapnya, lihat Memulai Operation Center.