DataWorks：Node ADB Spark SQL

Informasi Latar Belakang

AnalyticDB for MySQL Serverless Spark adalah layanan analisis dan komputasi data besar yang dikembangkan oleh tim AnalyticDB for MySQL berdasarkan Apache Spark. Layanan ini memungkinkan Anda mengirimkan pekerjaan Spark SQL langsung di konsol AnalyticDB for MySQL untuk melakukan analisis data. Setelah Anda mengikat kluster AnalyticDB for MySQL Serverless Spark ke ruang kerja DataWorks sebagai sumber daya komputasi, Anda dapat menggunakan node ADB Spark SQL di DataWorks untuk menjalankan tugas Spark SQL pada layanan Spark AnalyticDB for MySQL. Untuk informasi selengkapnya, lihat Ikhtisar pengembangan Spark SQL.

Prasyarat

Prasyarat untuk AnalyticDB for MySQL:

• Kluster AnalyticDB for MySQL Edisi Dasar telah dibuat di wilayah yang sama dengan ruang kerja Anda. Untuk informasi selengkapnya, lihat Membuat kluster.

• Kelompok sumber daya interaktif yang menggunakan mesin Spark telah dibuat di kluster AnalyticDB for MySQL. Kelompok sumber daya ini digunakan untuk menjalankan tugas Spark SQL dari DataWorks. Untuk informasi selengkapnya, lihat Membuat kelompok sumber daya interaktif.

• Untuk menggunakan Object Storage Service (OSS) dalam node ADB Spark SQL, pastikan bucket OSS berada di wilayah yang sama dengan kluster AnalyticDB for MySQL.

Prasyarat untuk DataWorks:

• Ruang kerja telah dibuat dan diikat ke kelompok sumber daya. Anda telah mengaktifkan Use Data Studio (New Version) di ruang kerja tersebut. Untuk informasi selengkapnya, lihat Membuat ruang kerja.

• Kelompok sumber daya diikat ke VPC yang sama dengan kluster AnalyticDB for MySQL. Alamat IP kelompok sumber daya telah ditambahkan ke daftar putih kluster AnalyticDB for MySQL. Untuk informasi selengkapnya, lihat Mengonfigurasi daftar putih.

• Kluster AnalyticDB for MySQL telah ditambahkan ke DataWorks sebagai sumber daya komputasi jenis AnalyticDB for Spark, dan uji konektivitas yang menggunakan kelompok sumber daya berhasil. Untuk informasi selengkapnya, lihat Mengikat sumber daya komputasi.

• Node ADB Spark SQL telah dibuat. Untuk informasi selengkapnya, lihat Membuat node untuk alur kerja penjadwalan.

Langkah 1: Kembangkan node ADB Spark SQL

1. Buat database eksternal.

   Anda dapat mengembangkan kode SQL pada halaman editor node ADB Spark SQL. Contoh berikut menunjukkan cara membuat database eksternal pada node ADB Spark SQL. Untuk informasi tentang cara membuat tabel internal, lihat Membuat tabel internal menggunakan Spark SQL.

   CREATE DATABASE IF NOT EXISTS `adb_spark_db` location 'oss://dw-1127/db_home';

2. Kembangkan node ADB Spark SQL.

   Kembangkan kode tugas Anda di editor SQL. Dalam kode Anda, Anda dapat mendefinisikan variabel menggunakan format ${Nama Variabel} dan memberikan nilainya di bagian Scheduling Parameters pada panel Scheduling Configurations di sisi kanan halaman pengeditan node. Hal ini memungkinkan Anda meneruskan parameter secara dinamis ke kode Anda dalam skenario penjadwalan. Untuk informasi selengkapnya, lihat Format yang Didukung untuk Parameter Penjadwalan. Berikut adalah contohnya.

   CREATE TABLE IF NOT EXISTS adb_spark_db.tb_order_${var}(id int, name string, age int) 
   USING parquet 
   location 'oss://dw-1127/db_home/tb1' 
   tblproperties ('parquet.compress'='SNAPPY');
   
   CREATE TABLE IF NOT EXISTS adb_spark_db.tb_order_result_${var}(id int, name string, age int) 
   USING parquet 
   location 'oss://dw-1127/db_home/tb2' 
   tblproperties ('parquet.compress'='SNAPPY');
   
   INSERT INTO adb_spark_db.tb_order_result_${var} SELECT * FROM adb_spark_db.tb_order_${var};

   Catatan

   Dalam contoh tersebut, parameter ${var} dapat diatur menjadi $[yyyymmdd]. Pengaturan ini memungkinkan Anda menyinkronkan data inkremental harian secara batch.

Langkah 2: Debug node ADB Spark SQL

1. Konfigurasikan properti debug untuk node ADB Spark SQL.

   Pada bagian Debug Configuration di sisi kanan node, Anda dapat mengonfigurasi parameter Computing Resource, ADB Computing Resource Group, Scheduling Resource Group, dan Computing CU. Untuk informasi selengkapnya, lihat deskripsi di bawah ini.

   Jenis parameter	Nama parameter	Deskripsi
   Computing Resource	Computing Resource	Pilih sumber daya komputasi AnalyticDB for Spark yang telah Anda ikat.
   	ADB Computing Resource Group	Pilih kelompok sumber daya interaktif yang telah Anda buat di kluster AnalyticDB for MySQL. Untuk informasi selengkapnya, lihat Membuat dan mengelola kelompok sumber daya. Catatan Grup sumber daya interaktif harus menggunakan mesin Spark.
   DataWorks Configurations	Scheduling Resource Group	Pilih kelompok sumber daya yang lulus uji konektivitas saat Anda mengikat sumber daya komputasi AnalyticDB for Spark.
   	Computing CU	Node menggunakan nilai CU default. Anda tidak perlu mengubah nilai ini.

2. Debug dan jalankan node ADB Spark SQL.

   Klik Save lalu Run untuk menjalankan tugas node.

Langkah 3: Jadwalkan node ADB Spark SQL

1. Konfigurasikan properti penjadwalan untuk node ADB Spark SQL.

   Untuk menjalankan tugas node secara berkala, konfigurasikan parameter di bawah Scheduling Policy pada bagian Scheduling Configuration di sisi kanan node sesuai kebutuhan. Untuk informasi selengkapnya tentang parameter tersebut, lihat Penjadwalan Node.

   Nama parameter	Deskripsi
   Computing Resource	Pilih sumber daya komputasi AnalyticDB for Spark yang telah Anda ikat.
   ADB Computing Resource Group	Pilih kelompok sumber daya interaktif yang telah Anda buat di kluster AnalyticDB for MySQL. Untuk informasi selengkapnya, lihat Membuat dan mengelola kelompok sumber daya. Catatan Grup sumber daya interaktif harus menggunakan mesin Spark.
   Scheduling Resource Group	Pilih kelompok sumber daya yang lulus uji konektivitas saat Anda mengikat sumber daya komputasi AnalyticDB for Spark.
   Computing CU	Node menggunakan nilai CU default. Anda tidak perlu mengubah nilai ini.

2. Publikasikan node ADB Spark SQL.

   Setelah Anda mengonfigurasi tugas node, Anda dapat mempublikasikan node tersebut. Untuk informasi selengkapnya, lihat Mempublikasikan node dan alur kerja.

Apa yang Harus Dilakukan Selanjutnya

Setelah tugas dipublikasikan, Anda dapat melihat status tugas berkala di Operation Center. Untuk informasi selengkapnya, lihat Memulai Operation Center.