DataWorks:Node ADB Spark SQL

Informasi latar belakang

Pengembang data dapat mengirimkan pernyataan Spark SQL langsung di konsol AnalyticDB for MySQL untuk analisis data. Setelah Anda menambahkan instans AnalyticDB for MySQL Serverless Spark ke DataWorks sebagai sumber daya komputasi, Anda dapat menggunakan node ADB Spark SQL untuk menjalankan tugas Spark SQL. Untuk informasi selengkapnya, lihat Pengenalan pengembangan Spark SQL.

Prasyarat

Prasyarat untuk AnalyticDB for MySQL:

• Anda telah membuat kluster AnalyticDB for MySQL Edisi Dasar di wilayah yang sama dengan ruang kerja DataWorks Anda. Untuk informasi selengkapnya, lihat Buat kluster.

• Anda telah membuat kelompok sumber daya interaktif dengan tipe mesin diatur ke Spark di kluster AnalyticDB for MySQL untuk menjalankan tugas Spark SQL dari DataWorks. Untuk informasi selengkapnya, lihat Buat kelompok sumber daya interaktif.

• Jika Anda perlu menggunakan Object Storage Service (OSS) di node ADB Spark SQL, pastikan bucket OSS berada di wilayah yang sama dengan kluster AnalyticDB for MySQL Anda.

Prasyarat untuk DataWorks:

• Anda memiliki ruang kerja dengan fitur Use Data Studio (New Version) diaktifkan dan telah mengikat kelompok sumber daya ke dalamnya. Untuk informasi selengkapnya, lihat Buat ruang kerja.

• Kelompok sumber daya ditempatkan di virtual private cloud (VPC) yang sama dengan kluster AnalyticDB for MySQL, dan Anda telah menambahkan alamat IP kelompok sumber daya ke daftar putih kluster AnalyticDB for MySQL. Untuk informasi selengkapnya, lihat Konfigurasikan daftar putih.

• Anda telah menambahkan instans kluster AnalyticDB for MySQL ke DataWorks sebagai sumber daya komputasi AnalyticDB for Spark dan telah memverifikasi konektivitasnya menggunakan kelompok sumber daya. Untuk informasi selengkapnya, lihat Ikat sumber daya komputasi.

• Anda telah membuat node ADB Spark SQL. Untuk informasi selengkapnya, lihat Buat node untuk alur kerja penjadwalan.

Langkah 1: Kembangkan node ADB Spark SQL

1. Buat database eksternal.

   Di editor node, tulis kode SQL Anda. Contoh berikut menunjukkan cara membuat database eksternal di node ADB Spark SQL. Untuk membuat tabel internal, lihat Buat tabel internal menggunakan Spark SQL.

   CREATE DATABASE IF NOT EXISTS `adb_spark_db` location 'oss://dw-1127/db_home';

2. Kembangkan node ADB Spark SQL.

   Di editor SQL, tulis kode tugas. Anda dapat mendefinisikan variabel dalam format ${variable_name} dan memberikan nilai pada bagian Scheduling Parameters di panel Scheduling Settings di sebelah kanan. Hal ini memungkinkan penerusan parameter secara dinamis selama eksekusi terjadwal. Untuk informasi selengkapnya tentang parameter penjadwalan, lihat Sumber dan ekspresi parameter penjadwalan. Kode berikut merupakan contohnya.

   CREATE TABLE IF NOT EXISTS adb_spark_db.tb_order_${var}(id int, name string, age int) 
   USING parquet 
   location 'oss://dw-1127/db_home/tb1' 
   tblproperties ('parquet.compress'='SNAPPY');
   
   CREATE TABLE IF NOT EXISTS adb_spark_db.tb_order_result_${var}(id int, name string, age int) 
   USING parquet 
   location 'oss://dw-1127/db_home/tb2' 
   tblproperties ('parquet.compress'='SNAPPY');
   
   INSERT INTO adb_spark_db.tb_order_result_${var} SELECT * FROM adb_spark_db.tb_order_${var};

   Catatan

   Variabel ${var} pada contoh dapat diatur menjadi $[yyyymmdd]. Hal ini memungkinkan Anda memproses data inkremental harian secara batch.

Langkah 2: Debug node ADB Spark SQL

1. Konfigurasikan properti eksekusi untuk node ADB Spark SQL.

   Di panel Run Configuration di sebelah kanan, konfigurasikan parameter Compute Resource, ADB Computing Resource Group, Resource Group, dan Compute CU. Untuk informasi selengkapnya, lihat tabel berikut.

   Tipe parameter	Parameter	Deskripsi
   Compute Resource	Compute Resource	Pilih sumber daya komputasi AnalyticDB for Spark yang telah Anda ikat ke ruang kerja.
   	ADB Computing Resource Group	Pilih kelompok sumber daya interaktif yang telah Anda buat di kluster AnalyticDB for MySQL. Untuk informasi selengkapnya, lihat Buat dan kelola kelompok sumber daya - [Dokumen ini offline dan telah digantikan oleh versi baru. Tidak perlu ditinjau.]. Catatan Tipe mesin kelompok sumber daya interaktif harus Spark.
   Resource Group	Resource Group	Pilih kelompok sumber daya yang lulus uji konektivitas saat Anda mengikat sumber daya komputasi AnalyticDB for Spark.
   	Compute CU	Node menggunakan jumlah unit komputasi (CU) default. Anda tidak perlu mengubah nilai ini.

2. Debug dan jalankan node ADB Spark SQL.

   Untuk menjalankan tugas, klik Save lalu Run.

Langkah 3: Jadwalkan node ADB Spark SQL

1. Konfigurasikan properti penjadwalan untuk node ADB Spark SQL.

   Untuk menjalankan node secara berkala, buka panel Scheduling Settings di sebelah kanan. Di bagian Scheduling Policy, konfigurasikan parameter berikut sesuai kebutuhan bisnis Anda. Untuk informasi selengkapnya tentang parameter lainnya, lihat Konfigurasikan penjadwalan untuk node.

   Parameter	Deskripsi
   Compute Resource	Pilih sumber daya komputasi AnalyticDB for Spark yang telah Anda ikat ke ruang kerja.
   ADB Computing Resource Group	Pilih kelompok sumber daya interaktif yang telah Anda buat di kluster AnalyticDB for MySQL. Untuk informasi selengkapnya, lihat Buat dan kelola kelompok sumber daya - [Dokumen ini offline dan telah digantikan oleh versi baru. Tidak perlu ditinjau.]. Catatan Tipe mesin kelompok sumber daya interaktif harus Spark.
   Resource Group	Pilih kelompok sumber daya yang lulus uji konektivitas saat Anda mengikat sumber daya komputasi AnalyticDB for Spark.
   Compute CU	Node menggunakan jumlah unit komputasi (CU) default. Anda tidak perlu mengubah nilai ini.

2. Deploy node ADB Spark SQL.

   Setelah mengonfigurasi node, Anda harus mendeploynya. Untuk informasi selengkapnya, lihat Deploy node atau alur kerja.

Langkah selanjutnya

Setelah tugas dideploy, Anda dapat melihat status eksekusi tugas berkala di Operation Center. Untuk informasi selengkapnya, lihat Memulai Operation Center.