AnalyticDB：Menjadwalkan pekerjaan Spark di DataWorks

Langkah 1: Membuat node ADB Spark SQL

1. Buka halaman Ruang Kerja di Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Temukan ruang kerja yang diinginkan lalu pilih Shortcuts > Data Studio pada kolom Actions.

2. Klik ikon di samping Project Folder, lalu pilih New Node... > AnalyticDB > ADB Spark SQL.

3. Di kotak dialog yang muncul, masukkan nama untuk node tersebut lalu tekan Enter.

Langkah 2: Mengembangkan node ADB Spark SQL

1. Topik ini memberikan contoh cara membuat database eksternal pada node ADB Spark SQL. Untuk informasi tentang cara membuat tabel internal, lihat Membuat tabel internal menggunakan Spark SQL.

   CREATE DATABASE IF NOT EXISTS `adb_spark_db` LOCATION 'oss://testBucketname/db_dome';

2. Buat tabel eksternal adb_spark_db.tb_order di node ADB Spark SQL.

   CREATE TABLE IF NOT EXISTS adb_spark_db.tb_order(id int, name string, age int) 
   USING parquet 
   LOCATION 'oss://testBucketname/db_dome/tb1' 
   TBLPROPERTIES ('parquet.compress'='SNAPPY');

3. Kueri data.

   Setelah tabel eksternal dibuat, Anda dapat menggunakan pernyataan SELECT di AnalyticDB for MySQL untuk mengkueri data Parquet.

   SELECT * FROM adb_spark_db.tb_order limit 100;

4. Buat tabel Delta Lake adb_spark_db.raw_order di node ADB Spark SQL.

   CREATE TABLE IF NOT EXISTS adb_spark_db.raw_order(id int, name string, age int) 
   USING delta;

5. Impor data dari adb_spark_db.tb_order ke adb_spark_db.raw_order.

   INSERT INTO adb_spark_db.raw_order SELECT * FROM adb_spark_db.tb_order;

6. Buat database di AnalyticDB for MySQL. Jika database sudah dibuat, Anda dapat melewati langkah ini. Berikut adalah contohnya:

   CREATE DATABASE adb_demo; 

7. Buat tabel internal di AnalyticDB for MySQL untuk menyimpan data yang diimpor dari tabel Delta Lake. Berikut adalah contohnya:

   CREATE TABLE adb_demo.order_xuanwu_format (
       `id` int, 
       `name` string, 
       `age` int) 
   using adb 
       TBLPROPERTIES (
       'distributeType'='HASH',
       'distributeColumns' = 'id',
       'storagePolicy' = 'hot'
   );

8. Impor data dari tabel Delta Lake adb_spark_db.raw_order ke order_xuanwu_format.

   INSERT OVERWRITE adb_demo.order_xuanwu_format SELECT * FROM adb_spark_db.adb_spark_db.raw_order;

Langkah 3: Mengonfigurasi dan menjalankan node ADB Spark SQL

1. Di panel kanan, klik Debug Configuration untuk mengonfigurasi parameter waktu proses untuk node ADB Spark SQL.

   Jenis Parameter	Parameter	Deskripsi
   Computing Resource	Computing Resource	Pilih sumber daya komputasi AnalyticDB for Spark yang telah disambungkan.
   	ADB Compute Resource Group	Pilih kelompok sumber daya Interaktif dengan mesin Spark yang telah Anda buat di kluster AnalyticDB for MySQL.
   DataWorks Configuration	Resource Group	Pilih kelompok sumber daya DataWorks yang lulus uji konektivitas saat Anda menyambungkan sumber daya komputasi AnalyticDB for Spark.
   	Computing CU	Node menggunakan nilai CU default. Anda tidak perlu mengubah CU tersebut.
   Script Parameter	Parameter Name	Nama parameter yang Anda tentukan untuk node ADB Spark SQL. Misalnya, Anda dapat mengonfigurasi parameter $[yyyymmdd] dalam skrip untuk melakukan sinkronisasi batch data harian baru. Untuk daftar parameter yang didukung beserta formatnya, lihat Mengonfigurasi Parameter Penjadwalan. Catatan Sistem secara otomatis mendeteksi nama parameter yang dikonfigurasi dalam node.
   	Parameter Value	Konfigurasikan nilai parameter. Saat waktu proses, parameter akan diganti secara dinamis dengan nilai aktualnya.

2. (Opsional) Untuk menjalankan tugas node sesuai jadwal, di panel Scheduling Configuration di sisi kanan node, konfigurasikan parameter Computing Resource, ADB Computing Resource Group, dan Scheduling Resource Group di bagian Scheduling Policy. Lalu, konfigurasikan parameter di bagian Scheduling Parameters.

3. Setelah mengonfigurasi pengaturan debug, klik ikon untuk menyimpan node SQL. Lalu, klik ikon untuk menguji skrip SQL dan memverifikasi bahwa skrip tersebut berjalan sesuai harapan.

4. Setelah konfigurasi penjadwalan selesai, Anda dapat mengirimkan dan menerbitkan node database ke lingkungan produksi.

5. Setelah tugas diterbitkan, tugas tersebut akan berjalan secara berkala berdasarkan parameter yang dikonfigurasi. Anda dapat melihat dan mengelola tugas yang dipicu otomatis yang telah diterbitkan di halaman Operation Center > Task O&M > Auto Triggered Task O&M > Auto Triggered Tasks. Untuk informasi selengkapnya, lihat Pengantar Pusat Operasi.

Langkah 1: Membuat node ADB Spark

1. Buka halaman Ruang Kerja di Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Temukan ruang kerja yang diinginkan lalu pilih Shortcuts > Data Studio pada kolom Actions.

2. Klik ikon di samping Project Folder, lalu pilih New Node... > AnalyticDB > ADB Spark.

3. Di kotak dialog yang muncul, masukkan nama untuk node tersebut lalu tekan Enter.

Langkah 2: Mengembangkan node ADB Spark

Node ADB Spark mendukung pengembangan dalam Java/Scala dan Python.

Langkah 3: Mengonfigurasi dan menjalankan node ADB Spark

1. Di panel kanan, klik Debug Configuration untuk mengonfigurasi parameter waktu proses untuk node ADB Spark.

   Jenis Parameter	Parameter	Deskripsi
   Computing Resource	Computing Resource	Pilih sumber daya komputasi AnalyticDB for Spark yang telah disambungkan.
   	ADB Compute Resource Group	Pilih kelompok sumber daya Pekerjaan yang telah Anda buat di kluster AnalyticDB for MySQL.
   DataWorks Configuration	Resource Group	Pilih kelompok sumber daya DataWorks yang lulus uji konektivitas saat Anda menyambungkan sumber daya komputasi AnalyticDB for Spark.
   	Computing CU	Node menggunakan nilai CU default. Anda tidak perlu mengubah CU tersebut.
   Script Parameter	Parameter Name	Nama parameter yang Anda konfigurasikan dalam pekerjaan JAR ADB Spark. Catatan Sistem secara otomatis mendeteksi nama parameter yang dikonfigurasi dalam node.
   	Parameter Value	Konfigurasikan nilai parameter. Saat waktu proses, parameter akan diganti secara dinamis dengan nilai aktualnya.

2. (Opsional) Untuk menjalankan tugas node sesuai jadwal, di panel Scheduling Configuration di sisi kanan node, konfigurasikan parameter Computing Resource, ADB Computing Resource Group, dan Scheduling Resource Group di bagian Scheduling Policy. Lalu, konfigurasikan parameter di bagian Scheduling Parameters.

3. Setelah mengonfigurasi pengaturan debug, klik ikon untuk menyimpan node. Lalu, klik ikon untuk menguji skrip dan memverifikasi bahwa skrip tersebut berjalan sesuai harapan.

4. Setelah menyelesaikan konfigurasi penjadwalan, Anda dapat menerbitkan node database ke lingkungan produksi.

5. Tugas yang dipicu otomatis yang telah diterbitkan akan berjalan secara berkala berdasarkan parameter yang dikonfigurasi. Anda dapat melihat dan mengelola tugas tersebut di halaman Operation Center > Task O&M > Auto Triggered Task O&M > Auto Triggered Task. Untuk informasi selengkapnya, lihat Pengantar Pusat Operasi.