DataWorks:Kembangkan komponen SQL

Langkah 1: Buka panel Snippets

1. Masuk ke Konsol DataWorks. Pada bilah navigasi atas, pilih Wilayah tujuan. Di panel navigasi kiri, pilih Data Development and O&M > Data Development. Pilih ruang kerja tujuan, lalu klik Go to Data Development.

2. Di panel navigasi kiri halaman DataStudio, klik Snippets.

   Jika Snippets tidak terlihat, klik ikon di pojok kiri bawah dan ikuti petunjuk di Konfigurasi pengaturan di bagian Modul DataStudio untuk menambahkannya.

Langkah 2: Buat templat

Di panel Snippets, gunakan tindakan yang ditunjukkan pada gambar berikut untuk membuat dan memberi nama templat skrip.

Templat yang dibuat oleh akun anggota di ruang kerja saat ini muncul di tab Workspace-Specific. Templat yang dibuat dalam penyewa muncul di tab Public.

Langkah 3: Konfigurasi templat

Tab konfigurasi terdiri dari tiga bagian: proses kode SQL, parameter input, dan parameter output.

Proses kode SQL

Tulis logika SQL di editor kode. Ganti nama tabel variabel dan nilai string dengan placeholder @@{parameter_name}. DataWorks akan mengganti placeholder ini dengan nilai aktual saat node SQL Snippet dijalankan.

Parameter input

Tambahkan satu atau beberapa parameter input. Setiap parameter memiliki salah satu tipe berikut:

• Table: Mengikat tabel sumber. Definisikan skema yang diharapkan sebagai blok teks agar pengguna mengetahui skema yang harus disediakan. Definisikan skema dalam format berikut:

  Nama Bidang 1  Tipe Bidang 1  Deskripsi Bidang 1
  Nama Bidang 2  Tipe Bidang 2  Deskripsi Bidang 2
  ...
  Nama Bidang n  Tipe Bidang n  Deskripsi Bidang n

  Contoh:

  area_id   string  'Region ID'
  city_id   string  'City ID'
  order_amt double  'Order amount'

• String: Mengikat nilai string, seperti ambang batas numerik atau kondisi filter. Secara opsional, atur nilai default yang digunakan saat tidak ada nilai yang diberikan saat referensi. Kasus penggunaan:

  • Ekspor N kota teratas berdasarkan penjualan: gunakan parameter String untuk meneruskan nilai N.

  • Filter berdasarkan provinsi: gunakan parameter String untuk meneruskan nama provinsi.

Output Parameters

Tambahkan satu atau beberapa parameter output bertipe Table. Definisikan skema output yang diharapkan sebagai referensi.

Contoh:

area_id   string  'Region ID'
city_id   string  'City ID'
order_amt double  'Order amount'
rank      bigint  'Ranking'

Sebuah templat dapat berisi beberapa parameter input dan output.

Langkah 4: Simpan dan commit templat

Di bilah alat pada tab konfigurasi, klik ikon untuk menyimpan, lalu klik ikon untuk commit. Setelah templat di-commit, templat tersebut tersedia untuk direferensikan oleh node SQL Snippet.

Prasyarat

Sebelum memulai, pastikan Anda telah memiliki:

• Templat skrip yang telah dibuat. Lihat Definisikan templat skrip.

• Node SQL Snippet. Lihat Buat dan kelola node ODPS.

Referensikan templat

Pada tab konfigurasi node SQL Snippet, ikuti langkah-langkah pada gambar berikut untuk memilih dan mengonfigurasi templat skrip.

1. Pilih templat skrip yang akan direferensikan.

   • Jika tersedia versi templat yang lebih baru, klik Update Code untuk mengambilnya.

   • Untuk memeriksa definisi templat, klik Edit Snippet.

2. Konfigurasikan nilai parameter input dan output berdasarkan tabel dan kebutuhan pipeline Anda.

Publikasikan templat ke semua pengguna penyewa

Setelah deployment, templat secara default bersifat tingkat ruang kerja. Untuk membuatnya tersedia bagi semua pengguna dalam penyewa, klik ikon Publish Snippet (ditandai 1 pada gambar) di bilah alat pada tab konfigurasi templat.

Lihat catatan referensi

Pada tab Snippet Nodes (ditandai 2 pada gambar), lihat semua node yang mereferensikan templat saat ini. Tinjau daftar ini sebelum memodifikasi templat untuk memahami dampak downstream-nya.

Peningkatan templat

Edit kode SQL atau pengaturan parameter dalam templat, lalu simpan dan commit ulang. Setiap commit ulang membuat versi baru. Lihat riwayat versi di tab Versions (ditandai 3 pada gambar) di panel navigasi kanan.

Dampak pada node yang mereferensikan

Saat templat ditingkatkan, Anda dapat menentukan apakah akan menggunakan versi terbaru templat di node SQL Snippet Anda. Untuk mengadopsi versi baru, buka node SQL Snippet, klik Update Code, verifikasi bahwa pengaturan parameter baru sesuai untuk pipeline Anda, lalu commit dan deploy node tersebut.

Contoh skenario

Developer C membuat versi V1.0 templat. Pengguna A mereferensikan V1.0. Developer C kemudian meningkatkan ke V2.0. Pengguna A melihat bahwa versi yang lebih baru tersedia, meninjau detail V2.0, dan memutuskan apakah akan memperbarui node mereka untuk menggunakan V2.0.

Referensi tab konfigurasi

Prasyarat

Sebelum memulai, pastikan Anda telah memiliki:

• Node SQL Snippet. Lihat Buat dan kelola node ODPS.

• Tabel input dan tabel output yang telah dibuat di node ODPS SQL.

Langkah 1: Definisikan templat get_top_n

Buat templat skrip bernama get_top_n. Lihat Definisikan templat skrip untuk prosedur lengkapnya. Gunakan konfigurasi berikut.

Parameter settings

Proses kode SQL

Templat menggunakan @@{myinputtable}, @@{myoutput}, dan @@{topn} sebagai placeholder. DataWorks menggantinya dengan nilai yang diikat saat node dijalankan.

INSERT OVERWRITE TABLE  @@{myoutput}  PARTITION (pt='${bizdate}')
 SELECT r3.area_id,
 r3.city_id,
 r3.order_amt,
 r3.rank
from (
SELECT
   area_id,
   city_id,
   rank,
   order_amt_1505468133993_sum as order_amt ,
   order_number_1505468133991_sum,
   profit_amt_1505468134000_sum
FROM
   (SELECT
   area_id,
   city_id,
   ROW_NUMBER() OVER (PARTITION BY r1.area_id ORDER BY r1.order_amt_1505468133993_sum DESC) AS rank,
   order_amt_1505468133993_sum,
   order_number_1505468133991_sum,
   profit_amt_1505468134000_sum
FROM
   (SELECT
   area AS area_id,
   city AS city_id,
   SUM(order_amt) AS order_amt_1505468133993_sum,
   SUM(order_number) AS order_number_1505468133991_sum,
   SUM(profit_amt) AS profit_amt_1505468134000_sum
FROM
  @@{myinputtable}
WHERE
   SUBSTR(pt, 1, 8) IN ( '${bizdate}' )
GROUP BY
   area,
   city )
   r1 ) r2
WHERE
   r2.rank >= 1 AND r2.rank <= @@{topn}
ORDER BY
   area_id,
   rank limit 10000) r3;

Langkah 2: Referensikan templat dari node SQL Snippet

Buat node SQL Snippet bernama xc_Referenced script template_get_top_n, pilih templat get_top_n, dan konfigurasikan parameter seperti yang ditunjukkan di bawah ini.

Konfigurasi parameter

• myinputtable: ikat ke company_sales_record, tabel partisi dengan siklus hidup 365 hari.

  CREATE TABLE IF NOT EXISTS company_sales_record
  (
      order_id         STRING COMMENT 'Order ID (PK)',
      report_date      STRING COMMENT 'Order generation date',
      customer_name    STRING COMMENT 'Customer name',
      order_level      STRING COMMENT 'Order level',
      order_number     DOUBLE COMMENT 'Number of orders',
      order_amt        DOUBLE COMMENT 'Order amount',
      back_point       DOUBLE COMMENT 'Discount',
      shipping_type    STRING COMMENT 'Transportation method',
      profit_amt       DOUBLE COMMENT 'Amount of profit',
      price            DOUBLE COMMENT 'Unit price',
      shipping_cost    DOUBLE COMMENT 'Cost of transportation',
      area             STRING COMMENT 'Region',
      province         STRING COMMENT 'Province',
      city             STRING COMMENT 'City',
      product_type     STRING COMMENT 'Product type',
      product_sub_type STRING COMMENT 'Product subtype',
      product_name     STRING COMMENT 'Product name',
      product_box      STRING COMMENT 'Product packaging',
      shipping_date    STRING COMMENT 'Date of transportation'
  )
  COMMENT 'Detailed sales data'
  PARTITIONED BY
  (
      pt               STRING
  )
  LIFECYCLE 365;

• topn: atur ke 10 untuk mengembalikan 10 kota teratas berdasarkan total penjualan di setiap wilayah.

• myoutput: ikat ke company_sales_top_n.

  CREATE TABLE IF NOT EXISTS company_sales_top_n
  (
  area STRING COMMENT 'Region',
  city STRING COMMENT 'City',
  sales_amount DOUBLE COMMENT 'Sales amount',
  rank BIGINT COMMENT 'Ranking'
  )
  COMMENT 'Company sales rankings'
  PARTITIONED BY (pt STRING COMMENT '')
  LIFECYCLE 365;