DataWorks:Node dorong data

Latar Belakang

Node dorong data menggunakan Node Context Parameters untuk mengambil parameter output dari node SQL query hulu, seperti node assignment, node Hologres SQL, atau node ClickHouse SQL. Parameter tersebut kemudian dapat diedit sebagai placeholder dalam isi pesan dorong dan dikirim ke destinasi.

• Setelah node SQL query hulu selesai berjalan, node tersebut menghasilkan parameter output bernama outputs yang berisi hasil kueri.

• Pada node dorong data hilir, gunakan Node Context Parameters untuk mengambil parameter outputs dari node hulu dan mengikatnya sebagai parameter input node dorong data.

• Dalam konfigurasi node dorong data, referensikan parameter input sebagai isi pesan dorong, atur destinasi, lalu dorong kontennya.

Node SQL query hulu yang didukung:

• Node assignment: Node kueri SQL MaxCompute tidak didukung secara langsung. Jika diperlukan, Anda dapat membuat node assignment untuk mengkueri data MaxCompute.

• Node SQL lainnya: Node Hologres SQL, Node ClickHouse SQL, Node AnalyticDB for MySQL SQL, Node AnalyticDB for PostgreSQL SQL, Node StarRocks SQL, Node PostgreSQL, dan Node MySQL.

Prasyarat

• Anda telah membuat ruang kerja.

• Anda telah membuat kelompok sumber daya arsitektur tanpa server dan mengaitkannya dengan ruang kerja DataWorks target.

Batasan

• Batas ukuran data untuk berbagai destinasi dorong adalah sebagai berikut.

  Destinasi dorong	Mendorong batas
  DingTalk	Ukuran data dorong tidak boleh melebihi 20 KB.
  Lark	Ukuran data dorong tidak boleh melebihi 20 KB, dan gambar harus lebih kecil dari 10 MB.
  WeCom	Setiap bot dapat mengirim tidak lebih dari 20 pesan per menit.
  Teams	Ukuran data dorong tidak boleh melebihi 28 KB.
  Email	Setiap task dorong data hanya mendukung satu isi email. Jika isi email sudah ditambahkan, Anda tidak dapat menambahkan isi lainnya. Untuk batasan lebih lanjut, lihat batasan SMTP layanan email Anda.

• Wilayah yang didukung untuk Data Push:

  China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapura, Jepang (Tokyo), AS (Silicon Valley), dan AS (Virginia).

Buka Data Studio

1. Buka halaman Ruang Kerja di Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Temukan ruang kerja yang diinginkan dan pilih Shortcuts > Data Studio di kolom Actions.

2. Di panel navigasi kiri, klik ikon untuk membuka halaman Data Studio.

Buat pipeline dorong

Buat dan konfigurasikan pipeline yang terdiri dari node SQL query dan node dorong data.

1. Buat alur kerja, lalu buat node SQL query dan node dorong data dalam alur kerja tersebut.

2. Buat node SQL query dan tambahkan kode SQL untuk data yang ingin Anda kueri dan dorong.

   Catatan

   • Node dorong data tidak mendukung pengambilan langsung data kueri dari ODPS SQL. Anda dapat membuat node assignment dan mengkueri data yang akan didorong di node assignment.

   • Node SQL query lainnya dapat dibuat seperti biasa.

3. Konfigurasikan node SQL query.

   Anda harus mengonfigurasi Compute Resource, Resource Group for Scheduling, dan Same-cycle Dependency di panel Scheduling Settings di sisi kanan node. Jika tidak ada node hulu, Anda dapat memilih Add Root Node. Konfigurasi parameter output berbeda sebagai berikut:

   Jenis node	Catatan konfigurasi
   node Penugasan	Node assignment memiliki parameter output node default. Tidak diperlukan konfigurasi parameter output tambahan.
   Node SQL query lainnya	Node SQL query lainnya tidak memiliki parameter output node default. Anda harus membuka Node Context Parameters di panel Scheduling Settings di sisi kanan node, temukan Node output parameters, lalu klik Add Assignment Parameter untuk meneruskan hasil kueri saat ini ke node dorong data hilir melalui parameter.

4. Anda telah membuat node dorong data dan mengonfigurasi node SQL query sebagai node hulu.

   1. Klik Scheduling Settings. Pada bagian Scheduling Dependency > Same-cycle Dependency, klik Add, lalu cari berdasarkan nama node untuk menambahkan node kueri SQL yang Anda buat sebagai node hulu dari node dorong data.

   2. Di bagian Scheduling Policy > Resource Group for Scheduling, pilih kelompok sumber daya arsitektur tanpa server yang telah Anda buat.

   3. Di bagian Node Context Parameters > Input Parameters, klik Add parameters untuk menambahkan parameter output dari node SQL query sebagai sumber nilai dan mengikatnya sebagai parameter input node dorong data.

Konfigurasikan destinasi dan isi dorong

Di halaman pengeditan node dorong data, sesuaikan judul dorong dan konfigurasikan destinasi serta isi pesan dorong.

Debug Dorongan Data

Setelah konfigurasi selesai, simpan node SQL query dan node dorong data. Lalu, klik ikon di bilah alat di atas alur kerja untuk melakukan debug task dorong data.

Langkah selanjutnya

• Konfigurasikan pengaturan jadwal: Jika Anda ingin node dalam direktori proyek dieksekusi secara berkala, konfigurasikan Scheduling Policy di panel Scheduling Settings di sisi kanan node.

• Deploy node: Jika Anda ingin menerapkan task ke lingkungan produksi, klik ikon di halaman untuk memulai proses deployment. Node dalam direktori proyek hanya dijadwalkan secara berkala setelah diterapkan ke lingkungan produksi.