DataWorks:Redshift

Informasi latar belakang

Amazon Redshift adalah layanan gudang data berskala petabyte yang sepenuhnya dikelola di cloud. Anda dapat menggunakan Amazon Redshift Serverless untuk mengakses dan menganalisis data tanpa perlu mengonfigurasi gudang data yang telah disediakan. Untuk informasi selengkapnya, lihat Amazon Redshift.

Prasyarat

• Buat Business Flow.

  DataStudio mengorganisasi pengembangan berdasarkan Business Flow. Anda harus membuat satu sebelum membuat node. Untuk informasi selengkapnya, lihat Buat workflow.

• Sumber data Redshift telah dibuat.

  Anda harus menambahkan database Redshift Anda sebagai sumber data Redshift di DataWorks sebelum dapat mengakses database tersebut. Untuk informasi selengkapnya tentang cara membuat sumber data, lihat Manajemen Sumber Data. Untuk informasi selengkapnya tentang cara menggunakan sumber data Redshift di DataWorks, lihat Sumber data Amazon Redshift.

  Catatan

  Node Redshift hanya mendukung sumber data Redshift yang dibuat menggunakan string koneksi Java Database Connectivity (JDBC).

• Koneksi jaringan antara sumber data dan resource group telah dibuat.

  Pastikan sumber data dapat terhubung ke resource group yang ingin Anda gunakan. Untuk informasi tentang cara mengonfigurasi konektivitas jaringan, lihat Solusi koneksi jaringan.

• (Opsional; wajib bagi RAM user) Tambahkan RAM user ke ruang kerja dan berikan role Develop atau Workspace Administrator. Berikan role Workspace Administrator dengan hati-hati karena memiliki hak istimewa yang tinggi. Untuk informasi selengkapnya, lihat Tambahkan anggota ke ruang kerja.

Batasan

Wilayah yang didukung: China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Jerman (Frankfurt), AS (Silicon Valley), dan AS (Virginia).

Langkah 1: Buat node Redshift

1. Buka halaman DataStudio.

   Login ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Development and O&M > Data Development. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.

2. Klik kanan business flow target dan pilih Create Node > Database > Redshift.

3. Pada kotak dialog Create Node, masukkan Name untuk node tersebut dan klik OK. Node telah dibuat. Anda kemudian dapat mengembangkan dan mengonfigurasi task di dalam node tersebut.

Langkah 2: Kembangkan tugas Redshift

(Opsional) Pilih sumber data Redshift

Jika ruang kerja Anda memiliki beberapa sumber data Redshift, Anda harus memilih sumber data yang sesuai pada halaman konfigurasi node Redshift. Jika hanya ada satu sumber data Redshift, sumber data tersebut akan digunakan secara default.

Kembangkan kode SQL: Contoh sederhana

Di editor kode node Redshift, tulis kode untuk task yang ingin Anda jalankan. Kode berikut memberikan contoh.

SELECT * FROM usertablename;

Kembangkan kode SQL: Gunakan parameter penjadwalan

scheduling parameters yang disediakan oleh DataWorks memungkinkan penggunaan parameter permintaan dinamis dalam skenario penjadwalan berulang. Anda dapat mendefinisikan variabel dalam kode menggunakan format ${variable_name}. Kemudian, pada tab Schedule di panel navigasi kanan halaman konfigurasi node, buka bagian Scheduling Parameters dan berikan nilai untuk variabel-variabel tersebut. Untuk informasi selengkapnya tentang format dan konfigurasi parameter penjadwalan yang didukung, lihat Format parameter penjadwalan yang didukung dan Konfigurasi dan penggunaan parameter penjadwalan.

Kode berikut memberikan contoh.

SELECT '${var}'; -- Gunakan dengan parameter penjadwalan.

Langkah 3: Konfigurasi penjadwalan task

Untuk menjadwalkan task, klik Scheduling Configuration di sebelah kanan dan konfigurasi propertinya. Untuk informasi selengkapnya, lihat Ikhtisar.

Langkah 4: Men-debug kode tugas

Debug task untuk memastikan eksekusi yang benar:

1. (Opsional) Pilih resource group debugging dan tetapkan nilai parameter.

   • Klik ikon di bilah alat. Di kotak dialog Parameters, pilih resource group.

   • Tetapkan nilai untuk setiap parameter penjadwalan yang digunakan saat debugging. Untuk informasi selengkapnya tentang logika penetapan parameter, lihat Proses debugging task.

2. Simpan dan jalankan kode task.

   Klik ikon untuk menyimpan, lalu klik ikon untuk menjalankan.

3. (Opsional) Jalankan pengujian asap.

   Jalankan pengujian asap selama atau setelah penyerahan untuk memverifikasi eksekusi di lingkungan pengembangan. Untuk informasi selengkapnya, lihat Lakukan Pengujian asap.

Langkah 5: Serahkan dan publikasikan task

Serahkan dan publikasikan node untuk mengaktifkan penjadwalan.

1. Klik ikon di bilah alat untuk menyimpan node.

2. Klik ikon di bilah alat untuk menyerahkan task node.

   Di kotak dialog Submit, masukkan Change Description dan pilih opsi tinjauan kode.

   Catatan

   • Konfigurasikan Rerun Property dan Upstream Dependent Node sebelum menyerahkan.

   • Tinjauan kode memastikan kualitas. Jika diaktifkan, reviewer harus menyetujui kode sebelum dipublikasikan. Untuk informasi selengkapnya, lihat Tinjauan kode.

Di ruang kerja mode standar, klik Publish di sudut kanan atas untuk menerapkan ke produksi. Untuk informasi selengkapnya, lihat Tugas penerbitan.

Langkah selanjutnya

Setelah task diserahkan dan dipublikasikan, task tersebut akan dijalankan secara berkala berdasarkan konfigurasi node. Anda dapat mengklik O&M di pojok kanan atas tab konfigurasi node untuk membuka Operation Center. Di Operation Center, Anda dapat melihat status penjadwalan dan eksekusi task berkala tersebut. Untuk informasi selengkapnya, lihat Kelola task berkala.