DataWorks:Node Redshift

Informasi latar belakang

Gunakan Amazon Redshift Serverless untuk mengakses dan menganalisis data tanpa perlu mengonfigurasi gudang data yang telah disediakan. Untuk informasi selengkapnya, lihat Amazon Redshift.

Prasyarat

• Alur bisnis telah dibuat.

  Data Studio melakukan operasi pengembangan berbasis engine berdasarkan alur bisnis. Sebelum membuat node, buat terlebih dahulu alur bisnis. Untuk informasi selengkapnya, lihat Buat alur bisnis.

• Sumber data Redshift telah dibuat.

  Untuk mengakses data di database Redshift Anda, Anda harus terlebih dahulu menambahkannya ke DataWorks sebagai sumber data Redshift. Untuk membuat sumber data, lihat Manajemen sumber data. Untuk informasi selengkapnya tentang cara menggunakan sumber data Redshift di DataWorks, lihat Sumber data Amazon Redshift.

  Catatan

  Node Redshift hanya mendukung sumber data Redshift yang dibuat dengan string koneksi JDBC.

• Koneksi jaringan telah dibuat antara sumber data Anda dan kelompok sumber daya.

  Anda harus memastikan bahwa sumber data yang diinginkan terhubung ke kelompok sumber daya yang ingin Anda gunakan. Untuk informasi selengkapnya tentang cara mengonfigurasi konektivitas jaringan, lihat Buat koneksi jaringan antara kelompok sumber daya dan sumber data.

• (Opsional; wajib bagi pengguna Resource Access Management (RAM)) Pengguna RAM yang digunakan untuk pengembangan tugas telah ditambahkan ke ruang kerja target dan diberi peran Development atau Workspace Administrator (yang memberikan izin luas—berikan dengan hati-hati). Untuk informasi selengkapnya tentang cara menambahkan anggota dan memberikan izin, lihat Tambahkan anggota ke ruang kerja.

Batasan

Wilayah yang didukung: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Jerman (Frankfurt), AS (Silicon Valley), dan AS (Virginia).

Langkah 1: Buat node Redshift

1. Masuk ke Konsol DataWorks. Di wilayah target, klik Data Development and O&M > Data Development di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.

2. Klik kanan alur kerja target dan pilih Create Node > Database > Redshift.

3. Pada kotak dialog Create Node, masukkan Name untuk node tersebut dan klik OK. Setelah node dibuat, Anda dapat mengembangkan dan mengonfigurasi tugas di dalamnya.

Langkah 2: Kembangkan tugas Redshift

(Opsional) Pilih sumber data Redshift

Jika beberapa sumber data Redshift telah dibuat di ruang kerja Anda, Anda harus memilih sumber data yang sesuai pada halaman editor node Redshift. Jika hanya satu sumber data Redshift yang dibuat, sumber data tersebut akan digunakan secara default untuk pengembangan.

Kembangkan kode SQL: contoh sederhana

Pada editor kode node Redshift, tulis kode untuk tugas yang akan dieksekusi. Kode berikut merupakan contohnya:

SELECT * FROM usertablename;

Kembangkan kode SQL: gunakan parameter penjadwalan

Scheduling Parameter yang disediakan oleh DataWorks memungkinkan input parameter dinamis untuk kode dalam skenario penjadwalan berkala. Anda dapat mendefinisikan variabel dalam kode dengan menggunakan format ${Nama Variabel} pada tugas node, lalu memberikan nilai variabel tersebut di bagian Properties > Scheduling Parameter di panel navigasi sebelah kanan halaman pengeditan node. Untuk informasi selengkapnya tentang format yang didukung dan detail konfigurasi, lihat Format yang didukung untuk parameter penjadwalan dan Konfigurasikan dan gunakan parameter penjadwalan.

Kode berikut merupakan contohnya.

SELECT '${var}'; -- Dapat digunakan dengan parameter penjadwalan.

Langkah 3: Konfigurasikan penjadwalan tugas

Untuk menjalankan tugas node secara berkala, klik Scheduling di sisi kanan halaman pengeditan node dan konfigurasikan pengaturan penjadwalan sesuai kebutuhan Anda. Untuk informasi selengkapnya, lihat Ikhtisar properti penjadwalan tugas.

Langkah 4: Uji kode tugas

Lakukan operasi pengujian berikut sesuai kebutuhan untuk memverifikasi bahwa tugas berjalan sesuai harapan.

1. (Opsional) Pilih kelompok sumber daya dan tetapkan nilai parameter khusus.

   • Klik ikon di bilah alat. Pada kotak dialog Parameter, pilih kelompok sumber daya penjadwalan untuk pengujian.

   • Jika kode tugas Anda menggunakan variabel parameter penjadwalan, tetapkan nilai variabel tersebut di sini untuk pengujian. Untuk informasi selengkapnya tentang logika penetapan parameter, lihat Proses debugging tugas.

2. Simpan dan jalankan kode tugas.

   Klik ikon di bilah alat untuk menyimpan kode tugas Anda. Lalu klik ikon untuk menjalankan tugas tersebut.

3. (Opsional) Lakukan pengujian asap.

   Untuk menjalankan pengujian asap di lingkungan pengembangan dan memverifikasi bahwa tugas node terjadwal dieksekusi sesuai harapan, lakukan pengujian asap baik saat atau setelah pengiriman node. Untuk informasi selengkapnya, lihat Lakukan pengujian asap.

Langkah 5: Kirim dan publikasikan tugas

Setelah mengonfigurasi tugas node, kirim dan publikasikan tugas tersebut. Setelah dipublikasikan, node akan berjalan secara berkala berdasarkan konfigurasi penjadwalannya.

1. Klik ikon di bilah alat untuk menyimpan node.

2. Klik ikon di bilah alat untuk mengirimkan tugas node.

   Pada kotak dialog Submission, masukkan Change Description. Secara opsional, pilih apakah tinjauan kode diperlukan setelah pengiriman.

   Catatan

   • Anda harus mengonfigurasi Rerun attribute dan Parent Nodes node sebelum dapat mengirimkan node tersebut.

   • Tinjauan kode membantu memastikan kualitas kode dan mencegah error akibat kode yang belum ditinjau langsung dipublikasikan ke lingkungan produksi. Jika tinjauan kode diaktifkan, kode node yang dikirimkan harus disetujui oleh peninjau sebelum dapat dipublikasikan. Untuk informasi selengkapnya, lihat Tinjauan kode.

Jika Anda menggunakan ruang kerja dalam mode standar, setelah berhasil mengirimkan tugas, klik Publish di pojok kanan atas halaman pengeditan node untuk men-deploy tugas ke lingkungan produksi. Untuk informasi selengkapnya, lihat Publikasikan tugas.

Langkah selanjutnya

Operasi tugas: Setelah tugas dikirim dan dipublikasikan, tugas tersebut akan berjalan secara berkala berdasarkan konfigurasi node. Anda dapat mengklik O&M di pojok kanan atas halaman pengeditan node untuk membuka Pusat Operasi dan melihat status penjadwalan serta eksekusi tugas terjadwal. Untuk informasi selengkapnya, lihat Mengelola Tugas Terjadwal.