DataWorks：Konfigurasi Node Redshift

Informasi Latar Belakang

Amazon Redshift adalah layanan gudang data berskala petabyte yang dikelola sepenuhnya di cloud. Amazon Redshift Serverless memungkinkan Anda mengakses dan menganalisis data tanpa perlu melakukan konfigurasi pada gudang data yang telah ditentukan sebelumnya. Untuk informasi lebih lanjut, lihat Apa itu Amazon Redshift?.

Prasyarat

• Sebuah alur kerja telah dibuat.

  Operasi pengembangan di berbagai jenis mesin komputasi dilakukan berdasarkan alur kerja di DataStudio. Oleh karena itu, sebelum membuat node, Anda harus membuat alur kerja terlebih dahulu. Untuk informasi lebih lanjut, lihat Buat alur kerja.

• Sumber data Redshift telah ditambahkan.

  Anda harus menambahkan database Redshift ke DataWorks sebagai sumber data Redshift agar dapat digunakan untuk mengakses data dalam database tersebut. Untuk informasi tentang cara menambahkan sumber data, lihat Tambah dan kelola sumber data. Untuk informasi tentang cara menggunakan sumber data Redshift di DataWorks, lihat Sumber data Amazon Redshift.

  Catatan

  Node Redshift hanya dapat dibuat berdasarkan sumber data Redshift yang ditambahkan ke DataWorks dalam mode string koneksi Java Database Connectivity (JDBC).

• Koneksi jaringan antara sumber data dan grup sumber daya telah dibuat.

  Pastikan bahwa sumber data yang ingin digunakan terhubung ke grup sumber daya yang akan digunakan. Untuk informasi lebih lanjut tentang cara mengonfigurasi konektivitas jaringan, lihat Membuat koneksi jaringan antara grup sumber daya dan sumber data.

• (Diperlukan jika Anda menggunakan pengguna RAM untuk mengembangkan tugas) Pengguna RAM telah ditambahkan ke ruang kerja DataWorks sebagai anggota dan diberi peran Develop atau Workspace Administrator. Peran Workspace Administrator memiliki lebih banyak izin daripada yang diperlukan. Berhati-hatilah saat memberikan peran ini. Untuk informasi lebih lanjut tentang cara menambahkan anggota dan menetapkan peran kepada mereka, lihat Tambah anggota ruang kerja dan tetapkan peran kepada mereka.

Batasan

Jenis node ini didukung di wilayah berikut: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), , Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Jerman (Frankfurt), AS (Silicon Valley), dan AS (Virginia).

Langkah 1: Buat Node Redshift

1. Buka halaman DataStudio.

   Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Development and O&M > Data Development. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.

2. Di halaman DataStudio, temukan alur kerja yang diinginkan, klik kanan nama alur kerja, lalu pilih Create Node > Database > Redshift.

3. Di kotak dialog Create Node, konfigurasikan parameter Name dan klik Confirm. Kemudian, Anda dapat menggunakan node yang dibuat untuk mengembangkan dan mengonfigurasi tugas.

Langkah 2: Kembangkan tugas Redshift

(Opsional) Pilih sumber data Redshift

Jika beberapa sumber data Redshift telah ditambahkan ke ruang kerja Anda, Anda harus memilih salah satu dari daftar drop-down Pilih Sumber Data di bagian atas tab konfigurasi node sesuai dengan kebutuhan bisnis Anda. Jika hanya satu sumber data Redshift yang ditambahkan ke ruang kerja Anda, sumber data tersebut akan digunakan untuk mengembangkan tugas.

Kembangkan kode SQL: Contoh sederhana

Di editor kode pada tab konfigurasi node Redshift, tulis kode tugas. Contoh kode:

SELECT * FROM usertablename;

Kembangkan kode SQL: Gunakan parameter penjadwalan

DataWorks menyediakan parameter penjadwalan yang nilainya diganti secara dinamis dalam kode tugas berdasarkan konfigurasi parameter penjadwalan dalam skenario penjadwalan periodik. Anda dapat mendefinisikan variabel dalam kode tugas dalam format ${Variable} dan menetapkan nilai ke variabel di bagian Scheduling Parameter dari tab Properties. Untuk informasi tentang format yang didukung dari parameter penjadwalan dan cara mengonfigurasi parameter penjadwalan, lihat Format yang didukung dari parameter penjadwalan dan Konfigurasi dan penggunaan parameter penjadwalan.

Contoh kode:

SELECT '${var}'; -- Anda dapat menetapkan parameter penjadwalan tertentu ke variabel var.

Langkah 3: Konfigurasi properti penjadwalan tugas

Jika Anda ingin sistem secara berkala menjalankan tugas pada node, klik Properties di panel navigasi kanan pada tab konfigurasi node untuk mengonfigurasi properti penjadwalan tugas berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Ikhtisar.

Langkah 4: Debug kode tugas

Anda dapat melakukan operasi berikut untuk memeriksa apakah tugas dikonfigurasi sesuai harapan berdasarkan kebutuhan bisnis Anda:

1. Opsional. Pilih grup sumber daya dan tetapkan parameter kustom ke variabel.

   • Klik ikon di bilah alat atas pada tab konfigurasi node. Di kotak dialog Parameters, pilih grup sumber daya untuk penjadwalan yang ingin digunakan untuk men-debug dan menjalankan kode tugas.

   • Jika Anda menggunakan parameter penjadwalan dalam kode tugas Anda, tetapkan parameter penjadwalan ke variabel sebagai nilai dalam kode tugas untuk debugging. Untuk informasi lebih lanjut tentang logika penetapan nilai parameter penjadwalan, lihat Prosedur debugging.

2. Simpan dan jalankan kode tugas.

   Di bilah alat atas, klik ikon untuk menyimpan kode tugas. Kemudian, klik ikon untuk menjalankan kode tugas.

3. Opsional. Lakukan pengujian asap.

   Saat Anda mengirimkan node atau setelah Anda mengirimkan node, Anda dapat melakukan pengujian asap pada node di lingkungan pengembangan untuk memeriksa apakah node dijalankan sesuai harapan. Untuk informasi lebih lanjut, lihat Lakukan pengujian asap.

Langkah 5: Kirim dan deploy tugas

Setelah tugas pada node dikonfigurasi, Anda harus mengirimkan dan mendeploy tugas tersebut. Setelah Anda mengirimkan dan mendeploy tugas, sistem akan menjalankan tugas tersebut secara berkala berdasarkan konfigurasi penjadwalan.

1. Klik ikon di bilah alat atas untuk menyimpan tugas.

2. Klik ikon di bilah alat atas untuk mengirimkan tugas pada node.

   Di kotak dialog Submit, konfigurasikan parameter Change description. Kemudian, tentukan apakah akan meninjau kode tugas setelah Anda mengirimkan tugas berdasarkan kebutuhan bisnis Anda.

   Catatan

   • Anda harus mengonfigurasi parameter Rerun dan Parent Nodes di tab Properti sebelum mengirimkan tugas.

   • Anda dapat menggunakan fitur tinjauan kode untuk memastikan kualitas kode tugas dan mencegah kesalahan eksekusi tugas yang disebabkan oleh kode tugas yang tidak valid. Jika Anda mengaktifkan fitur tinjauan kode, kode node yang dikirimkan hanya dapat dideploy setelah lolos tinjauan kode. Untuk informasi lebih lanjut, lihat Tinjauan kode.

Jika Anda menggunakan ruang kerja dalam mode standar, Anda harus mendeploy tugas di lingkungan produksi setelah mengirimkan tugas. Untuk mendeploy tugas pada node, klik Deploy di sudut kanan atas tab konfigurasi node. Untuk informasi lebih lanjut, lihat Deploy tugas.

Apa yang harus dilakukan selanjutnya

O&M Tugas: Setelah Anda mengirimkan dan mendeploy tugas, tugas tersebut dijalankan secara berkala berdasarkan konfigurasi penjadwalan. Anda dapat mengklik Operation Center di sudut kanan atas tab konfigurasi node yang sesuai untuk pergi ke Pusat Operasi dan melihat status penjadwalan tugas. Untuk informasi lebih lanjut, lihat Lihat dan kelola tugas yang dipicu otomatis.