DataWorks:Buat Node untuk Mensinkronkan Data MaxCompute dengan Beberapa Klik

Prasyarat

• Sumber daya komputasi MaxCompute telah dikaitkan dengan DataStudio.

• Sumber daya komputasi Hologres telah dikaitkan dengan DataStudio.

Buat Node untuk Mensinkronkan Data MaxCompute ke Hologres

1. Buka halaman DataStudio.

   Masuk ke konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sisi kiri, pilih Data Development and O&M > Data Development. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.

2. Buat workflow.

   Jika Anda sudah memiliki workflow, lewati langkah ini.

   1. Gerakkan pointer di atas ikon dan pilih Create Workflow.

   2. Di kotak dialog Create Workflow, konfigurasikan parameter Workflow Name.

   3. Klik Create.

3. Buat a node to synchronize MaxCompute data to Hologres .

   1. Gerakkan pointer di atas ikon dan pilih Create Node > Hologres > Data Synchronization from MaxCompute.

      Anda juga dapat menemukan alur kerja yang diinginkan, klik kanan nama alur kerja, dan pilih Create Node > Hologres > Data Synchronization from MaxCompute.

   2. Di kotak dialog Create Node, konfigurasikan parameter Name, Engine Instance, Node Type, dan Path.

   3. Klik Confirm. Tab konfigurasi node akan muncul.

4. Konfigurasikan informasi node.

   Di tab konfigurasi node, konfigurasikan informasi tentang tabel sumber MaxCompute, tabel tujuan, kebijakan sinkronisasi data, dan pernyataan SQL.

   1. Konfigurasikan parameter di bagian Pengaturan untuk Tabel Sumber (MaxCompute).

      Bagian ini digunakan untuk menentukan tabel MaxCompute yang menjadi asal data yang akan disinkronkan. Parameter utama dijelaskan sebagai berikut:

      Parameter	Deskripsi
      Data Source	Instansi Hologres tempat tabel eksternal Hologres berada.
      Database	Database dalam instansi Hologres tempat tabel eksternal disimpan.

   2. Pilih tabel sumber MaxCompute.

      Parameter

      Deskripsi

      Source of External Table

      Sumber tabel eksternal Hologres. Tabel eksternal Hologres dipetakan ke tabel sumber MaxCompute dan digunakan untuk mensinkronkan data tabel sumber MaxCompute ke tabel internal Hologres. Nilai valid: Existing External Table: Anda dapat memilih opsi ini jika tabel eksternal yang ingin Anda gunakan sudah ada. Jika Anda memilih opsi ini, Anda harus menentukan skema dan nama tabel eksternal. Create External Table: Anda harus memilih opsi ini jika tidak ada tabel eksternal Hologres yang memetakan ke tabel sumber MaxCompute. Jika Anda memilih opsi ini, Anda harus menentukan server yang digunakan oleh tabel eksternal, nama proyek MaxCompute tempat tabel sumber MaxCompute milik, dan nama tabel sumber MaxCompute. Catatan Anda dapat menggunakan server odps_server yang dibuat di lapisan bawah Hologres. Untuk informasi lebih lanjut, lihat postgres_fdw.

   3. Konfigurasikan parameter di bagian Pengaturan untuk Tabel Tujuan (Hologres).

      Parameter yang Anda konfigurasikan di bagian ini digunakan untuk membuat tabel internal Hologres tempat Anda ingin menyimpan data yang disinkronkan.

      Parameter	Deskripsi
      Schema	skema tempat tabel internal Hologres milik.
      Table Name	Nama tabel internal Hologres. Jika nama tabel internal yang Anda tentukan sudah ada, Hologres memproses tabel internal yang ada berdasarkan kebijakan berikut: Tabel non-partisi: Hologres menghapus tabel internal yang ada dan membuat tabel internal baru dengan nama yang sama. Tabel partisi: Hologres tidak menghapus tabel internal yang ada. Hologres membuat partisi di tabel berdasarkan nilai partisi dan mensinkronkan data ke partisi baru. Catatan Kesalahan dilaporkan jika skema tabel internal yang dibuat berbeda dengan skema tabel internal yang ada dengan nama yang sama.
      Table Description	Deskripsi tabel internal Hologres.

   4. Konfigurasikan parameter di bagian Pengaturan Sinkronisasi.

      Parameter yang Anda konfigurasikan di bagian ini menentukan kebijakan yang digunakan untuk mensinkronkan data MaxCompute ke Hologres.

      Tab	Deskripsi
      Synchronization Field	Pilih bidang di tabel sumber MaxCompute dari mana Anda ingin mensinkronkan data.
      Partition Configurations	Pilih partisi di tabel sumber MaxCompute dari mana Anda ingin mensinkronkan data. Catatan Hologres memungkinkan Anda mensinkronkan data hanya dari partisi level-1 di tabel sumber MaxCompute. Jika tabel sumber MaxCompute berisi beberapa level partisi, Anda harus menentukan bidang partisi level-1 tabel sumber MaxCompute untuk tabel tujuan. Bidang partisi lainnya di tabel sumber MaxCompute dipetakan ke bidang umum di tabel tujuan.
      Index Configuration	Konfigurasikan indeks untuk tabel internal Hologres untuk menyimpan data MaxCompute yang disinkronkan. Anda dapat mengkueri data berdasarkan indeks. Untuk informasi lebih lanjut tentang cara membuat indeks, lihat CREATE TABLE.

   5. Hasilkan skrip SQL.

      DataWorks mengurai pernyataan SQL yang digunakan untuk menjalankan node sinkronisasi data saat ini berdasarkan konfigurasi sinkronisasi. Anda dapat pergi ke editor kode Hologres dan menjalankan node sinkronisasi data dalam mode SQL.

      Catatan

      • Anda tidak dapat mengedit skrip SQL yang dihasilkan. Jika konfigurasi sinkronisasi node sinkronisasi data berubah, klik Refresh untuk menghasilkan pernyataan SQL baru.

      • Untuk informasi lebih lanjut tentang cara menjalankan node sinkronisasi data dalam mode SQL, lihat Impor data dari MaxCompute ke Hologres dengan mengeksekusi pernyataan SQL.

5. Konfigurasikan properti penjadwalan tugas.

   Jika Anda ingin sistem secara berkala menjalankan tugas pada node, Anda dapat mengklik Properties di panel navigasi sisi kanan di tab konfigurasi node untuk mengonfigurasi properti penjadwalan tugas berdasarkan kebutuhan bisnis Anda.

   • Konfigurasikan properti dasar untuk tugas. Untuk informasi lebih lanjut, lihat Konfigurasikan properti dasar.

   • Konfigurasikan siklus penjadwalan, properti ulang, dan dependensi penjadwalan. Untuk informasi lebih lanjut, lihat Konfigurasikan properti waktu dan Konfigurasikan dependensi penjadwalan siklus yang sama.

     Catatan

     Anda harus mengonfigurasi parameter Rerun dan Parent Nodes di tab Properti sebelum Anda mengirimkan tugas.

   • Konfigurasikan properti sumber daya. Untuk informasi lebih lanjut, lihat Konfigurasikan properti sumber daya. Jika Anda ingin mengakses sumber data MySQL melalui Internet atau VPC, Anda harus menggunakan grup sumber daya eksklusif untuk penjadwalan yang terhubung ke sumber data MySQL untuk menjalankan tugas pada node MySQL. Untuk informasi lebih lanjut, lihat Solusi konektivitas jaringan.

6. Simpan dan jalankan node.

   1. Di bilah navigasi atas tab konfigurasi node, klik ikon untuk menyimpan node.

   2. Di bilah navigasi atas tab konfigurasi node, klik ikon untuk menjalankan node.

   Jika node sinkronisasi data dibuat di ruang kerja dalam mode standar, Anda harus mengklik Deploy di bilah navigasi atas untuk menerapkan node ke lingkungan produksi setelah Anda mengirimkan node. Untuk informasi lebih lanjut, lihat Deploy node.

7. Lihat tugas.

   1. Klik Operation Center di sudut kanan atas tab konfigurasi node yang sesuai untuk pergi ke Pusat Operasi di lingkungan produksi.

   2. Lihat tugas yang dijadwalkan. Untuk informasi lebih lanjut, lihat Lihat dan kelola tugas yang dipicu otomatis.

   Untuk melihat lebih banyak informasi tentang tugas, klik Operation Center di bilah navigasi atas halaman DataStudio. Untuk informasi lebih lanjut, lihat Ikhtisar.