DataWorks:Sinkronisasi data dari node MaxCompute

Prasyarat

• Anda telah mengaitkan resource komputasi MaxCompute.

• Anda telah mengaitkan resource komputasi Hologres.

Buat node sinkronisasi data tabel

1. Masuk ke Konsol DataWorks. Di wilayah target, klik Data Development and O&M > Data Development di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.

2. Buat Workflow.

   Jika Anda sudah memiliki Workflow, lewati langkah ini.

   1. Arahkan kursor ke ikon dan pilih Create Workflow.

   2. Di kotak dialog Create Workflow, masukkan Workflow Name.

   3. Klik Create.

3. Buat node Data Synchronization from MaxCompute.

   1. Arahkan kursor ke ikon dan pilih Create Node > Hologres > Data Synchronization from MaxCompute.

      Anda juga dapat menemukan dan mengklik kanan workflow target, lalu pilih Create Node > Hologres > Data Synchronization from MaxCompute.

   2. Di kotak dialog Create Node, masukkan Name dan pilih Engine Instance, Node Type, dan Path.

   3. Klik OK untuk membuka halaman konfigurasi node.

4. Konfigurasikan node.

   Di halaman konfigurasi node, tentukan tabel sumber MaxCompute, tabel tujuan, pengaturan sinkronisasi, dan skrip SQL.

   Halaman konfigurasi terdiri dari beberapa bagian. Di bagian Hologres Destination Data Source Settings, pilih Data Source Connection dan Database. Di bagian MaxCompute Source Table Selection, pilih External Table Source dan tentukan External Server, MaxCompute Project, MaxCompute Schema, MaxCompute Table Name, serta Filter Condition. Bagian Hologres Destination Table Settings memungkinkan Anda mengonfigurasi Schema, Table Name, dan Table Description. Anda dapat menentukan parameter GUC di bagian Import GUC Parameter Settings dalam format set <GUC>=<values>;. Terakhir, bagian Synchronization Settings berisi tab Synchronization Fields, Partition Configuration, dan Index Configuration.

   1. Konfigurasi informasi tabel sumber.

      Anda menentukan data MaxCompute yang akan disinkronkan dengan memetakan tabel sumber ke tabel eksternal Hologres.

      Parameter	Deskripsi
      Data Source	Instans Hologres yang berisi tabel eksternal.
      Database	Database dalam instans Hologres yang berisi tabel eksternal.

   2. Pilih tabel sumber MaxCompute.

      Parameter

      Deskripsi

      Source of External Table

      Tentukan apakah akan menggunakan tabel eksternal Hologres yang sudah ada atau membuat yang baru. Tabel ini menautkan tabel sumber MaxCompute ke tabel internal Hologres untuk sinkronisasi data. Existing External Table: Pilih opsi ini jika tabel eksternal yang sesuai sudah tersedia. Anda harus memilih skema dan nama tabel eksternal yang ada. Create External Table: Node Data Synchronization from MaxCompute menggunakan tabel eksternal Hologres untuk mempercepat kueri pada data tabel MaxCompute. Pilih opsi ini jika tabel eksternal Hologres belum tersedia. Jika Anda memilih opsi ini, Anda harus mengonfigurasi server yang digunakan untuk membuat tabel eksternal, serta menentukan nama proyek dan nama tabel MaxCompute. Catatan Anda dapat menggunakan odps_server external server bawaan, yang telah dibuat sebelumnya di Hologres. Untuk informasi lebih lanjut mengenai prinsipnya, lihat postgres_fdw.

   3. Konfigurasi tabel tujuan Hologres.

      Anda membuat tabel internal Hologres untuk menyimpan data dari MaxCompute.

      Parameter	Deskripsi
      Schema	schema tempat tabel internal Hologres berada.
      Table Name	Nama tabel internal Hologres. Jika tabel dengan nama yang sama sudah ada, perilaku sistem saat pembuatan bergantung pada jenis tabel: Untuk tabel non-partisi: Hologres menghapus tabel internal yang sudah ada beserta datanya, lalu membuat tabel baru. Untuk tabel partisi: Tabel yang sudah ada beserta datanya tidak dihapus. Sebagai gantinya, Hologres membuat sub-tabel partisi berdasarkan nilai partisi dan mengimpor data tersebut. Catatan Terjadi error jika skema tabel baru berbeda dari skema tabel yang sudah ada.
      Table Description	Deskripsi tabel internal Hologres.

   4. Konfigurasi pengaturan sinkronisasi.

      Pengaturan ini menentukan cara data dari tabel MaxCompute disinkronkan.

      Tab	Deskripsi
      Synchronization Field	Pilih kolom dari tabel MaxCompute yang akan disinkronkan.
      Partition Configurations	Pilih partisi dari tabel MaxCompute yang ingin disinkronkan. Catatan Hologres hanya mendukung partisi level-1. Jika tabel MaxCompute memiliki partisi multi-level, Hologres memetakannya ke partisi level-1. Kolom partisi tambahan secara otomatis dipetakan ke kolom biasa.
      Index Configuration	Buat indeks untuk tabel tujuan Hologres guna mempercepat kueri data. Untuk informasi lebih lanjut tentang cara membuat indeks, lihat CREATE TABLE.

   5. Hasilkan skrip SQL.

      DataWorks secara otomatis mengurai pengaturan Anda dan menghasilkan pernyataan SQL untuk tugas tersebut. Anda dapat menjalankan pernyataan ini di editor kode Hologres untuk melakukan sinkronisasi.

      Catatan

      • Skrip SQL yang dihasilkan bersifat read-only. Jika Anda memperbarui pengaturan sinkronisasi, refresh skrip SQL untuk menghasilkan pernyataan SQL baru.

      • Untuk informasi lebih lanjut tentang cara menjalankan tugas sinkronisasi menggunakan SQL, lihat Impor data dari MaxCompute menggunakan SQL.

5. Konfigurasi properti penjadwalan untuk tugas.

   Untuk menjalankan node secara berkala, klik Scheduling di panel sebelah kanan dan konfigurasi properti penjadwalannya:

   • Konfigurasi properti penjadwalan dasar untuk tugas. Untuk informasi selengkapnya, lihat Konfigurasi properti dasar.

   • Konfigurasi siklus penjadwalan, properti jalankan ulang, dan dependensi. Untuk informasi selengkapnya, lihat Konfigurasi properti waktu dan Konfigurasi dependensi penjadwalan siklus yang sama.

     Catatan

     Anda harus mengatur Rerun attribute dan Parent Nodes untuk node sebelum dapat meng-commit-nya.

   • Konfigurasi properti resource. Untuk informasi selengkapnya, lihat Konfigurasi properti resource. Untuk mengakses sumber data MySQL melalui internet publik atau VPC, pilih kelompok sumber daya penjadwalan yang memiliki konektivitas jaringan ke sumber data MySQL tersebut. Untuk informasi selengkapnya, lihat Solusi konektivitas jaringan.

6. Simpan dan jalankan node.

   1. Di bilah alat atas halaman konfigurasi node, klik ikon untuk menyimpan konfigurasi node.

   2. Di bilah alat atas halaman konfigurasi node, klik ikon untuk menyinkronkan data MaxCompute.

   Jika Anda menggunakan ruang kerja dalam mode standar, setelah tugas di-commit, klik Deploy di pojok kiri atas bilah alat untuk men-deploy tugas ke lingkungan produksi. Untuk informasi selengkapnya, lihat Deploy tasks.

7. Lihat tugas terjadwal.

   1. Di pojok kanan atas editor, klik O&M Personnel untuk membuka Pusat Operasi lingkungan produksi.

   2. Lihat tugas terjadwal yang sedang berjalan. Untuk informasi selengkapnya, lihat Kelola tugas terjadwal.

   Untuk melihat detail lebih lanjut tentang tugas terjadwal, klik Operation Center di bilah menu atas. Untuk informasi selengkapnya, lihat Ikhtisar Operation Center.