Buat Node Sinkronisasi Data MaxCompute Satu Klik

DataWorks menyediakan Node Sinkronisasi Data MaxCompute satu klik yang memungkinkan Anda menyinkronkan data dari MaxCompute ke database Hologres secara cepat untuk mengaktifkan kueri berkinerja tinggi pada data tabel MaxCompute. Topik ini menjelaskan cara membuat dan mengonfigurasi Node Sinkronisasi Data MaxCompute satu klik.

Informasi latar belakang

Anda dapat mengimpor data dari MaxCompute langsung ke database Hologres menggunakan pernyataan SQL, yang umumnya memberikan kinerja lebih baik. Untuk informasi selengkapnya, lihat Impor data dari MaxCompute menggunakan SQL.

Prasyarat

Anda telah mengaktifkan Proyek MaxCompute dan membuat Instance Hologres.
Anda telah mengikat Proyek MaxCompute dan Instance Hologres sebagai Resource Komputasi DataWorks serta lulus uji konektivitas.

Buat Node Sinkronisasi Data MaxCompute Satu Klik.

Konfigurasikan node sinkronisasi

Konfigurasikan parameter pada halaman konfigurasi Node Sinkronisasi Data MaxCompute satu klik.

Pilih tabel sumber MaxCompute

Konfigurasikan parameter berikut berdasarkan Tabel Sumber yang ingin Anda sinkronkan.

Parameter	Deskripsi
Project	Nama Proyek MaxCompute Anda.
Schema	Schema dari Proyek MaxCompute Anda.
Table name	Nama Tabel Sumber MaxCompute yang akan disinkronkan.
Filter	Sistem secara otomatis menghasilkan Filter Condition berdasarkan Tabel Terpartisi yang Anda gunakan. Anda juga dapat memodifikasi kondisi tersebut sesuai kebutuhan bisnis Anda. Hanya data yang memenuhi Filter Condition yang akan disinkronkan. Catatan Filter Condition berkorespondensi dengan klausa yang mengikuti kata kunci `WHERE` dalam Pernyataan SQL.

Tetapkan tabel tujuan Hologres

Konfigurasikan parameter berikut untuk Tabel Tujuan.

Parameter	Deskripsi
Instance	Instance Hologres tujuan. Pada bagian Select Data Source, tentukan sumber data Hologres yang telah Anda ikat. Sistem secara otomatis mengenali Instance spesifik tersebut. Catatan Setelah memilih sumber data, Anda dapat mengklik Destination Management untuk menuju ke halaman HoloWeb Console (Instance Monitoring), Slow Queries, Active Connection Management, Database Authorization, dan User Management.
Database	Database dari Instance Hologres tujuan.
Schema	`Schema` dari Instance Hologres tujuan.
Table name	Nama tabel internal di Hologres. Jika tabel dengan nama yang ditentukan sudah ada saat pembuatan tabel internal, sistem menanganinya berdasarkan tipe tabel: Jika tabel baru bukan Tabel Terpartisi: DataWorks menghapus tabel asli beserta datanya, lalu membuat ulang tabel tersebut. Jika tabel baru adalah Tabel Terpartisi: Tabel asli beserta datanya dipertahankan. DataWorks membuat Subtabel Terpartisi baru berdasarkan nilai partisi, dan data dimasukkan ke dalam subtabel tersebut. Catatan Jika Schema tabel baru berbeda dari yang asli, sistem melaporkan error.
Fields to synchronize	Pilih bidang tabel yang ingin Anda sinkronkan.
Partition settings	Pilih partisi dari tabel MaxCompute yang akan disinkronkan. Catatan Hologres hanya mendukung partisi tingkat tunggal untuk sinkronisasi data. Jika tabel MaxCompute memiliki beberapa tingkat partisi, DataWorks mengonversinya menjadi satu tingkat partisi dan memetakan kunci partisi tambahan ke bidang reguler di tabel Hologres.
Index settings	Buat Index untuk tabel internal Hologres yang menyimpan data MaxCompute. Anda kemudian dapat menggunakan Index tersebut untuk melakukan kueri data secara cepat. Untuk informasi selengkapnya tentang cara membuat Index, lihat CREATE TABLE.

Konfigurasikan parameter lainnya

Parameter	Deskripsi
GUC parameters	Parameter Grand Unified Configuration (GUC) yang harus ditetapkan sebelum Anda mengimpor data dari MaxCompute. Untuk daftar parameter GUC yang didukung, lihat GUC parameters. Pernyataan SQL lain tidak didukung.
Foreign server	Nilai default: `odps_server`.
SQL script	Skrip SQL yang dihasilkan tidak dapat diedit. Jika Anda memperbarui konfigurasi task sinkronisasi, refresh skrip tersebut untuk menghasilkan Pernyataan SQL baru. DataWorks secara otomatis menghasilkan Pernyataan SQL yang diperlukan untuk menjalankan task sinkronisasi berdasarkan konfigurasi Anda. Anda dapat menyalin pernyataan ini dan menjalankannya di halaman editor SQL di Hologres untuk melakukan task tersebut. Catatan Untuk informasi selengkapnya tentang cara menjalankan task sinkronisasi menggunakan SQL, lihat Impor data dari MaxCompute menggunakan SQL.

Debug node sinkronisasi

Untuk mendebug dan menjalankan node sinkronisasi, konfigurasikan pengaturan yang diperlukan sesuai kebutuhan bisnis Anda.

Konfigurasikan properti node untuk debugging.

Di sisi kanan halaman konfigurasi node, atur Run Configuration dan Resource group. Tabel berikut menjelaskan parameter tersebut.

Parameter	Deskripsi
Compute resource	Pilih Resource Komputasi Hologres yang telah Anda ikat.
Resource group	Pilih Resource Group yang lulus uji konektivitas saat Anda mengikat Resource Komputasi Hologres.
CUs for calculation	Node ini menggunakan jumlah CU default. Anda tidak perlu mengubah nilai ini.
Script parameter	Jika Anda mendefinisikan variabel dalam format `${ParameterName}` pada pengaturan Filter, Anda harus menentukan Parameter Name dan Parameter Value di bagian Script Parameter. Saat waktu proses, sistem secara dinamis mengganti variabel tersebut dengan nilai aktualnya. Untuk informasi selengkapnya, lihat Konfigurasi penjadwalan Node.

Untuk mendebug dan menjalankan node, klik Save lalu klik Run.

Langkah selanjutnya

Konfigurasi penjadwalan Node: Jika node perlu dijalankan secara berkala, konfigurasikan Scheduling Policy dan properti penjadwalan lainnya di panel Scheduling di sebelah kanan.
Deploy the node: Jika task perlu dijalankan di Production Environment, klik ikon untuk memulai proses penerapan. Setelah node diterapkan ke Production Environment, node tersebut akan berjalan sesuai jadwal.
Setelah data disinkronkan dari MaxCompute, Anda dapat menggunakan HoloWeb untuk melakukan kueri terhadap data di tabel Hologres. Untuk informasi selengkapnya, lihat HoloWeb.

FAQ

Pesan error: get table columns occurs Invalid name:xxx.
Solusi: Pastikan nama proyek yang Anda konfigurasikan untuk sumber sudah benar dan tidak mengandung spasi atau karakter tidak valid lainnya.