Node Sinkronisasi Data ke MaxCompute di DataWorks memungkinkan Anda memigrasikan data dari tabel internal Hologres ke MaxCompute untuk penyimpanan big data yang efisien. Topik ini menjelaskan proses konfigurasi agar Anda dapat dengan mudah memigrasikan data dan memanfaatkan sepenuhnya pemrosesan berkinerja tinggi MaxCompute.
Prasyarat
Anda telah membuat Proyek MaxCompute dan Instance Hologres.
Anda telah mengikat Proyek MaxCompute dan Instance Hologres sebagai Compute Resource DataWorks serta menyelesaikan uji konektivitas.
Anda telah membuat Node Sinkronisasi Data ke MaxCompute.
Batasan
Anda hanya dapat menyinkronkan data dari Tabel Internal Hologres ke MaxCompute.
Untuk batasan penggunaan Tabel Eksternal Hologres di MaxCompute, lihat tabel eksternal Hologres.
Karena pemetaan tipe data antara MaxCompute dan Hologres berbeda, beberapa tipe data Hologres tidak dapat disinkronkan ke MaxCompute.
Konfigurasikan node sinkronisasi
Pada halaman pengeditan node, konfigurasikan sebagai berikut.
Konfigurasikan sumber Hologres
Gunakan deskripsi parameter berikut untuk memilih dan mengonfigurasi tabel sumber Hologres.
Parameter | Deskripsi |
Source Object Type | Default-nya adalah |
Data Source | Pilih Compute Resource Hologres yang berisi data sumber. |
Instance | ID Instance Hologres. Sistem akan mengisi nilai ini secara otomatis. |
Database | Pilih Database Hologres yang ingin Anda sinkronkan. |
Schema | Pilih schema yang ingin Anda sinkronkan. |
Table | Pilih nama tabel yang ingin Anda sinkronkan. |
Filter | Sistem secara otomatis menghasilkan Filter berdasarkan tabel partisi Anda. Anda dapat menyesuaikannya sesuai kebutuhan. Hanya data yang memenuhi kriteria Filter yang akan disinkronkan. Catatan Filter ini sesuai dengan klausa |
Konfigurasikan tujuan MaxCompute
Gunakan deskripsi parameter berikut untuk mengonfigurasi tabel tujuan MaxCompute.
Parameter | Deskripsi | |
Data Source | Pilih Compute Resource MaxCompute target untuk sinkronisasi. | |
Project | Proyek MaxCompute yang sesuai dengan Data Source. Sistem akan mengisi nilai ini secara otomatis. | |
Schema | Pilih schema tempat Anda ingin menyimpan data. Parameter ini wajib diisi untuk Proyek MaxCompute yang telah mengaktifkan model tiga lapis. Parameter ini tidak tersedia untuk proyek yang belum mengaktifkan model tiga lapis. | |
Table | Tentukan nama kustom untuk Tabel Internal MaxCompute. | |
Lifecycle | Atur Lifecycle tabel. Jika data dalam tabel tidak dimodifikasi dalam periode yang ditentukan, MaxCompute akan secara otomatis mereklaim tabel tersebut. | |
Field | Fields to Synchronize | Pilih bidang yang ingin Anda sinkronkan dan atur Tipe Datanya di tabel Tujuan MaxCompute. |
Partition Settings | Anda dapat menyesuaikan Kunci Partisi untuk Tabel Internal MaxCompute. Data partisi dapat berasal dari cara-cara berikut:
| |
Konfigurasikan pengaturan sinkronisasi
Pada bagian Data Synchronization Settings, konfigurasikan metode impor dan izin akses Instance Hologres. Tabel berikut menjelaskan parameter-parameternya.
Parameter | Deskripsi |
Import Method | Untuk mengimpor data, pilih salah satu metode berikut:
|
Hologres Access Permission | Untuk mengakses Instance Hologres, pilih salah satu metode berikut:
|
Location | Selama proses sinkronisasi, sistem secara otomatis membuat tabel MaxCompute berdasarkan path penyimpanan eksternal Hologres. Anda dapat menggunakan path penyimpanan default yang dihasilkan sistem atau menentukan path penyimpanan eksternal Hologres kustom. |
Debug node sinkronisasi
Untuk melakukan debug dan menjalankan node, konfigurasikan informasi debugging sesuai kebutuhan.
Konfigurasikan properti untuk debugging node.
Pada panel kanan Run Configuration di editor node, konfigurasikan informasi Compute Resource dan Resource Group. Tabel berikut menjelaskan parameter-parameternya.
Parameter
Deskripsi
Compute Resource
Pilih Compute Resource MaxCompute yang telah diikat.
Computing Quota
Pilih kuota komputasi yang dihasilkan saat Anda membuat Proyek MaxCompute, atau klik Create Computing Quota di bagian bawah daftar drop-down untuk membuat yang baru. Untuk informasi lebih lanjut, lihat Kelola kuota komputasi.
Resource Group
Pilih Resource Group yang telah berhasil lulus uji konektivitas saat Anda mengikat Compute Resource MaxCompute.
Compute CU
Node menggunakan nilai CU default. Tidak perlu modifikasi.
Scheduling Parameters
Jika Anda mendefinisikan variabel dalam Filter menggunakan format
${Parameter Name}, Anda harus mengonfigurasi Parameter Name dan Parameter Value di bagian Scheduling Parameters. Saat waktu proses, variabel tersebut akan diganti secara dinamis dengan nilai aktualnya. Untuk informasi lebih lanjut, lihat Konfigurasi penjadwalan node.Untuk melakukan debug dan menjalankan tugas node, klik Save lalu Run.
Langkah selanjutnya
Konfigurasi penjadwalan node：Jika node dalam direktori Proyek perlu dijalankan secara berkala, Anda harus mengonfigurasi Scheduling Policy dan properti penjadwalan terkait di panel Schedule di sisi kanan editor node. Untuk informasi lebih lanjut, lihat
Publikasikan node：Untuk memublikasikan node, klik ikon
untuk memulai proses penerbitan. Setelah Anda memublikasikan node dalam direktori Proyek ke Lingkungan Produksi, node tersebut akan berjalan secara berkala berdasarkan konfigurasi penjadwalannya. Untuk informasi lebih lanjut, lihat
FAQ
Ketidaksesuaian tipe bidang: Jika Anda mengalami ketidaksesuaian tipe data selama konfigurasi, tugas sinkronisasi akan gagal. Pastikan konfigurasi tipe data bidang untuk tabel MaxCompute sudah benar.
Data tidak konsisten untuk satu partisi: Jika data yang disinkronkan untuk satu partisi tidak sesuai dengan data aktual, periksa apakah filter yang Anda konfigurasikan untuk sumber sudah benar.