Gunakan node sinkronisasi DataWorks untuk memigrasikan data dari tabel Hologres ke MaxCompute guna penyimpanan big data yang efisien dan pemrosesan berkinerja tinggi.
Prasyarat
-
Anda telah membuat proyek MaxCompute dan sebuah instans Hologres.
-
Proyek MaxCompute dan instans Hologres telah diikat ke DataWorks sebagai sumber daya komputasi, dan uji konektivitas telah berhasil.
-
Anda telah membuat node untuk menyinkronkan data ke MaxCompute.
Batasan
-
Hanya data dari database internal Hologres yang dapat disinkronkan ke MaxCompute.
-
Untuk batasan penggunaan tabel eksternal Hologres di MaxCompute, lihat tabel eksternal Hologres.
-
Pemetaan tipe data antara MaxCompute dan Hologres berbeda, sehingga beberapa tipe data Hologres tidak dapat disinkronkan ke MaxCompute.
Konfigurasi node sinkronisasi
Pada tab konfigurasi node sinkronisasi, atur pengaturan berikut.
Pilih sumber Hologres
Pilih dan konfigurasikan tabel sumber Hologres.
|
Parameter |
Deskripsi |
|
Source Object Type |
Nilai default-nya adalah |
|
Data Sources |
Pilih sumber daya komputasi Hologres tempat Anda ingin menyinkronkan data. |
|
Instance |
Sistem secara otomatis mengisi bidang ini dengan ID instans Hologres. |
|
Database |
Pilih database Hologres yang ingin Anda sinkronkan. |
|
Schema |
Pilih skema yang ingin Anda sinkronkan. |
|
Table |
Pilih nama tabel yang ingin Anda sinkronkan. |
|
Filtration conditions |
Sistem secara otomatis menghasilkan kondisi filter berdasarkan tabel partisi. Anda dapat memodifikasi kondisi tersebut sesuai kebutuhan. Data yang memenuhi kondisi filter akan dipertahankan. Catatan
Kondisi filter adalah bagian dari pernyataan SQL yang mengikuti klausa |
Tetapkan tujuan MaxCompute
Konfigurasikan tabel tujuan MaxCompute.
|
Parameter |
Deskripsi |
|
|
Data Sources |
Pilih sumber daya komputasi MaxCompute tujuan. |
|
|
Project |
Proyek MaxCompute yang sesuai dengan sumber data. Sistem mengisi nilai ini secara otomatis. |
|
|
Schema |
Pilih skema tempat Anda ingin menyimpan data. Parameter ini hanya tersedia untuk proyek MaxCompute yang telah mengaktifkan model tiga lapis. |
|
|
Table |
Tentukan nama untuk tabel internal MaxCompute. |
|
|
Lifecycle |
Tetapkan siklus hidup tabel. MaxCompute akan mereklaim tabel jika datanya tidak dimodifikasi dalam periode yang ditentukan. |
|
|
Field |
Synchronization Field |
Pilih bidang yang ingin Anda sinkronkan dan tetapkan tipe data untuk bidang tersebut di tabel tujuan MaxCompute. |
|
Partition Configurations |
Tentukan kolom partisi untuk tabel internal di MaxCompute. Anda dapat memperoleh data partisi dari salah satu sumber berikut:
|
|
Konfigurasi sinkronisasi data
Pada bagian Data Synchronization Settings, konfigurasikan metode impor dan izin akses untuk instans Hologres.
|
Parameter |
Deskripsi |
|
Import Method |
Pilih salah satu metode impor berikut:
|
|
Access Hologres permissions |
Pilih salah satu metode berikut untuk mengakses instans Hologres:
|
|
Location |
Saat sinkronisasi, sistem secara otomatis membuat tabel MaxCompute berdasarkan path penyimpanan eksternal Hologres. Anda dapat menggunakan path penyimpanan default yang dihasilkan sistem atau menentukan path kustom. |
Debug node sinkronisasi
Sebelum menjalankan node, konfigurasikan pengaturan debug.
-
Konfigurasikan properti untuk eksekusi debug.
Pada panel Run Configuration di sisi kanan tab konfigurasi node, atur Compute Resource dan Resource Group. Tabel berikut menjelaskan parameter tersebut.
Parameter
Deskripsi
Compute Resource
Pilih sumber daya komputasi MaxCompute yang telah diikat.
Computing Quota
Pilih kuota komputasi yang dihasilkan saat Anda membuat proyek MaxCompute, atau klik Create Computing Quota di bagian bawah daftar drop-down untuk membuat yang baru. Untuk informasi lebih lanjut, lihat Sumber daya komputasi - Manajemen kuota.
Resource Group
Pilih kelompok sumber daya yang lulus uji konektivitas saat Anda mengikat sumber daya komputasi MaxCompute.
CUs for Scheduling
Node ini menggunakan nilai CU penjadwalan default. Anda tidak perlu mengubahnya.
Parameters
Jika Anda menggunakan variabel dalam format ${Nama Parameter} pada kondisi filter, Anda harus menentukan nilainya di bawah Parameter name dan Parameter Value pada bagian Script Parameters. Saat waktu proses, sistem secara dinamis mengganti variabel ini dengan nilai yang telah dikonfigurasi. Untuk informasi lebih lanjut, lihat Konfigurasi penjadwalan node.
-
Untuk melakukan debug dan menjalankan tugas node, klik Save lalu klik Run.
Langkah selanjutnya
-
Untuk menjalankan node secara berkala, konfigurasikan properti penjadwalannya di panel Scheduling Settings di sisi kanan. Tetapkan Scheduling Policy dan properti penjadwalan terkait. Lihat Konfigurasi penjadwalan node.
-
Untuk menjalankan tugas di lingkungan produksi, klik ikon
untuk memulai proses penerapan. Node dalam suatu proyek hanya berjalan sesuai jadwal setelah diterapkan ke lingkungan produksi. Lihat Penerapan node.
FAQ
-
Ketidakcocokan tipe bidang: Jika tugas sinkronisasi gagal karena ketidakcocokan tipe data, periksa apakah tipe data bidang pada tabel MaxCompute telah dikonfigurasi dengan benar.
-
Data tidak konsisten dalam satu partisi yang disinkronkan: Periksa apakah kondisi filter sumber telah dikonfigurasi dengan benar.