DataWorks memungkinkan Anda membuat node untuk menyinkronkan data dari tabel Hologres tunggal ke MaxCompute. Hal ini membantu Anda menyimpan data besar secara efisien. Topik ini menjelaskan cara mengonfigurasi node untuk menyinkronkan data dari Hologres ke MaxCompute dan memanfaatkan kemampuan pemrosesan berperforma tinggi dari MaxCompute.
Prasyarat
Sebuah proyek MaxCompute dan instance Hologres telah dibuat. Untuk informasi lebih lanjut, lihat Buat Proyek MaxCompute dan Beli Instance Hologres.
Proyek MaxCompute dan instance Hologres terhubung dengan ruang kerja sebagai sumber daya komputasi, dan sumber daya komputasi tersebut telah lulus uji konektivitas jaringan. Untuk informasi lebih lanjut, lihat Hubungkan Sumber Daya Komputasi dengan Ruang Kerja (Participate in Public Preview of Data Studio diaktifkan).
Sebuah node yang digunakan untuk menyinkronkan data ke MaxCompute telah dibuat. Untuk informasi lebih lanjut, lihat Buat Node Pemicu Otomatis.
Batasan
Hanya data dalam database internal di Hologres yang dapat disinkronkan ke MaxCompute.
Untuk informasi tentang batasan penggunaan tabel eksternal Hologres di MaxCompute, lihat Tabel Eksternal Hologres.
Tipe data yang didukung oleh MaxCompute dan Hologres berbeda. Untuk informasi tentang pemetaan antara tipe data MaxCompute dan Hologres, lihat Pemetaan Tipe Data antara MaxCompute dan Hologres.
Konfigurasikan node sinkronisasi
Pergi ke tab konfigurasi node sinkronisasi dan konfigurasikan node sinkronisasi sesuai instruksi berikut:
Konfigurasikan pengaturan terkait sumber
Anda dapat mengonfigurasi sumber berdasarkan deskripsi parameter berikut.
Parameter | Deskripsi |
Source Object Type | Tipe objek dari mana Anda ingin menyinkronkan data. Nilai parameter ini tetap sebagai |
Data Source | Sumber daya komputasi Hologres dari mana Anda ingin menyinkronkan data. |
Instance | ID instance Hologres. Sistem secara otomatis mendapatkan nilai parameter ini, dan nilainya tidak dapat diubah. |
Database | Database Hologres dari mana Anda ingin menyinkronkan data. |
Schema | Skema Hologres dari mana Anda ingin menyinkronkan data. |
Table | Nama tabel dari mana Anda ingin menyinkronkan data. |
Kondisi Filter | Kondisi yang ingin Anda gunakan untuk memfilter data. Sistem secara otomatis menghasilkan kondisi filter berdasarkan tabel partisi yang Anda gunakan. Anda juga dapat memodifikasi kondisi filter berdasarkan kebutuhan bisnis Anda. Data yang memenuhi kondisi filter akan dipertahankan. Catatan Kondisi filter adalah konten klausa setelah |
Konfigurasikan pengaturan terkait tujuan
Anda dapat mengonfigurasi tujuan berdasarkan deskripsi parameter berikut.
Parameter | Deskripsi | |
Data Source | Sumber daya komputasi MaxCompute ke mana Anda ingin menulis data. | |
Project | Proyek MaxCompute yang sesuai dengan sumber daya komputasi MaxCompute. Sistem secara otomatis mendapatkan nilai parameter ini. | |
Schema | Skema MaxCompute di mana Anda ingin menyimpan data. Parameter ini diperlukan hanya jika fitur skema diaktifkan untuk proyek MaxCompute yang ingin Anda gunakan. Jika fitur skema tidak diaktifkan untuk proyek MaxCompute, parameter ini tidak ditampilkan. Untuk informasi tentang cara mengaktifkan fitur skema, lihat Aktifkan fitur skema. | |
Table | Nama tabel internal MaxCompute. Anda dapat mengonfigurasi parameter ini berdasarkan kebutuhan bisnis Anda. | |
Lifecycle | Siklus hidup tabel internal MaxCompute. Dari waktu pembaruan terakhir, jika data dalam tabel internal MaxCompute tidak berubah dalam periode tertentu, MaxCompute secara otomatis memulihkan tabel. | |
Fields | Synchronization Fields | Anda dapat memilih bidang yang ingin Anda sinkronkan dan mengonfigurasi tipe data bidang dalam tabel internal MaxCompute. |
Konfigurasi Partisi | Anda dapat mengonfigurasi kolom kunci partisi tabel internal MaxCompute berdasarkan kebutuhan bisnis Anda. Anda dapat memilih salah satu dari opsi berikut untuk menentukan sumber data dalam kolom kunci partisi:
| |
Konfigurasikan pengaturan sinkronisasi data
Anda dapat mengonfigurasi parameter berikut pada bagian Data Synchronization Settings.
Parameter | Deskripsi |
Import Method | Metode yang ingin Anda gunakan untuk mengimpor data. Nilai valid:
|
Permissions to Access Hologres | Metode yang ingin Anda gunakan untuk mengakses instance Hologres. Nilai valid:
|
Location | Selama sinkronisasi, sistem secara otomatis menghasilkan tabel MaxCompute berdasarkan jalur penyimpanan eksternal Hologres. Anda dapat menggunakan jalur penyimpanan yang dihasilkan secara otomatis atau mengonfigurasi jalur penyimpanan eksternal Hologres berdasarkan kebutuhan bisnis Anda. |
Debug node sinkronisasi
Untuk men-debug dan menjalankan node sinkronisasi, konfigurasikan informasi debug sesuai kebutuhan bisnis Anda.
Konfigurasikan properti untuk men-debug node sinkronisasi.
Anda dapat mengklik Konfigurasi Debugging di panel navigasi kanan tab konfigurasi node sinkronisasi, dan mengonfigurasi parameter berikut.
Parameter
Deskripsi
Computing Resource
Pilih sumber daya komputasi MaxCompute yang terhubung dengan ruang kerja.
Computing Quota
Pilih kuota komputasi yang dihasilkan saat Anda membuat proyek MaxCompute, atau klik Create Computing Quota yang ditampilkan setelah Anda mengklik daftar drop-down untuk membuat kuota komputasi. Untuk informasi lebih lanjut, lihat Kelola kuota untuk sumber daya komputasi di konsol MaxCompute.
Resource Group
Pilih grup sumber daya yang telah lulus uji konektivitas saat Anda menghubungkan sumber daya komputasi MaxCompute dengan ruang kerja.
CUs for Computing
Pertahankan nilai default parameter ini.
Parameter Skrip
Jika Anda mendefinisikan variabel dalam format ${Nama Parameter} dalam kondisi filter, Anda harus mengonfigurasi parameter Parameter Name dan Parameter Value dalam bagian Script Parameters. Saat node sinkronisasi dijalankan, variabel diganti dengan nilai aktual. Untuk informasi lebih lanjut, lihat Penjadwalan Node.
Untuk men-debug dan menjalankan node sinkronisasi, klik Save dan Run.
Apa yang harus dilakukan selanjutnya
Penjadwalan Node: Jika Anda ingin sistem secara berkala menjadwalkan node dalam direktori ruang kerja, Anda perlu mengklik Properti di panel navigasi kanan tab konfigurasi node dan mengonfigurasi parameter dalam bagian Kebijakan Penjadwalan.
Penyebaran Node: Jika Anda ingin menerapkan node ke lingkungan produksi untuk dijalankan, Anda dapat mengklik ikon
di bilah alat atas tab konfigurasi node untuk memulai proses penyebaran. Node dalam direktori ruang kerja dapat dijadwalkan secara berkala hanya setelah diterapkan ke lingkungan produksi.
Informasi tambahan
Ketidakcocokan Tipe Bidang: Jika Anda mengalami masalah ketidakcocokan tipe bidang saat mengonfigurasi node sinkronisasi, node gagal. Anda harus memeriksa apakah tipe data bidang dalam tabel MaxCompute dikonfigurasi dengan benar. Untuk informasi tentang pemetaan antara tipe data MaxCompute dan Hologres, lihat Pemetaan Tipe Data antara MaxCompute dan Hologres.
Ketidaksesuaian antara Data yang Disinkronkan dan Data dalam Partisi yang Ingin Disinkronkan: Anda harus memeriksa apakah kondisi filter dikonfigurasi dengan benar di sumber.