Gunakan node sinkronisasi data DataWorks untuk menyinkronkan data dari tabel MaxCompute ke Hologres guna mendukung analitik data besar yang efisien dan kueri real-time. Topik ini menjelaskan cara mengonfigurasi node tersebut, memigrasikan data Anda, serta memanfaatkan kemampuan kueri berkinerja tinggi dari Hologres.
Latar Belakang
Saat menggunakan fitur ini untuk menyinkronkan data dari Tabel Internal MaxCompute ke Tabel Internal Hologres, data terlebih dahulu diimpor ke Tabel Eksternal Hologres lalu disinkronkan ke Tabel Internal tersebut. Proses sinkronisasi data dari MaxCompute ke Tabel Eksternal Hologres dilakukan menggunakan perintah IMPORT FOREIGN SCHEMA.
Prasyarat
Anda telah membuat proyek MaxCompute dan sebuah instans Hologres.
Proyek MaxCompute dan instans Hologres Anda telah diikat ke DataWorks sebagai resource komputasi dan telah lulus Uji Konektivitas.
Batasan
Anda hanya dapat membuat dan membaca data dari Tabel Eksternal jika Tabel Sumber MaxCompute tersedia.
Buat node sinkronisasi
Sebelum mengonfigurasi node sinkronisasi data, buat node sinkronisasi untuk Hologres dan buka halaman konfigurasinya.
Kelola sumber data tujuan
Pada halaman konfigurasi node sinkronisasi data, Anda dapat mengelola sumber data tujuan.
Pada daftar dropdown di sebelah Data Source, pilih sumber data Hologres tujuan yang telah Anda ikat.
Klik Destination Management dan pilih operasi pada kotak dialog yang muncul:
HoloWeb (Instance Monitoring): Gunakan ini untuk mengelola instans Hologres tujuan di konsol HoloWeb.
Slow Query: Gunakan ini untuk melihat dan menganalisis historis kueri lambat pada instans Hologres tujuan secara visual.
Active Connection Management: Gunakan ini untuk mendiagnosis dan mengelola koneksi ke instans Hologres tujuan.
Database Authorization: Gunakan ini untuk menambahkan database baru ke instans Hologres tujuan atau memberikan izin pada database tersebut.
User management: Gunakan ini untuk menambah atau menghapus pengguna pada instans Hologres tujuan serta memberikan izin melalui modul User Management di HoloWeb.
Konfigurasikan node sinkronisasi
Setelah memilih sumber data tujuan, ikuti langkah-langkah berikut untuk mengonfigurasi tugas sinkronisasi pada halaman konfigurasi node.
Pilih tabel sumber MaxCompute
Gunakan deskripsi parameter berikut untuk memilih dan mengonfigurasi Tabel Sumber MaxCompute.
Parameter | Deskripsi |
Source Object Type | Nilai default-nya adalah |
Project | Pilih proyek MaxCompute yang berisi data yang ingin Anda sinkronkan. |
Schema | Pilih nama skema yang akan digunakan. |
Table | Pilih nama tabel yang akan disinkronkan. |
Filter Condition | Sistem secara otomatis menghasilkan kondisi filter berdasarkan Tabel Terpartisi yang dipilih. Anda juga dapat mengubahnya sesuai kebutuhan. Hanya data yang memenuhi kondisi ini yang akan disinkronkan. Catatan Kondisi filter merupakan isi yang mengikuti klausa |
Konfigurasi tabel tujuan Hologres
Gunakan deskripsi parameter berikut untuk mengonfigurasi tabel tujuan Hologres.
Parameter | Deskripsi | |
Instance | Sistem secara otomatis mengisi bidang ini berdasarkan sumber data yang dipilih pada langkah "Kelola sumber data tujuan". | |
Database | Sistem secara otomatis mengisi bidang ini berdasarkan sumber data yang dipilih pada langkah "Kelola sumber data tujuan". | |
Schema | Tentukan skema tempat Tabel Internal Hologres berada. | |
Table | Tentukan nama untuk Tabel Internal Hologres. Jika tabel dengan nama yang sama sudah ada, tindakan sistem bergantung pada jenis tabel tersebut:
Catatan Terjadi kesalahan jika skema tabel baru berbeda dari tabel yang sudah ada. | |
Field | Synchronization Field | Pilih bidang yang akan disinkronkan dan tetapkan tipe data untuk setiap bidang di tabel tujuan Hologres. |
Partition Configuration | Pilih bidang kunci partisi untuk tabel baru. | |
Index Configuration | Buat indeks pada Tabel Internal Hologres untuk mempercepat kueri. Untuk informasi lebih lanjut tentang pembuatan indeks, lihat CREATE TABLE.
| |
Konfigurasi pengaturan advanced
Pada bagian Advanced, Anda dapat mengonfigurasi parameter GUC dan server eksternal.
Parameter | Deskripsi |
GUC Parameter | Anda harus menetapkan parameter GUC tertentu sebelum mengimpor data dari MaxCompute. Untuk daftar parameter GUC yang didukung, lihat GUC parameters. Pernyataan SQL lainnya tidak didukung. |
External Server | Nilai default-nya adalah |
Jalankan dan debug node sinkronisasi
Untuk menjalankan dan men-debug tugas sinkronisasi, konfigurasikan properti node tersebut.
Konfigurasikan properti node.
Pada tab Run Configuration, konfigurasikan Compute Engine Instance dan Resource Group. Tabel berikut menjelaskan parameter-parameter tersebut.
Parameter
Deskripsi
Compute Engine Instance
Pilih resource komputasi Hologres yang telah Anda ikat.
Resource Group
Pilih kelompok sumber daya yang telah lulus Uji Konektivitas saat Anda mengikat resource komputasi Hologres.
Compute CU
Tetapkan jumlah unit komputasi (CUs) yang diperlukan untuk menjalankan tugas. Nilai default-nya adalah
0.25.Parameter
Jika Anda menentukan variabel dalam format
${ParameterName}pada kondisi filter, Anda harus mengonfigurasi Parameter Name dan Parameter Value pada bagian Parameters. Saat tugas dijalankan, variabel tersebut akan diganti secara dinamis dengan nilai aktualnya. Untuk informasi lebih lanjut, lihat Node scheduling configuration.Untuk menjalankan tugas node, klik Save lalu klik Run.
Langkah selanjutnya
Node scheduling configuration: Jika node perlu dijalankan secara berkala, konfigurasikan penjadwalan dengan menetapkan Scheduling Policy pada tab Schedule di sisi kanan halaman.
Deploy a node: Untuk menjalankan tugas di Lingkungan Produksi, klik ikon
untuk membuka kotak dialog deployment. Setelah deployment, node akan dijalankan secara berkala sesuai konfigurasi penjadwalannya.
FAQ
Ketidakcocokan tipe data bidang: Jika terjadi ketidakcocokan tipe data bidang selama konfigurasi, tugas sinkronisasi akan gagal. Pastikan tipe data bidang pada tabel Hologres dikonfigurasi dengan benar.
Data tidak konsisten setelah menyinkronkan satu partisi: Pastikan kondisi filter sumber sudah benar.