DataWorks memungkinkan Anda membuat node untuk menyinkronkan data dari tabel MaxCompute ke Hologres. Ini membantu Anda melakukan analisis data besar dan kueri real-time secara efisien. Topik ini menjelaskan cara mengonfigurasi node untuk menyinkronkan data dari MaxCompute ke Hologres serta memanfaatkan kemampuan kueri berperforma tinggi Hologres.
Informasi latar belakang
Saat menjalankan node untuk menyinkronkan data dari tabel internal MaxCompute ke tabel internal Hologres, data terlebih dahulu diimpor ke tabel asing Hologres, lalu disinkronkan dari tabel asing ke tabel internal Hologres. Sinkronisasi data dari MaxCompute ke tabel asing Hologres dilakukan dengan mengeksekusi pernyataan IMPORT FOREIGN SCHEMA.
Prasyarat
Proyek MaxCompute dan instance Hologres telah dibuat. Untuk informasi lebih lanjut, lihat Buat Proyek MaxCompute dan Beli Instance Hologres.
Proyek MaxCompute dan instance Hologres terhubung dengan ruang kerja sebagai sumber daya komputasi, dan sumber daya komputasi tersebut telah lulus uji konektivitas jaringan. Untuk informasi lebih lanjut, lihat Hubungkan Sumber Daya Komputasi dengan Ruang Kerja (Participate in Public Preview of Data Studio diaktifkan).
Batasan
Anda hanya dapat membuat tabel asing Hologres dan membaca data dari tabel asing tersebut jika tabel internal MaxCompute yang terkait tersedia.
Buat node sinkronisasi
Pertama-tama, buat node yang digunakan untuk menyinkronkan data ke Hologres dan masuk ke tab konfigurasi node. Untuk informasi lebih lanjut, lihat Buat Node Pemicu Otomatis.
Kelola sumber data Hologres
Setelah data disinkronkan ke Hologres, Anda dapat melakukan operasi berikut untuk mengelola sumber data Hologres pada tab konfigurasi node sinkronisasi:
Pilih sumber data Hologres yang dihasilkan setelah menghubungkan instance Hologres dengan ruang kerja sebagai sumber daya komputasi dari daftar drop-down Connections.
Klik Pages for Managing Destination di sebelah daftar drop-down dan lakukan operasi pada instance Hologres yang sesuai dengan sumber data Hologres dengan memilih opsi berikut:
Konsol Holo (pemantauan instans): Memungkinkan Anda mengelola instans Hologres di konsol Hologres.
Kueri Lambat: Memungkinkan Anda melihat dan menganalisis kueri lambat historis dari instance Hologres secara visual.
Manajemen Koneksi Aktif: Memungkinkan Anda mendiagnosis dan mengelola koneksi dalam instance Hologres.
Otorisasi DB: Memungkinkan Anda membuat database dalam instance Hologres atau memberikan izin pada database yang dibuat dalam instance Hologres.
Manajemen Pengguna: Memungkinkan Anda menggunakan modul manajemen pengguna konsol Hologres untuk menambahkan pengguna ke atau menghapus pengguna dari instans Hologres dan memberikan izin kepada pengguna.
Konfigurasikan node sinkronisasi
Setelah memilih sumber data Hologres, Anda dapat mengonfigurasi node sinkronisasi dengan merujuk pada instruksi berikut:
Konfigurasikan pengaturan terkait sumber
Konfigurasikan sumber berdasarkan deskripsi parameter berikut.
Parameter | Deskripsi |
Source Object Type | Tipe objek dari mana Anda ingin menyinkronkan data. Nilai parameter ini tetap sebagai |
Project | Nama proyek MaxCompute dari mana Anda ingin menyinkronkan data. |
Schema | Nama skema MaxCompute yang ingin Anda gunakan. |
Table Name | Nama tabel dari mana Anda ingin menyinkronkan data. |
Filter Condition | Kondisi yang ingin Anda gunakan untuk memfilter data. Sistem secara otomatis menghasilkan kondisi filter berdasarkan tabel partisi yang Anda gunakan. Anda juga dapat memodifikasi kondisi filter berdasarkan kebutuhan bisnis Anda. Data yang memenuhi kondisi filter akan dipertahankan. Catatan Kondisi filter adalah konten klausa setelah |
Konfigurasikan pengaturan terkait tujuan
Konfigurasikan tujuan berdasarkan deskripsi parameter berikut.
Parameter | Deskripsi | |
Instance | Nama instance Hologres yang ingin Anda gunakan. Sistem secara otomatis mencocokkan instance Hologres berdasarkan sumber data Hologres yang Anda pilih dari daftar drop-down Connections. | |
Database | Nama database Hologres yang ingin Anda gunakan. Sistem secara otomatis mencocokkan database berdasarkan sumber data Hologres yang Anda pilih dari daftar drop-down Connections. | |
Schema | Nama skema Hologres tempat tabel internal Hologres yang diinginkan berada. | |
Table Name | Nama tabel internal Hologres. Anda dapat mengonfigurasi parameter ini berdasarkan kebutuhan bisnis Anda. Jika nama tabel yang Anda tentukan sudah ada, kebijakan yang digunakan untuk menangani situasi tersebut bervariasi berdasarkan tipe tabel.
Catatan Jika skema tabel baru berbeda dari skema tabel yang ada, kesalahan akan dilaporkan. | |
Fields | Synchronization Field | Anda dapat memilih bidang ke mana Anda ingin menulis data dan mengonfigurasi tipe data bidang dalam tabel internal Hologres. |
Partition Configurations | Anda dapat mengonfigurasi kolom kunci partisi tabel internal Hologres berdasarkan kebutuhan bisnis Anda. | |
Index Configuration | Anda dapat membuat indeks untuk tabel internal Hologres yang menyimpan data MaxCompute yang disinkronkan untuk memfasilitasi kueri data selanjutnya. Untuk informasi tentang cara membuat indeks, lihat CREATE TABLE.
| |
Konfigurasikan parameter lanjutan
Konfigurasikan parameter GUC dan server eksternal di bagian Configure Advanced Settings pada tab konfigurasi node sinkronisasi.
Parameter | Deskripsi |
GUC Parameters | Anda harus mengonfigurasi parameter GUC tertentu untuk node sinkronisasi. Untuk informasi tentang parameter GUC yang didukung, lihat Parameter GUC. Pernyataan SQL lainnya tidak didukung. |
External Server | Nilai default adalah |
Debug node sinkronisasi
Untuk men-debug dan menjalankan node sinkronisasi, konfigurasikan informasi debugging sesuai kebutuhan bisnis Anda.
Konfigurasikan properti untuk men-debug node sinkronisasi.
Klik Konfigurasi Debugging di panel navigasi kanan tab konfigurasi node sinkronisasi, lalu konfigurasikan parameter berikut.
Parameter
Deskripsi
Computing Resource
Pilih sumber daya komputasi Hologres yang terhubung dengan ruang kerja.
Resource Group
Pilih grup sumber daya yang telah lulus uji konektivitas saat Anda menghubungkan sumber daya komputasi Hologres dengan ruang kerja.
CUs untuk Komputasi
Tentukan jumlah CUs yang ingin Anda gunakan untuk menjalankan node sinkronisasi. Nilai default adalah
0,25.Parameter Skrip
Jika Anda mendefinisikan variabel dalam format
${Nama Parameter}dalam kondisi filter, Anda harus mengonfigurasi parameter Parameter Name dan Parameter Value di bagian Script Parameters. Saat node sinkronisasi dijalankan, variabel diganti dengan nilai aktual. Untuk informasi lebih lanjut, lihat Penjadwalan Node.Untuk men-debug dan menjalankan node sinkronisasi, klik Save dan Run.
Apa yang harus dilakukan selanjutnya
Penjadwalan Node: Jika node dalam direktori ruang kerja perlu dijadwalkan secara berkala, klik Properti di panel navigasi kanan tab konfigurasi node dan konfigurasikan parameter di bagian Kebijakan Penjadwalan.
Penerapan Node: Untuk menerapkan node ke lingkungan produksi, klik ikon
di bilah alat atas tab konfigurasi node untuk memulai proses penerapan. Node dalam direktori ruang kerja hanya dapat dijadwalkan secara berkala setelah diterapkan ke lingkungan produksi.
Informasi tambahan
Ketidakcocokan Tipe Bidang: Jika terjadi masalah ketidakcocokan tipe bidang saat mengonfigurasi node sinkronisasi, node akan gagal. Periksa apakah tipe data bidang dalam tabel Hologres dikonfigurasi dengan benar. Untuk informasi tentang pemetaan antara tipe data MaxCompute dan tipe data Hologres, lihat Pemetaan Tipe Data antara MaxCompute dan Hologres.
Ketidaksesuaian Antara Data yang Disinkronkan dari Partisi dan Data Asli dalam Partisi: Periksa apakah kondisi filter dikonfigurasi dengan benar di sumber.