DataWorks menyediakan fitur sinkronisasi satu-klik yang memungkinkan Anda mentransfer data dari MaxCompute ke basis data Hologres secara efisien. Fitur ini memastikan data tersedia untuk dianalisis di Hologres dengan performa tinggi dan latensi rendah. Topik ini menjelaskan cara mengonfigurasi dan menggunakan fitur tersebut.
Informasi latar belakang
Anda dapat langsung mengimpor data MaxCompute ke dalam basis data Hologres menggunakan Pernyataan SQL. Metode ini biasanya memberikan performa lebih baik. Untuk informasi lebih lanjut, lihat Impor data dari MaxCompute menggunakan Pernyataan SQL.
Prasyarat
Direktori ruang kerja telah dibuat. Untuk informasi lebih lanjut, lihat Direktori Ruang Kerja.
Sebuah Proyek MaxCompute dan sebuah Instans Hologres telah dibuat.
Proyek MaxCompute dan Instans Hologres telah dilampirkan sebagai sumber daya komputasi ke DataWorks, serta uji konektivitas telah berhasil dilakukan.
Buat node sinkronisasi data MaxCompute satu-klik node
Sebuah node sinkronisasi data MaxCompute satu-klik telah dibuat.
Konfigurasikan node
Buka halaman pengeditan node sinkronisasi data MaxCompute satu-klik dan konfigurasikan node tersebut.
Pilih tabel MaxCompute sumber
Konfigurasikan parameter berdasarkan informasi tabel sumber yang ingin disinkronkan.
Parameter | Deskripsi |
Proyek | Nama Proyek MaxCompute yang Anda buat. |
Skema | Skema Proyek MaxCompute. Parameter ini hanya ditampilkan ketika sintaks skema tingkat penyewa diaktifkan. |
Nama Tabel | Nama tabel MaxCompute sumber yang ingin Anda sinkronkan. |
Kondisi Filter | Sistem secara otomatis menghasilkan kondisi filter berdasarkan tabel partisi yang Anda gunakan. Anda juga dapat menyesuaikan kondisi filter berdasarkan kebutuhan bisnis Anda. Hanya data yang memenuhi kondisi filter yang akan dipertahankan. Catatan Kondisi filter adalah konten yang mengikuti klausa |
Tetapkan tabel tujuan Hologres
Konfigurasikan parameter berdasarkan informasi tabel tujuan tempat data akan disinkronkan.
Parameter | Deskripsi |
Instans | Instans Hologres tujuan. Setelah Anda mengonfigurasi sumber data Hologres di Connections, sistem secara otomatis mengidentifikasi instans spesifik. Catatan Anda dapat mengklik Pages for Managing Destination di sebelah Connections untuk pergi ke halaman Holo console (instance monitoring), Slow Query, Active connection management, DB authorization, dan User management. |
Database | Database dari instans Hologres tujuan. |
Skema | Skema dari instans Hologres tujuan. |
Nama Tabel | Nama tabel internal Hologres. Jika nama tabel internal yang Anda tentukan sudah ada, Hologres memproses tabel internal yang ada berdasarkan kebijakan berikut:
|
Bidang Sinkronisasi | Pilih bidang tabel yang ingin Anda sinkronkan. |
Konfigurasi Partisi | Pilih partisi di tabel MaxCompute sumber dari mana Anda ingin menyinkronkan data. Catatan Hologres mendukung penerimaan data yang disinkronkan dari tabel MaxCompute yang berpartisi tunggal. Jika tabel sumber berisi beberapa tingkat partisi, Anda harus menentukan satu bidang partisi untuk digunakan sebagai partisi tingkat pertama di Hologres. Semua bidang partisi lainnya dipetakan ke kolom reguler di tabel tujuan. |
Konfigurasi Indeks | Konfigurasikan indeks pada tabel internal Hologres untuk mengoptimalkan kueri pada data MaxCompute yang disinkronkan. Untuk informasi lebih lanjut tentang cara membuat indeks, lihat CREATE TABLE. |
Konfigurasikan parameter lainnya
Parameter | Deskripsi |
Parameter GUC | Parameter GUC yang perlu Anda atur sebelum mengimpor data MaxCompute. Untuk informasi lebih lanjut tentang parameter GUC yang didukung, lihat Parameter GUC. Pernyataan SQL lainnya tidak didukung. |
Server Eksternal | Nilai default adalah |
SQL Script |
|
Uji node
Konfigurasikan informasi pengujian sesuai kebutuhan bisnis Anda.
Konfigurasikan properti node untuk pengujian.
Anda dapat mengonfigurasi Computing Resource dan Resource Group di bagian Debugging Configurations di sebelah kanan halaman pengeditan node sinkronisasi data. Tabel berikut menjelaskan parameter tersebut.
Parameter
Deskripsi
Computing Resource
Pilih sumber daya komputasi Hologres yang Anda lampirkan.
Virtual Warehouse
Gunakan nilai default.
Resource Group
Pilih grup sumber daya yang telah lulus uji konektivitas saat Anda melampirkan sumber daya komputasi Hologres.
CUs for Computing
Gunakan nilai CU default.
Parameter Skrip
Jika Anda mendefinisikan variabel dalam kondisi filter dalam format ${Nama Parameter}, Anda perlu mengonfigurasi Parameter Name dan Parameter Value di bagian Script Parameter. Saat tugas sedang berjalan, variabel tersebut diganti secara dinamis dengan nilai aktual. Untuk informasi lebih lanjut, lihat Penjadwalan Node.
Saat menguji dan menjalankan tugas node, klik Save dan Run untuk menjalankan tugas sinkronisasi data.
Langkah selanjutnya
Penjadwalan Node: Jika Anda ingin menjadwalkan dan menjalankan node secara berkala di direktori proyek, tetapkan Scheduling Policies di Properties di sebelah kanan node dan konfigurasikan properti penjadwalan terkait.
Penerbitan Node: Jika Anda ingin menerbitkan tugas ke lingkungan produksi untuk dieksekusi, klik ikon
untuk memulai proses penerbitan. Proses ini menerbitkan tugas ke lingkungan produksi. Sebuah node di direktori proyek dijadwalkan secara berkala hanya setelah node tersebut diterbitkan ke lingkungan produksi.Setelah data MaxCompute disinkronkan, Anda dapat menggunakan HoloWeb untuk menanyakan data di tabel Hologres. Untuk informasi lebih lanjut, lihat HoloWeb.
FAQ
Pesan kesalahan:
get table columns occurs Invalid name:xxx.Solusi: Periksa apakah nama proyek yang dikonfigurasikan untuk sumber benar. Pastikan nama proyek tidak mengandung spasi atau karakter lainnya.