Anda dapat membangun gudang data real-time menggunakan kemampuan penulisan real-time dari Hologres.
Prasyarat
Node pembaca atau konversi telah dikonfigurasi. Untuk informasi lebih lanjut, lihat Jenis sumber data yang mendukung sinkronisasi real-time.
Informasi latar belakang
Sumber data Hologres dari versi berikut didukung: V0.7, V0.8, V0.9, V0.10, dan V1.1.
Bidang dengan tipe data UUID tidak dapat disinkronkan.
Prosedur
Buka halaman DataStudio.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sisi kiri, pilih . Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.
Di panel Alur Kerja Terjadwal pada halaman DataStudio, gerakkan pointer di atas ikon
dan pilih .Sebagai alternatif, temukan alur kerja yang diinginkan di panel Alur Kerja Terjadwal, klik kanan nama alur kerja, dan pilih .
Di kotak dialog Create Node, atur parameter Sync Method menjadi End-to-end ETL dan konfigurasikan parameter Name dan Path.
Klik Confirm.
Pada tab konfigurasi node sinkronisasi real-time, seret Hologres di bagian Output ke kanvas di sebelah kanan dan gambar garis untuk menghubungkan node Hologres ke node input atau konversi yang telah dikonfigurasi.
Klik node Hologres. Di panel yang muncul, konfigurasikan parameter yang diperlukan.
Parameter
Deskripsi
Data source
Nama sumber data Hologres yang Anda tambahkan ke DataWorks. Anda hanya dapat memilih sumber data Hologres.
Jika tidak ada sumber data Hologres yang tersedia, Anda dapat mengklik New data source untuk pergi ke halaman Data Sources di Management Center untuk menambahkan sumber data Hologres. Untuk informasi lebih lanjut, lihat Tambahkan sumber data Hologres.
Table
Nama tabel Hologres ke mana Anda ingin menulis data.
Anda dapat mengklik Create Table di sebelah kanan untuk membuat tabel, atau klik Data preview untuk melihat pratinjau tabel yang dipilih.
Partition Information
Partitioning Mode
Mode partisi. Nilai default: Dynamic Partitioning by Field Value.
Jika tabel Hologres adalah tabel terpartisi, Anda harus mengonfigurasi parameter ini.
Source of Partition Field Value
Sumber nilai bidang partisi. Anda dapat memilih bidang dalam tabel sumber data yang dikonfigurasi untuk node leluhur.
Partition Field Name
Secara default, parameter ini diatur ke nama bidang partisi yang dikonfigurasi untuk tabel.
Partition Field Value
Nilai valid: Enumeration Value dan Time-based Value
Jika Anda mengatur parameter ini ke Nilai Enumerasi, partisi dibuat untuk setiap nilai dari bidang partisi. Node sinkronisasi real-time dapat menulis maksimum 1.000 nilai bidang ke tujuan per hari. Jika jumlah nilai bidang yang ditulis ke tujuan melebihi 1.000, partisi untuk nilai bidang yang berlebih tidak dapat dibuat dan node sinkronisasi real-time akan dihentikan.
Jika Anda mengatur parameter ini ke Nilai Berbasis Waktu, Anda juga harus mengonfigurasi parameter Source Format dan Destination Format.
Partition Cache Queue Size
Nilai yang lebih besar dari parameter Ukuran Antrian Cache Partisi menunjukkan bahwa lebih banyak memori digunakan. Jika data di sumber tidak berurutan berdasarkan bidang partisi, kami sarankan Anda meningkatkan nilai Ukuran Antrian Cache Partisi dan ukuran memori.
Job type
Tipe operasi penulisan data. Nilai valid: Replay (Replay Operation Log to Restore Data) dan Insert (Archived Storage).
Replay (Replay Operation Log to Restore Data): Hologres Writer melakukan operasi yang sama pada tujuan seperti yang dilakukan pada sumber. Sebagai contoh, jika pernyataan
INSERTdieksekusi untuk menambahkan catatan data ke sumber, Hologres Writer mengeksekusi pernyataanINSERTuntuk menambahkan catatan data yang sama ke tujuan. Jika pernyataanUPDATEatauDELETEdieksekusi di sumber, Hologres Writer mengeksekusi pernyataanUPDATEatauDELETEdi tujuan.Insert (Archived Storage): Hologres Writer menggunakan tujuan sebagai penyimpanan data streaming. Data disinkronkan dari sumber ke tujuan menggunakan pernyataan
INSERT.
Write conflict policy
Solusi untuk konflik penulisan data. Nilai valid: Cover (Overwrite) dan Ignore (Ignore).
Cover (Overwrite): Hologres Writer menggunakan data baru yang disinkronkan dari sumber untuk menimpa data yang ada di tujuan.
Ignore (Ignore): Hologres Writer mengabaikan data baru yang disinkronkan dari sumber dan mempertahankan data yang ada di tujuan.
Mappings
Pemetaan bidang antara sumber dan tujuan. Klik Field Mapping untuk mengonfigurasi pemetaan bidang. Node sinkronisasi real-time menyinkronkan data berdasarkan pemetaan bidang.
Di bilah alat atas tab konfigurasi node sinkronisasi real-time, klik ikon
untuk menyimpan node.