Data Integration mendukung sinkronisasi real-time data dari tabel tunggal di sumber data seperti DataHub, Hologres, Kafka, dan LogHub ke Hologres. Topik ini menjelaskan cara menyinkronkan data secara real-time dari tabel tunggal di LogHub (SLS) ke Hologres.
Prasyarat
Anda telah membeli Grup sumber daya tanpa server atau grup sumber daya eksklusif untuk Integrasi Data.
Anda telah membuat sumber data LogHub (SLS) dan Hologres. Untuk informasi lebih lanjut, lihat Buat sumber data di Data Integration.
Anda telah menetapkan konektivitas jaringan antara grup sumber daya dan sumber data. Untuk informasi lebih lanjut, lihat Solusi konektivitas jaringan.
Prosedur
1. Pilih jenis tugas sinkronisasi
Pergi ke halaman Data Integration.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih Wilayah yang diinginkan. Di panel navigasi kiri, pilih . Di halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Integration.
Di panel navigasi kiri, klik Synchronization Task, lalu klik Create Synchronization Task di bagian atas halaman untuk pergi ke halaman pembuatan tugas. Konfigurasikan informasi dasar berikut:
Data Source And Destination:
LogHub→HologresNew Task Name: Sesuaikan nama tugas sinkronisasi.
Synchronization Type:
Sinkronisasi real-time tabel tunggal.
2. Konfigurasikan jaringan dan sumber daya
Di bagian Network And Resource Configuration, pilih Resource Group untuk tugas sinkronisasi. Anda dapat mengalokasikan jumlah CU untuk Task Resource Usage.
Pilih sumber data yang ditambahkan sebagai Source Data Source
LogHubDestination Data Source dan tambahkan sumber dataHologressebagai Sumber Data Tujuan, lalu klik Test Connectivity.
Setelah memastikan bahwa kedua sumber data asal dan tujuan berhasil terhubung, klik Next.
3. Konfigurasikan tautan sinkronisasi
1. Konfigurasikan sumber SLS
Klik sumber data SLS di bagian atas halaman untuk mengedit SLS Source Information.
Di bagian SLS Source Information, pilih Logstore di LogHub (SLS) yang ingin Anda sinkronkan.
Klik Data Sampling di pojok kanan atas.
Di kotak dialog yang muncul, tentukan Start Time dan Sampled Data Records, lalu klik Start Collection. Anda dapat mengambil sampel data dari Logstore dan melihat pratinjau data, yang memberikan masukan untuk konfigurasi pratinjau data dan visualisasi node pemrosesan data selanjutnya.
Setelah Anda memilih Logstore, sistem secara otomatis memuat data dari Logstore di bagian Output Field Configuration dan menghasilkan nama bidang yang sesuai. Anda dapat menyesuaikan Data Type, Delete bidang, dan Add Output Fields Manually.
CatatanJika bidang keluaran tidak ada di sumber data Layanan Log Sederhana, NULL akan ditulis ke tujuan.
2. Edit node pemrosesan data
Anda dapat mengklik ikon 
untuk menambahkan metode pemrosesan data. Metode pemrosesan data berikut didukung: Data Masking, Replace String, Data filtering, JSON Parsing, dan Edit Field and Assign Value. Anda dapat mengatur metode pemrosesan data berdasarkan kebutuhan bisnis Anda. Saat tugas sinkronisasi dijalankan, data diproses berdasarkan urutan pemrosesan yang Anda tentukan.
Setelah Anda menyelesaikan konfigurasi node pemrosesan data, Anda dapat mengklik Preview Data Output di pojok kanan atas. Di kotak dialog yang muncul, klik Re-obtain Output Of Ancestor Node untuk mensimulasikan hasil pemrosesan data sampel Logstore melalui node pemrosesan data saat ini.
Pratinjau output data sangat bergantung pada Data Sampling dari sumber LogHub (SLS). Sebelum menjalankan pratinjau output data, Anda perlu menyelesaikan pengambilan sampel data di formulir sumber LogHub (SLS).
3. Konfigurasikan informasi tujuan Hologres
Klik tujuan data Hologres di bagian atas halaman untuk mengedit Hologres Destination Information.
Di bagian Hologres Destination Information, pilih Skema tempat tabel Hologres yang ingin Anda tulis berada, dan pilih apakah tabel tujuan adalah Create Table atau Use Existing Table.
Jika Anda memilih Buat Tabel, tabel dengan nama yang sama dengan sumber data akan dibuat secara default. Anda dapat mengubah nama tabel tujuan secara manual.
Jika Anda memilih Gunakan Tabel yang Ada, pilih tabel tujuan yang ingin Anda sinkronkan dari daftar drop-down.
(Opsional) Modifikasi skema tabel tujuan.
Jika Anda memilih Create tables automatically untuk parameter Tabel Tujuan, klik Edit Table Schema. Di kotak dialog yang muncul, edit skema tabel tujuan yang akan dibuat secara otomatis. Anda juga dapat mengklik Re-generate Table Schema Based on Output Column of Ancestor Node untuk meregenerasi skema berdasarkan kolom keluaran node leluhur. Anda dapat memilih kolom dari skema yang dihasilkan dan mengonfigurasi kolom tersebut sebagai kunci utama.
CatatanTabel tujuan harus memiliki kunci utama. Jika tidak, konfigurasi tidak dapat disimpan.
Atur Job Type dan Write Conflict Policy.
Job Type:
Replay: Ini mewakili fungsi pencerminkan. Ketika sumber memasukkan catatan, Hologres juga memasukkan catatan. Ketika sumber memperbarui atau menghapus catatan, Hologres juga memperbarui atau menghapus catatan yang sesuai.
Insert: Ini memperlakukan Hologres sebagai penyimpanan aliran, menggunakan INSERT untuk menyimpan semua data dari sumber.
Write Conflict Policy: Kebijakan untuk menangani konflik penulisan data. Opsi termasuk Overwrite dan Ignore.
Konfigurasikan pemetaan antara bidang di sumber dan bidang di tujuan.
Setelah Anda menyelesaikan konfigurasi sebelumnya, sistem secara otomatis menetapkan pemetaan antara bidang di sumber dan bidang di tujuan berdasarkan prinsip same-name mapping. Anda dapat memodifikasi pemetaan berdasarkan kebutuhan bisnis Anda. Satu bidang di sumber dapat dipetakan ke beberapa bidang di tujuan. Beberapa bidang di sumber tidak dapat dipetakan ke bidang yang sama di tujuan. Jika bidang di sumber tidak memiliki bidang yang dipetakan di tujuan, data di bidang di sumber tidak disinkronkan ke tujuan.
4. Konfigurasikan aturan peringatan
Untuk mencegah kegagalan tugas sinkronisasi menyebabkan latensi pada sinkronisasi data bisnis, Anda dapat mengonfigurasi aturan peringatan yang berbeda untuk tugas sinkronisasi.
Di pojok kanan atas halaman, klik Configure Alert Rule untuk pergi ke panel Configure Alert Rule.
Di panel Konfigurasikan Aturan Peringatan, klik Add Alert Rule. Di kotak dialog Tambah Aturan Peringatan, konfigurasikan parameter untuk mengonfigurasi aturan peringatan.
CatatanAturan peringatan yang Anda konfigurasikan pada langkah ini berlaku untuk sub-tugas sinkronisasi real-time yang akan dihasilkan oleh tugas sinkronisasi. Setelah konfigurasi tugas sinkronisasi selesai, Anda dapat merujuk ke Kelola tugas sinkronisasi real-time untuk pergi ke halaman Tugas Sinkronisasi Real-time dan memodifikasi aturan peringatan yang dikonfigurasikan untuk sub-tugas sinkronisasi real-time.
Kelola aturan peringatan.
Anda dapat mengaktifkan atau menonaktifkan aturan peringatan yang dibuat. Anda juga dapat menentukan penerima peringatan yang berbeda berdasarkan tingkat keparahan peringatan.
5. Konfigurasikan parameter lanjutan
DataWorks memungkinkan Anda memodifikasi konfigurasi parameter tertentu. Anda dapat mengubah nilai parameter ini berdasarkan kebutuhan bisnis Anda.
Untuk mencegah kesalahan tak terduga atau masalah kualitas data, kami sarankan Anda memahami arti parameter sebelum mengubah nilai parameter.
Di pojok kanan atas halaman konfigurasi, klik Konfigurasikan Parameter Lanjutan.
Di panel Konfigurasikan Parameter Lanjutan, ubah nilai parameter yang diinginkan.
6. Konfigurasikan grup sumber daya
Anda dapat mengklik Configure Resource Group di pojok kanan atas halaman untuk melihat dan mengubah grup sumber daya yang digunakan untuk menjalankan tugas sinkronisasi saat ini.
7. Lakukan uji coba pada tugas sinkronisasi
Setelah konfigurasi sebelumnya selesai, Anda dapat mengklik Perform Simulated Running di pojok kanan atas halaman konfigurasi untuk mengaktifkan tugas sinkronisasi agar menyinkronkan data sampel ke tabel tujuan. Anda dapat melihat hasil sinkronisasi di tabel tujuan. Jika konfigurasi tertentu dari tugas sinkronisasi tidak valid, terjadi pengecualian selama uji coba, atau data kotor dihasilkan, sistem melaporkan kesalahan secara real-time. Ini dapat membantu Anda memeriksa konfigurasi tugas sinkronisasi dan menentukan apakah hasil yang diharapkan dapat diperoleh secepat mungkin.
Di kotak dialog yang muncul, konfigurasikan parameter untuk pengambilan sampel data dari tabel yang ditentukan, termasuk parameter Start At dan Sampled Data Records.
Klik Start Collection untuk mengaktifkan tugas sinkronisasi agar mengambil sampel data dari sumber.
Klik Preview untuk mengaktifkan tugas sinkronisasi agar menyinkronkan data sampel ke tujuan.
8. Jalankan tugas sinkronisasi
Setelah konfigurasi tugas sinkronisasi selesai, klik Complete di bagian bawah halaman.
Di bagian Tasks halaman Synchronization Task, temukan tugas sinkronisasi yang dibuat dan klik Start di kolom Operation.
Klik name or ID tugas sinkronisasi di bagian Tasks dan lihat proses berjalan rinci dari tugas sinkronisasi.
Sinkronisasi tugas O&M
Lihat status berjalan tugas sinkronisasi
Setelah tugas sinkronisasi dibuat, Anda dapat pergi ke halaman Tugas Sinkronisasi untuk melihat semua tugas sinkronisasi yang dibuat di ruang kerja dan informasi dasar setiap tugas sinkronisasi.
Anda dapat Start atau Stop tugas sinkronisasi di kolom Tindakan. Di menu Lainnya, Anda dapat Edit, View, dan melakukan operasi lain pada tugas sinkronisasi.
Untuk tugas yang telah dimulai, Anda dapat melihat status dasar tugas di Execution Overview, atau klik area ikhtisar yang sesuai untuk melihat detail eksekusi.
Tugas sinkronisasi dari LogHub (SLS) ke Hologres memiliki dua tahap: Schema Migration dan Real-time Data Synchronization:
Schema Migration: Tab ini menampilkan informasi seperti metode pembuatan tabel tujuan. Metode pembuatan tabel tujuan mencakup Gunakan Tabel yang Ada dan Buat Tabel. Jika metode pembuatan tabel tujuan adalah Buat Tabel, pernyataan DDL yang digunakan untuk membuat tabel ditampilkan.
Real-time Data Synchronization: Tab ini menampilkan statistik tentang sinkronisasi real-time, termasuk informasi berjalan real-time, catatan DDL, informasi peringatan, dan lainnya.
Jalankan ulang tugas sinkronisasi
Dalam beberapa kasus khusus, jika Anda ingin memodifikasi bidang untuk disinkronkan, bidang di tabel tujuan, atau informasi nama tabel, Anda juga dapat mengklik Rerun di kolom Operation tugas sinkronisasi yang diinginkan. Dengan cara ini, sistem menyinkronkan perubahan yang dibuat ke tujuan. Data di tabel yang sudah disinkronkan dan tidak dimodifikasi tidak akan disinkronkan lagi.
Klik langsung Rerun tanpa memodifikasi konfigurasi tugas sinkronisasi untuk mengaktifkan sistem menjalankan ulang tugas sinkronisasi.
Modifikasi konfigurasi tugas sinkronisasi lalu klik Complete. Klik Apply Updates yang ditampilkan di kolom Operasi tugas sinkronisasi untuk menjalankan ulang tugas sinkronisasi agar konfigurasi terbaru berlaku.