Tugas sinkronisasi tabel tunggal secara real-time menginisialisasi struktur tabel tujuan ApsaraDB for OceanBase berdasarkan struktur konten topik yang ditentukan di sumber Kafka. Tugas ini menyinkronkan data historis dari topik Kafka yang ditentukan ke ApsaraDB for OceanBase dan terus menyinkronkan data inkremental secara real-time. Topik ini menjelaskan cara menyinkronkan data topik Kafka ke ApsaraDB for OceanBase secara real-time.
Prasyarat
Anda telah membeli Grup Sumber Daya Serverless atau grup sumber daya eksklusif untuk Integrasi Data.
Anda telah membuat sumber data Kafka dan sumber data ApsaraDB for OceanBase. Untuk informasi lebih lanjut, lihat Buat sumber data untuk Integrasi Data.
Anda telah menyelesaikan konektivitas jaringan antara grup sumber daya dan sumber data. Untuk informasi lebih lanjut, lihat Solusi konektivitas jaringan.
Prosedur
Langkah 1: Pilih jenis tugas sinkronisasi
Pergi ke halaman Integrasi Data.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih . Di halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Integration.
Di panel navigasi kiri, klik Synchronization Task, lalu klik Create Synchronization Task di bagian atas halaman untuk pergi ke halaman pembuatan tugas sinkronisasi. Konfigurasikan informasi dasar berikut:
Data Source And Destination:
Kafka→ApsaraDB for OceanBaseNew Task Name: Sesuaikan nama tugas sinkronisasi.
Synchronization Type:
Single-table Real-time.
Langkah 2: Konfigurasi jaringan dan sumber daya
Di bagian Network And Resource Configuration, pilih Resource Group yang digunakan untuk tugas sinkronisasi. Anda dapat mengalokasikan jumlah CU untuk Task Resource Usage.
Untuk Source Data Source, pilih sumber data
kafkayang telah ditambahkan. Untuk Destination Data Source, pilih sumber dataApsaraDB for OceanBaseyang telah ditambahkan. Lalu klik Test Connectivity.
Setelah Anda mengonfirmasi bahwa kedua sumber data sumber dan tujuan berhasil terhubung, klik Next.
Langkah 3: Konfigurasi tautan sinkronisasi
1. Konfigurasi sumber Kafka
Klik sumber data Kafka di bagian atas halaman untuk mengedit Kafka Source Information.
Di bagian Kafka Source Information, pilih topik dalam kluster Kafka yang ingin Anda sinkronkan.
Pertahankan nilai default untuk parameter lainnya, atau modifikasi konfigurasinya berdasarkan kebutuhan bisnis Anda.
Klik Data Sampling di sudut kanan atas.
Di kotak dialog yang muncul, tentukan Start Time dan Number Of Samples, lalu klik tombol Start Collection untuk mengambil sampel data dari topik Kafka yang ditentukan. Anda juga dapat melihat pratinjau data dalam topik untuk memberikan masukan bagi pratinjau data dan konfigurasi visual node pemrosesan data selanjutnya.
Di bagian Output Field Configuration, pilih bidang yang ingin Anda sinkronkan sesuai kebutuhan.
2. Edit node pemrosesan data
Anda dapat mengklik ikon 
untuk menambahkan metode pemrosesan data. Metode pemrosesan data berikut didukung: Data Masking, Replace String, Data filtering, JSON Parsing, dan Edit Field and Assign Value. Anda dapat mengatur metode pemrosesan data berdasarkan kebutuhan bisnis Anda. Saat tugas sinkronisasi dijalankan, data diproses berdasarkan urutan pemrosesan yang Anda tentukan.
Setelah Anda menyelesaikan konfigurasi node pemrosesan data, Anda dapat mengklik tombol Data Output Preview di sudut kanan atas. Di kotak dialog yang muncul, klik Retrieve Upstream Output Again untuk mensimulasikan hasil data sampel topik Kafka setelah diproses oleh node pemrosesan data saat ini.
Pratinjau output data sangat bergantung pada Data Sampling dari sumber Kafka. Sebelum Anda melakukan pratinjau output data, Anda harus menyelesaikan pengambilan sampel data di formulir sumber Kafka.
3. Konfigurasi informasi tujuan ApsaraDB for OceanBase
Klik tujuan data ApsaraDB for OceanBase di bagian atas halaman untuk mengedit OceanBase Destination Information.
Di bagian OceanBase Destination Information, pilih apakah akan Automatically Create Table atau Use Existing Table untuk tabel OceanBase yang akan ditulis.
Jika Anda memilih untuk membuat tabel secara otomatis, tabel dengan nama yang sama dengan tabel sumber data dibuat secara default. Anda dapat memodifikasi nama tabel tujuan secara manual.
Jika Anda memilih untuk menggunakan tabel yang ada, pilih tabel tujuan yang ingin Anda sinkronkan dari daftar drop-down.
(Opsional) Modifikasi skema tabel tujuan.
Jika Anda memilih Create tables automatically untuk parameter Tabel Tujuan, klik Edit Table Schema. Di kotak dialog yang muncul, edit skema tabel tujuan yang akan dibuat secara otomatis. Anda juga dapat mengklik Re-generate Table Schema Based on Output Column of Ancestor Node untuk meregenerasi skema berdasarkan kolom keluaran node leluhur. Anda dapat memilih kolom dari skema yang dihasilkan dan mengonfigurasikan kolom tersebut sebagai kunci utama.
CatatanTabel tujuan harus memiliki kunci utama. Jika tidak, konfigurasi tidak dapat disimpan.
Konfigurasikan pemetaan antara bidang di sumber dan bidang di tujuan.
Setelah Anda menyelesaikan konfigurasi sebelumnya, sistem secara otomatis menetapkan pemetaan antara bidang di sumber dan bidang di tujuan berdasarkan prinsip same-name mapping. Anda dapat memodifikasi pemetaan berdasarkan kebutuhan bisnis Anda. Satu bidang di sumber dapat dipetakan ke beberapa bidang di tujuan. Beberapa bidang di sumber tidak dapat dipetakan ke bidang yang sama di tujuan. Jika bidang di sumber tidak memiliki bidang yang dipetakan di tujuan, data di bidang di sumber tidak disinkronkan ke tujuan.
4. Konfigurasi aturan peringatan
Untuk mencegah kegagalan tugas sinkronisasi menyebabkan latensi pada sinkronisasi data bisnis, Anda dapat mengonfigurasi aturan peringatan yang berbeda untuk tugas sinkronisasi.
Di sudut kanan atas halaman, klik Configure Alert Rule untuk pergi ke panel Configure Alert Rule.
Di panel Konfigurasi Aturan Peringatan, klik Add Alert Rule. Di kotak dialog Tambah Aturan Peringatan, konfigurasikan parameter untuk mengonfigurasi aturan peringatan.
CatatanAturan peringatan yang Anda konfigurasikan di langkah ini berlaku untuk sub-tugas sinkronisasi real-time yang akan dihasilkan oleh tugas sinkronisasi. Setelah konfigurasi tugas sinkronisasi selesai, Anda dapat merujuk ke Kelola tugas sinkronisasi real-time untuk pergi ke halaman Tugas Sinkronisasi Real-Time dan memodifikasi aturan peringatan yang dikonfigurasikan untuk sub-tugas sinkronisasi real-time.
Kelola aturan peringatan.
Anda dapat mengaktifkan atau menonaktifkan aturan peringatan yang dibuat. Anda juga dapat menentukan penerima peringatan yang berbeda berdasarkan tingkat keparahan peringatan.
5. Konfigurasi parameter lanjutan
DataWorks memungkinkan Anda memodifikasi konfigurasi parameter tertentu. Anda dapat mengubah nilai parameter ini berdasarkan kebutuhan bisnis Anda.
Untuk mencegah kesalahan tak terduga atau masalah kualitas data, kami sarankan Anda memahami arti parameter sebelum mengubah nilai parameter.
Di sudut kanan atas halaman konfigurasi, klik Konfigurasi Parameter Lanjutan.
Di panel Konfigurasi Parameter Lanjutan, ubah nilai parameter yang diinginkan.
6. Konfigurasi grup sumber daya
Anda dapat mengklik Configure Resource Group di sudut kanan atas halaman untuk melihat dan mengubah grup sumber daya yang digunakan untuk menjalankan tugas sinkronisasi saat ini.
7. Lakukan uji coba pada tugas sinkronisasi
Setelah konfigurasi sebelumnya selesai, Anda dapat mengklik Perform Simulated Running di sudut kanan atas halaman konfigurasi untuk memungkinkan tugas sinkronisasi menyinkronkan data sampel ke tabel tujuan. Anda dapat melihat hasil sinkronisasi di tabel tujuan. Jika konfigurasi tertentu dari tugas sinkronisasi tidak valid, terjadi pengecualian selama uji coba, atau data kotor dihasilkan, sistem melaporkan kesalahan secara real-time. Ini dapat membantu Anda memeriksa konfigurasi tugas sinkronisasi dan menentukan apakah hasil yang diharapkan dapat diperoleh sejak dini.
Di kotak dialog yang muncul, konfigurasikan parameter untuk pengambilan sampel data dari tabel yang ditentukan, termasuk parameter Start At dan Sampled Data Records.
Klik Start Collection untuk memungkinkan tugas sinkronisasi mengambil sampel data dari sumber.
Klik Preview untuk memungkinkan tugas sinkronisasi menyinkronkan data sampel ke tujuan.
8. Jalankan tugas sinkronisasi
Setelah konfigurasi tugas sinkronisasi selesai, klik Complete di bagian bawah halaman.
Di bagian Tasks halaman Synchronization Task, temukan tugas sinkronisasi yang dibuat dan klik Start di kolom Operation.
Klik name or ID tugas sinkronisasi di bagian Tasks dan lihat proses berjalan rinci dari tugas sinkronisasi.
Lakukan operasi O&M pada tugas sinkronisasi
Lihat status tugas sinkronisasi
Setelah solusi sinkronisasi data dibuat, Anda dapat pergi ke halaman Tugas untuk melihat semua solusi sinkronisasi data yang dibuat di ruang kerja dan informasi dasar dari setiap solusi.
Anda dapat Start atau Stop tugas sinkronisasi di kolom Tindakan. Anda juga dapat Edit atau View tugas sinkronisasi di daftar drop-down Lainnya.
Untuk tugas yang telah dimulai, Anda dapat melihat status berjalan dasar di Execution Overview, atau klik area ikhtisar yang sesuai untuk melihat detail eksekusi.
Tugas sinkronisasi tabel tunggal real-time dari Kafka ke ApsaraDB forOceanBase terdiri dari dua langkah:
Schema Migration: mencakup metode pembuatan tabel tujuan (tabel yang ada atau pembuatan tabel otomatis). Jika pembuatan tabel otomatis dipilih, DDL untuk pembuatan tabel akan ditampilkan.
Real-time Data Synchronization: mencakup informasi statistik untuk sinkronisasi real-time, termasuk lalu lintas baca dan tulis real-time, data kotor, failover, dan log operasi.
Jalankan ulang tugas sinkronisasi
Dalam beberapa kasus khusus, jika Anda ingin memodifikasi bidang untuk disinkronkan, bidang dalam tabel tujuan, atau informasi nama tabel, Anda juga dapat mengklik Rerun di kolom Operation tugas sinkronisasi yang diinginkan. Dengan cara ini, sistem menyinkronkan perubahan yang dibuat ke tujuan. Data di tabel yang sudah disinkronkan dan tidak dimodifikasi tidak akan disinkronkan lagi.
Klik langsung Rerun tanpa memodifikasi konfigurasi tugas sinkronisasi untuk memungkinkan sistem menjalankan ulang tugas sinkronisasi.
Modifikasi konfigurasi tugas sinkronisasi lalu klik Complete. Klik Apply Updates yang ditampilkan di kolom Operasi tugas sinkronisasi untuk menjalankan ulang tugas sinkronisasi agar konfigurasi terbaru berlaku.