Sinkronisasi tabel Kafka tunggal ke data lake OSS - DataWorks

Data Integration mendukung sinkronisasi real-time dari sumber single-table seperti Kafka dan LogHub ke OSS. Contoh ini menggunakan Kafka sebagai sumber dan OSS sebagai tujuan.

Batasan

Versi Kafka harus berada di antara 0.10.2 dan 2.2.0 (inklusif).

Prasyarat

Anda telah membeli serverless resource group atau exclusive resource group for Data Integration.
Anda telah membuat sumber data Kafka dan sumber data OSS. Untuk informasi selengkapnya, lihat Data source configuration.
Anda telah menetapkan konektivitas jaringan antara resource group dan sumber data. Untuk informasi selengkapnya, lihat Overview of network connectivity solutions.

Prosedur

Langkah 1: Pilih jenis tugas sinkronisasi

Masuk ke DataWorks console. Di wilayah target, klik Data Integration > Data Integration di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Integration.
Di panel navigasi kiri, klik Synchronization Task. Lalu, klik Create Synchronization Task di bagian atas halaman. Di halaman pembuatan tugas, atur parameter berikut:
- Source and destination: Kafka → OSS
- New Node Name: Masukkan nama kustom untuk tugas sinkronisasi.
- Synchronization Method: single-table real-time.

Langkah 2: Konfigurasi jaringan dan resource

Di bagian Network and Resource Configuration, pilih Resource Group untuk tugas sinkronisasi. Anda dapat mengalokasikan Task Resource Usage dalam CUs untuk tugas tersebut.
Untuk Source Information, pilih sumber data kafka Anda. Untuk Destination, pilih sumber data OSS Anda. Lalu klik Test Connectivity.
Setelah kedua sumber data (sumber dan tujuan) lolos uji konektivitas, klik Next.

Langkah 3: Konfigurasi tautan sinkronisasi

1. Konfigurasi sumber Kafka

Di bagian atas halaman, klik node sumber Kafka untuk mengonfigurasi Source Information.

Di bagian Source Information, pilih topik yang akan disinkronkan dari kluster Kafka.

Anda dapat menggunakan nilai default untuk parameter lain atau mengubahnya sesuai kebutuhan.
Di pojok kanan atas, klik Data Sampling.

Di kotak dialog yang muncul, tentukan Start Time dan Number of Sample Records, lalu klik Start Sampling. Hal ini memungkinkan Anda mengambil sampel dan melihat pratinjau data dari topik Kafka yang ditentukan. Data sampel ini menjadi masukan untuk pratinjau data dan konfigurasi visual di node pemrosesan data berikutnya.
Di bagian Output Field Configuration, pilih bidang yang akan disinkronkan.

2. Edit node pemrosesan data

Klik ikon untuk menambahkan metode pemrosesan data. Tersedia lima metode pemrosesan data: data masking, string replacement, data filtering, JSON parsing, dan field editing and assignment. Anda dapat mengatur urutan metode ini secara bebas. Saat tugas dijalankan, data diproses secara berurutan sesuai konfigurasi.

Setelah mengonfigurasi setiap node pemrosesan, Anda dapat mengklik Output Preview di pojok kanan atas. Di kotak dialog tersebut, klik Retrieve Upstream Output untuk mensimulasikan cara node saat ini memproses data sampel dan melihat output-nya.

Kotak dialog Preview Data Output memiliki dua bagian: Input Data dan Preview Result. Input Data menampilkan data sampel Kafka yang diambil dengan mengklik Re-obtain Output Of Ancestor Node. Anda juga dapat mengklik + Manually Add Data untuk menambahkan data uji. Tabel tersebut mencakup bidang seperti _key_, _value_, _partition_, _offset_, dan timestamp. Di Preview Result, klik Preview untuk melihat output hasil pemrosesan dan jumlah dirty data. Hasil pratinjau hanya bersifat referensi dan mungkin berbeda dari eksekusi tugas sebenarnya.

Catatan

Fitur pratinjau output data bergantung pada Data Sampling dari sumber Kafka. Anda harus melakukan pengambilan sampel data di konfigurasi sumber Kafka sebelum melihat pratinjau output.

3. Konfigurasi tujuan OSS

Di bagian atas halaman, klik node tujuan OSS untuk mengonfigurasi OSS Destination Information.

Di bagian OSS Destination Information, konfigurasi informasi dasar untuk tujuan OSS.
- Write Format: Format yang didukung meliputi Hudi, Paimon, dan Iceberg.
- Location for Creating Metadatabase: Jika Anda telah mengaktifkan Data Lake Formation (DLF) untuk akun Anda, sistem akan secara otomatis membuat metadatabase dan metatable yang sesuai di DLF saat data disinkronkan ke data lake.
  
  Catatan
  Pembuatan metadata lintas wilayah tidak didukung.
- Select Storage Path: Pilih path OSS untuk menyimpan data di data lake.
- Target Database: Pilih database tujuan untuk data. Anda juga dapat memilih Create Database untuk membuat metadatabase DLF dan menentukan Database Name.
- Destination Table: Pilih apakah akan Create tables automatically atau Use Existing Table untuk menulis data ke tabel OSS.
- Table Name: Masukkan atau pilih nama tabel OSS yang akan ditulis.
(Opsional) Edit skema tabel.

Saat Anda memilih Create tables automatically, klik tombol Edit Table Schema untuk mengedit struktur tabel target di kotak dialog. Anda juga dapat mengklik Regenerate Schema from Upstream Node untuk secara otomatis menghasilkan struktur tabel dari kolom output node hulu. Dalam struktur yang dihasilkan, Anda dapat memilih kolom untuk dijadikan primary key.
Konfigurasi pemetaan bidang.

Sistem secara otomatis menghasilkan pemetaan antara kolom hulu dan kolom target berdasarkan prinsip The same name mapping. Anda dapat menyesuaikan pemetaan ini sesuai kebutuhan. Satu kolom hulu dapat dipetakan ke beberapa kolom target, tetapi beberapa kolom hulu tidak dapat dipetakan ke satu kolom target. Jika kolom hulu tidak dipetakan ke kolom target, datanya tidak akan ditulis ke tabel target.

4. Peringatan

Untuk mencegah kesalahan tugas menyebabkan keterlambatan dalam sinkronisasi data bisnis, Anda dapat menetapkan kebijakan peringatan untuk tugas sinkronisasi.

Klik Alert Settings di pojok kanan atas halaman untuk membuka halaman pengaturan Alert Rule Configurations for Real-time Synchronization Subnode.
Klik Add Alert Rule untuk mengonfigurasi aturan peringatan.

Catatan
Aturan peringatan yang Anda definisikan di sini berlaku untuk subtask sinkronisasi real-time yang dihasilkan oleh tugas ini. Setelah mengonfigurasi tugas, Anda dapat melihat dan mengubah aturan peringatan untuk subtask tersebut di halaman Run and manage real-time synchronization tasks.
Kelola aturan peringatan.

Untuk aturan peringatan yang sudah ada, Anda dapat menggunakan sakelar toggle untuk mengaktifkan atau menonaktifkannya. Anda juga dapat mengirim peringatan ke penerima berbeda berdasarkan tingkat peringatan.

5. Pengaturan lanjutan

Tugas sinkronisasi menyediakan beberapa parameter yang dapat Anda ubah sesuai kebutuhan.

Catatan

Sebelum melakukan perubahan, pastikan Anda memahami sepenuhnya fungsi setiap parameter untuk mencegah kesalahan tak terduga atau masalah kualitas data.

Klik advanced settings di pojok kanan atas halaman untuk membuka halaman pengaturan lanjutan.
Di halaman advanced settings, ubah nilai parameter sesuai kebutuhan.

Langkah 6: Konfigurasi kemampuan DDL

Sumber data mungkin berisi berbagai operasi DDL. Berdasarkan kebutuhan bisnis Anda, Anda dapat mengklik DDL Capability Configuration di pojok kanan atas halaman untuk membuka halaman konfigurasi kemampuan DDL dan menentukan kebijakan pemrosesan untuk pesan DDL berbeda yang akan disinkronkan ke tujuan.

Catatan

Untuk informasi selengkapnya tentang kebijakan pemrosesan pesan DDL yang berbeda, lihat DDL message processing rules.

Langkah 7: Konfigurasi resource group

Anda dapat mengklik Configure Resource Group di pojok kanan atas untuk melihat dan mengganti resource group tugas saat ini.

Langkah 8: Jalankan simulasi

Setelah mengonfigurasi tugas, klik Dry Run di pojok kanan atas. Fitur ini mensimulasikan seluruh tugas pada sampel data kecil dan memungkinkan Anda melihat pratinjau hasilnya di tabel target. Jika terdapat kesalahan konfigurasi, pengecualian waktu proses, atau dirty data, Anda akan menerima pesan kesalahan secara real-time. Hal ini membantu Anda memverifikasi dengan cepat bahwa tugas dikonfigurasi dengan benar dan menghasilkan output yang diharapkan.

Di kotak dialog, atur parameter pengambilan sampel: Start Time dan Number of Sample Records.
Klik Start Sampling untuk mengumpulkan data sampel.
Klik Preview untuk mensimulasikan seluruh pemrosesan tugas menggunakan data sampel.

Langkah 9: Jalankan tugas sinkronisasi

Setelah menyelesaikan semua pengaturan, klik Complete di bagian bawah halaman.
Di halaman Data Integration > Synchronization Task, temukan tugas yang Anda buat dan klik Start di kolom Operations.
Klik Name/ID tugas yang sesuai di Task List untuk melihat proses eksekusi detailnya.

Kelola tugas sinkronisasi

Lihat status tugas

Setelah membuat tugas sinkronisasi, Anda dapat melihat status dan detail tugas di halaman tugas sinkronisasi.

Di kolom Start, Anda dapat Stop atau Stop tugas. Operasi tambahan, seperti Edit dan View, tersedia di bawah opsi "More".
Untuk tugas yang sedang berjalan, Anda dapat memeriksa status umumnya di kolom Execution Overview atau mengklik area ikhtisar untuk melihat informasi eksekusi detail.

Tugas sinkronisasi real-time single-table dari Kafka ke OSS mencakup dua tahap:

Schema Migration: Menunjukkan cara tabel tujuan dibuat (dari tabel yang sudah ada atau melalui pembuatan otomatis). Jika Anda memilih pembuatan otomatis, sistem akan menampilkan pernyataan DDL yang digunakan.
Real-time Data Synchronization: Menampilkan statistik tentang sinkronisasi real-time, termasuk informasi waktu proses, catatan DDL, dan peringatan.

Jalankan ulang tugas

Dalam kasus khusus, seperti ketika Anda perlu mengubah bidang yang disinkronkan atau menyesuaikan informasi tabel target, Anda dapat mengklik Rerun di kolom Operations tugas sinkronisasi. Tindakan ini menyinkronkan bidang yang telah disesuaikan dan perubahan lainnya ke target. Proses ini melewati tabel yang tidak berubah dan telah disinkronkan sebelumnya.

Untuk menjalankan ulang tugas tanpa perubahan apa pun, klik Rerun.
Jika Anda mengedit tugas, klik Complete setelah melakukan perubahan. Aksi tugas berubah menjadi Apply Updates. Mengklik Apply Updates akan menjalankan ulang tugas dengan konfigurasi baru.