All Products
Search

This Product

    DataWorks:Sinkronisasi real-time satu tabel dari Kafka ke OSS

    Document Center

    DataWorks:Sinkronisasi real-time satu tabel dari Kafka ke OSS

    Last Updated:Apr 11, 2026

    Topik ini menjelaskan cara menggunakan Data Integration untuk menyinkronkan data secara real-time dari sumber Kafka ke data lake OSS.

    Batasan

    Versi Kafka harus berada dalam rentang 0.10.2 hingga 2.2.0 (inklusif).

    Prasyarat

    Prosedur

    1. Pilih jenis tugas sinkronisasi

    1. Buka halaman Data Integration.

      Login ke DataWorks console. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Integration > Data Integration. Di halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Integration.

    2. Di panel navigasi kiri, klik Synchronization Task. Di bagian atas halaman, klik Create Synchronization Task dan konfigurasikan informasi dasar berikut.

      • Source and destination: Kafka → OSS

      • New Node Name: Masukkan nama kustom untuk tugas sinkronisasi.

      • Synchronization Method: single-table real-time.

    2. Konfigurasi jaringan dan sumber daya

    1. Di bagian Network and Resource Configuration, pilih Resource Group untuk tugas sinkronisasi. Anda dapat mengalokasikan jumlah Compute Unit (CUs) tertentu untuk Task Resource Usage.

    2. Untuk Source Information, pilih sumber data Kafka Anda. Untuk Destination, pilih sumber data OSS Anda. Lalu, klik Test Connectivity.image

    3. Setelah kedua koneksi berhasil diuji, klik Next.

    3. Konfigurasi pipeline sinkronisasi

    1. Konfigurasi sumber Kafka

    Di bagian atas halaman, klik node sumber Kafka untuk mengonfigurasi Source Information.

    image

    1. Di bagian Source Information, pilih topik Kafka yang ingin Anda sinkronkan.

      Anda dapat menggunakan nilai default yang dihasilkan saat tugas dibuat atau memodifikasinya sesuai kebutuhan.

    2. Di pojok kanan atas, klik Data Sampling.

      Di kotak dialog yang muncul, tentukan Start Time dan Number of Sample Records, lalu klik tombol Start Sampling untuk mengambil sampel data dari topik Kafka yang ditentukan. Anda juga dapat melihat pratinjau data dalam topik tersebut, yang menjadi masukan untuk konfigurasi pratinjau dan visualisasi data pada node pemrosesan data berikutnya.

    3. Di bagian Output Field Configuration, pilih bidang yang ingin Anda sinkronkan.

    2. Konfigurasi node pemrosesan data

    Klik ikon image untuk menambahkan metode pemrosesan data. Tersedia lima metode pemrosesan data: data masking, string replacement, data filtering, JSON parsing, dan field editing and assignment. Anda dapat mengatur urutan metode ini secara bebas. Saat tugas dijalankan, data akan diproses secara berurutan sesuai konfigurasi.

    image

    Setelah mengonfigurasi node pemrosesan data, Anda dapat mengklik Output Preview di pojok kanan atas. Di kotak dialog tersebut, klik Retrieve Upstream Output untuk melihat pratinjau cara node saat ini memproses data sampel dari topik Kafka.

    image

    Catatan

    Pratinjau output data bergantung pada Data Sampling dari sumber Kafka. Sebelum melihat pratinjau output, Anda harus terlebih dahulu mengambil sampel data di formulir konfigurasi sumber Kafka.

    3. Konfigurasi tujuan OSS

    Di bagian atas halaman, klik node tujuan OSS untuk mengonfigurasi OSS destination information.

    image

    1. Di bagian OSS destination information, konfigurasikan informasi dasar untuk menulis data ke OSS.

      • Write Format: Format yang didukung adalah Hudi, Paimon, dan Iceberg.

      • Location for Creating Metadatabase: Jika Data Lake Formation (DLF) diaktifkan untuk akun Anda, sistem dapat secara otomatis membuat metadatabase dan metatable yang sesuai di DLF saat data disinkronkan ke data lake.

        Catatan

        Pembuatan metadatabase lintas-wilayah tidak didukung.

      • Select Storage Path: Pilih path di OSS tempat data disimpan setelah diingest.

      • Target Database: Pilih database tujuan untuk data. Anda juga dapat memilih Create Database untuk membuat metadatabase DLF. Jika demikian, Anda harus menentukan Database Name.

      • Destination Table: Tentukan apakah akan menulis data ke tabel baru dengan memilih Create tables automatically atau ke tabel yang sudah ada dengan memilih Use Existing Table.

      • Table Name: Masukkan atau pilih nama tabel tujuan di OSS.

    2. (Opsional) Edit struktur tabel.

      Saat Anda memilih Create tables automatically, klik tombol Edit Table Schema untuk mengedit struktur tabel target di kotak dialog. Anda juga dapat mengklik Regenerate Schema from Upstream Node untuk secara otomatis menghasilkan struktur tabel dari kolom output node hulu. Dalam struktur yang dihasilkan, Anda dapat memilih kolom untuk dijadikan primary key.

    3. Konfigurasi pemetaan bidang.

      Sistem secara otomatis menghasilkan pemetaan antara kolom hulu dan kolom target berdasarkan prinsip The same name mapping. Anda dapat menyesuaikan pemetaan ini sesuai kebutuhan. Satu kolom hulu dapat dipetakan ke beberapa kolom target, tetapi beberapa kolom hulu tidak dapat dipetakan ke satu kolom target. Jika kolom hulu tidak dipetakan ke kolom target, datanya tidak akan ditulis ke tabel target.

    4. Peringatan

    Untuk mencegah kesalahan tugas menyebabkan keterlambatan sinkronisasi data bisnis, Anda dapat menetapkan kebijakan peringatan untuk tugas sinkronisasi.

    1. Klik Alert Settings di pojok kanan atas halaman untuk membuka halaman pengaturan Alert Rule Configurations for Real-time Synchronization Subnode.

    2. Klik Add Alert Rule untuk mengonfigurasi aturan peringatan.

      Catatan

      Aturan peringatan yang Anda definisikan di sini berlaku untuk subtugas sinkronisasi real-time yang dihasilkan oleh tugas ini. Setelah mengonfigurasi tugas, Anda dapat melihat dan memodifikasi aturan peringatan untuk subtugas tersebut di halaman Run and manage real-time synchronization tasks.

    3. Mengelola aturan peringatan.

      Untuk aturan peringatan yang sudah ada, Anda dapat menggunakan sakel toggle untuk mengaktifkan atau menonaktifkannya. Anda juga dapat mengirim peringatan ke penerima berbeda berdasarkan tingkat peringatan.

    5. Pengaturan lanjutan

    Tugas sinkronisasi menyediakan beberapa parameter yang dapat Anda modifikasi sesuai kebutuhan.

    Catatan

    Sebelum melakukan perubahan, pastikan Anda memahami sepenuhnya fungsi setiap parameter untuk mencegah kesalahan tak terduga atau masalah kualitas data.

    1. Klik advanced settings di pojok kanan atas halaman untuk membuka halaman pengaturan lanjutan.

    2. Di halaman advanced settings, modifikasi nilai parameter sesuai kebutuhan.

    6. Konfigurasi kemampuan DDL

    Operasi DDL mungkin dilakukan pada sumber. Anda dapat mengklik Configure DDL Capability di pojok kanan atas halaman untuk mengonfigurasi aturan guna memproses pesan DDL dari sumber sesuai kebutuhan bisnis Anda.

    Catatan

    Untuk informasi selengkapnya, lihat Configure rules to process DDL messages.

    7. Konfigurasi resource group

    Anda dapat mengklik Configure Resource Group di pojok kanan atas untuk melihat dan mengganti resource group tugas saat ini.

    8. Jalankan simulasi

    Setelah mengonfigurasi tugas, klik Dry Run di pojok kanan atas. Fitur ini mensimulasikan seluruh tugas pada sampel data kecil dan memungkinkan Anda melihat pratinjau hasilnya di tabel target. Jika terdapat kesalahan konfigurasi, pengecualian waktu proses, atau data kotor, Anda akan menerima pesan kesalahan secara real-time. Hal ini membantu Anda memverifikasi dengan cepat bahwa tugas telah dikonfigurasi dengan benar dan menghasilkan output yang diharapkan.

    1. Di kotak dialog, atur parameter sampling: Start Time dan Number of Sample Records.

    2. Klik Start Sampling untuk mengumpulkan data sampel.

    3. Klik Preview untuk mensimulasikan seluruh pemrosesan tugas menggunakan data sampel.

    9. Jalankan tugas sinkronisasi

    1. Setelah menyelesaikan semua pengaturan, klik Complete di bagian bawah halaman.

    2. Di halaman Data Integration > Synchronization Task, temukan tugas yang telah Anda buat dan klik Start di kolom Operations.

    3. Klik Name/ID tugas yang sesuai di Task List untuk melihat proses eksekusi detailnya.

    Kelola tugas sinkronisasi

    Lihat status tugas

    Halaman tugas sinkronisasi mencantumkan semua tugas Anda beserta informasi dasarnya.

    image

    • Di kolom Actions, Anda dapat Start atau Stop tugas sinkronisasi. Menu More menyediakan opsi tambahan, seperti Edit dan View.

    • Untuk tugas yang sedang berjalan, Anda dapat memeriksa Execution Overview untuk melihat status operasionalnya. Anda juga dapat mengklik area ringkasan tersebut untuk melihat informasi eksekusi detail.

    image

    Tugas sinkronisasi real-time satu tabel dari Kafka ke OSS terdiri dari dua langkah:

    • Schema Migration: Langkah ini mencakup metode pembuatan tabel tujuan (menggunakan tabel yang sudah ada atau pembuatan tabel otomatis). Jika Anda memilih pembuatan tabel otomatis, sistem akan menampilkan pernyataan DDL yang digunakan untuk pembuatan tabel.

    • Real-time Data Synchronization: Langkah ini mencakup statistik sinkronisasi data real-time, seperti informasi operasional real-time, catatan DDL, dan informasi peringatan.

    Jalankan ulang tugas

    Dalam kasus khusus, seperti saat Anda perlu memodifikasi bidang yang disinkronkan atau menyesuaikan informasi tabel target, Anda dapat mengklik Rerun di kolom Operations tugas sinkronisasi. Tindakan ini menyinkronkan bidang yang telah disesuaikan dan perubahan lainnya ke target. Proses ini melewati tabel yang tidak berubah dan sebelumnya telah disinkronkan.

    • Untuk menjalankan ulang tugas tanpa perubahan apa pun, klik Rerun.

    • Jika Anda mengedit tugas, klik Complete setelah melakukan perubahan. Aksi tugas berubah menjadi Apply Updates. Mengklik Apply Updates akan menjalankan ulang tugas dengan konfigurasi baru.