Topik ini menjelaskan cara menggunakan Data Integration untuk menyinkronkan data dari satu tabel Oracle ke Tablestore secara real time.
Prasyarat
-
Anda telah membeli serverless resource group atau exclusive resource group untuk Data Integration.
-
Anda telah membuat sumber data Oracle dan sumber data Tablestore. Untuk informasi selengkapnya, lihat Konfigurasi sumber data.
-
Anda telah menetapkan konektivitas jaringan antara resource group dan sumber data. Untuk informasi selengkapnya, lihat Ikhtisar solusi konektivitas jaringan.
Prosedur
Langkah 1: Pilih jenis tugas sinkronisasi
Masuk ke Konsol DataWorks. Di wilayah target, klik di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down lalu klik Go to Data Integration.
-
Di panel navigasi kiri, klik Synchronization Task. Di bagian atas halaman, klik Create Synchronization Task. Konfigurasikan informasi dasar berikut.
-
Source and destination:
Oracle→Tablestore -
New Node Name: Masukkan nama kustom untuk tugas sinkronisasi.
-
Synchronization Method:
single-table real-time.
-
Langkah 2: Konfigurasikan jaringan dan sumber daya
-
Pada bagian Network and Resource Configuration, pilih Resource Group untuk tugas sinkronisasi. Anda dapat mengalokasikan compute units (CUs) untuk Task Resource Usage.
-
Untuk Source Information, pilih sumber data
OracleAnda. Untuk Destination, pilih sumber dataTablestoreAnda. Lalu, klik Test Connectivity. -
Setelah kedua sumber data (sumber dan tujuan) lolos uji konektivitas, klik Next.
Langkah 3: Konfigurasikan tautan sinkronisasi
1. Konfigurasikan sumber Oracle
Di bagian atas halaman, klik sumber data Oracle untuk mengedit Source Information (Oracle).

-
Pada bagian Source Information (Oracle), pilih skema yang berisi tabel Oracle yang ingin Anda baca, lalu pilih tabel sumber.
-
Di pojok kanan atas, klik Data Sampling.
Pada kotak dialog Output Preview, tentukan jumlah catatan untuk Number of Sample Records lalu klik Start Sampling. Hal ini memungkinkan Anda mengambil sampel dan melihat pratinjau data dari tabel Oracle yang ditentukan, yang menjadi masukan untuk langkah konfigurasi visual berikutnya.
2. Edit node pemrosesan data
Klik ikon
untuk menambahkan metode pemrosesan data. Tersedia lima metode pemrosesan data: data masking, string replacement, data filtering, JSON parsing, dan field editing and assignment. Anda dapat mengatur urutan metode ini sesuka hati. Saat tugas dijalankan, data akan diproses secara berurutan sesuai konfigurasi.
Setelah mengonfigurasi setiap node pemrosesan data, klik tombol Output Preview di pojok kanan atas. Pada kotak dialog yang muncul, klik Retrieve Upstream Output untuk melihat pratinjau cara node saat ini memproses data sampel.
Kotak dialog pratinjau output data memiliki dua bagian: Input data dan Preview result. Di bagian Input data, Anda dapat mengklik Re-obtain output of ancestor node atau menambahkan data uji secara manual menggunakan opsi + Manually construct data. Di bagian Preview result, klik Preview untuk melihat output hasil pemrosesan dan jumlah dirty data yang ditemukan. Pratinjau ini hanya sebagai referensi, dan hasil eksekusi tugas sebenarnya mungkin berbeda.
Pratinjau output data sangat bergantung pada Data Sampling dari sumber Oracle. Anda harus melakukan pengambilan sampel data pada sumber Oracle terlebih dahulu sebelum dapat melihat pratinjau output.
3. Konfigurasikan tujuan Tablestore
Di bagian atas halaman, klik tujuan Tablestore untuk mengedit Tablestore destination information.
-
Pada bagian Tablestore destination information, pilih tabel Tablestore tujuan.
CatatanTabel Tablestore harus dibuat terlebih dahulu.
-
Pilih Data Update Mode. Dua mode didukung:
-
replace: Menimpa seluruh baris dengan data yang diperbarui.
-
update: Memperbarui hanya kolom yang berubah.
-
-
Konfigurasikan pemetaan bidang.
Di sisi kanan bagian Field Mapping, klik Batch Add All Source Fields as Attribute Fields. Atau, di bagian Output Field, klik secara manual Add Attribute Field, lalu gunakan The same name mapping, Map Fields in Same Row, atau Clear mapping untuk mengonfigurasi pemetaan.
4. Peringatan
Untuk mencegah kesalahan tugas menyebabkan keterlambatan dalam sinkronisasi data bisnis, Anda dapat menetapkan kebijakan peringatan untuk tugas sinkronisasi.
-
Klik Alert Settings di pojok kanan atas halaman untuk membuka halaman pengaturan Alert Rule Configurations for Real-time Synchronization Subnode.
-
Klik Add Alert Rule untuk mengonfigurasi aturan peringatan.
CatatanAturan peringatan yang Anda definisikan di sini berlaku untuk subtask sinkronisasi real-time yang dihasilkan oleh tugas ini. Setelah mengonfigurasi tugas, Anda dapat melihat dan mengubah aturan peringatan untuk subtask tersebut di halaman Run and manage real-time synchronization tasks.
-
Kelola aturan peringatan.
Untuk aturan peringatan yang sudah ada, Anda dapat menggunakan sakelar toggle untuk mengaktifkan atau menonaktifkannya. Anda juga dapat mengirim peringatan ke penerima berbeda berdasarkan tingkat peringatan.
5. Pengaturan lanjutan
Tugas sinkronisasi menyediakan beberapa parameter yang dapat Anda ubah sesuai kebutuhan.
Sebelum melakukan perubahan, pastikan Anda memahami sepenuhnya fungsi setiap parameter untuk mencegah kesalahan tak terduga atau masalah kualitas data.
-
Klik advanced settings di pojok kanan atas halaman untuk membuka halaman pengaturan lanjutan.
-
Di halaman advanced settings, ubah nilai parameter sesuai kebutuhan.
Langkah 6: Konfigurasikan kemampuan DDL
Sumber data mungkin berisi berbagai operasi DDL. Berdasarkan kebutuhan bisnis Anda, Anda dapat mengklik DDL Capability Configuration di pojok kanan atas halaman untuk membuka halaman konfigurasi kemampuan DDL dan menentukan kebijakan pemrosesan untuk berbagai pesan DDL yang akan disinkronkan ke tujuan.
Untuk informasi selengkapnya tentang kebijakan pemrosesan pesan DDL yang berbeda, lihat DDL message processing rules.
Langkah 7: Konfigurasikan resource group
Anda dapat mengklik Configure Resource Group di pojok kanan atas untuk melihat dan mengganti resource group tugas saat ini.
Langkah 8: Lakukan simulasi eksekusi
Setelah mengonfigurasi tugas, klik Dry Run di pojok kanan atas. Fitur ini mensimulasikan seluruh tugas pada sampel data kecil dan memungkinkan Anda melihat pratinjau hasilnya di tabel target. Jika terdapat kesalahan konfigurasi, pengecualian waktu proses, atau dirty data, Anda akan menerima pesan kesalahan secara real time. Hal ini membantu Anda memverifikasi dengan cepat bahwa tugas dikonfigurasi dengan benar dan menghasilkan output yang diharapkan.
-
Pada kotak dialog, atur parameter pengambilan sampel: Start Time dan Number of Sample Records.
-
Klik Start Sampling untuk mengumpulkan data sampel.
-
Klik Preview untuk mensimulasikan seluruh pemrosesan tugas menggunakan data sampel.
Langkah 9: Jalankan tugas sinkronisasi
-
Setelah menyelesaikan semua pengaturan, klik Complete di bagian bawah halaman.
-
Di halaman , temukan tugas yang telah Anda buat lalu klik Start di kolom Operations.
-
Klik Name/ID tugas yang sesuai di Task List untuk melihat proses eksekusinya secara detail.
Kelola dan pantau tugas
Lihat status tugas
Halaman synchronization task mencantumkan semua tugas yang telah dibuat beserta informasi dasarnya.
-
Di kolom Actions, Anda dapat Start atau Stop tugas. Dari menu More, Anda dapat melakukan aksi seperti Edit dan View.
-
Untuk tugas yang sedang berjalan, Anda dapat melihat status dasar eksekusinya di bagian Execution Overview. Anda juga dapat mengklik area detail untuk melihat informasi lebih lanjut.
Bagian Basic information pada halaman detail tugas menampilkan ID tugas, sumber data, solusi sinkronisasi, resource group sinkronisasi, status, dan CUs yang digunakan oleh tugas. Bagian tengah halaman berisi tiga tab: Execution status, Run log, dan Failover. Anda dapat berpindah antar tab untuk melihat detailnya.
Tugas sinkronisasi real-time satu tabel dari Oracle ke Tablestore mencakup subtask Real-time Data Synchronization. Anda dapat melihat informasi eksekusinya, catatan DDL, dan informasi peringatan.
Jalankan ulang tugas
Dalam kasus khusus, seperti ketika Anda perlu mengubah bidang yang disinkronkan atau menyesuaikan informasi tabel target, Anda dapat mengklik Rerun di kolom Operations tugas sinkronisasi. Aksi ini menyinkronkan bidang yang telah disesuaikan dan perubahan lainnya ke target. Proses ini melewati tabel yang tidak berubah dan sebelumnya telah disinkronkan.
-
Untuk menjalankan ulang tugas tanpa perubahan apa pun, klik Rerun.
-
Jika Anda mengedit tugas, klik Complete setelah melakukan perubahan. Aksi tugas berubah menjadi Apply Updates. Mengklik Apply Updates akan menjalankan ulang tugas dengan konfigurasi baru.