Sinkronisasi real-time satu tabel Oracle ke Tablestore - DataWorks

Topik ini menjelaskan cara menggunakan Data Integration untuk menyinkronkan data dari tabel Oracle ke Tablestore secara real time melalui contoh sinkronisasi satu tabel Oracle ke Tablestore.

Prasyarat

kelompok sumber daya arsitektur tanpa server atau grup sumber daya eksklusif untuk Integrasi Data telah dibeli.
Sumber data Oracle dan Tablestore telah dibuat. Untuk informasi selengkapnya, lihat Buat sumber data untuk Integrasi Data.
Koneksi jaringan antara kelompok sumber daya dan sumber data telah dibuat. Untuk informasi selengkapnya, lihat Solusi konektivitas jaringan.

Prosedur

Langkah 1: Pilih jenis tugas sinkronisasi

Buka halaman Integrasi Data.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih Data Integration > Data Integration. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down, lalu klik Go to Data Integration.
Di panel navigasi sebelah kiri, klik Synchronization Task, lalu klik Create Synchronization Task di bagian atas halaman untuk membuka halaman pembuatan tugas sinkronisasi. Konfigurasikan informasi dasar berikut:
- Source And Destination: Oracle→Tablestore
- New Task Name: Sesuaikan nama tugas sinkronisasi.
- Synchronization Type: Single Table Realtime.

Langkah 2: Konfigurasi jaringan dan sumber daya

Pada bagian Network And Resource Configuration, pilih Resource Group untuk tugas sinkronisasi. Anda dapat mengalokasikan jumlah CU untuk Task Resource Usage.
Untuk Source Data Source, pilih sumber data Oracle yang telah ditambahkan. Untuk Destination Data Source, pilih sumber data Tablestore yang telah ditambahkan, lalu klik Test Connectivity.
Setelah memastikan bahwa kedua sumber data (sumber dan tujuan) berhasil terhubung, klik Next.

Langkah 3: Konfigurasi tautan sinkronisasi

1. Konfigurasi sumber Oracle

Klik sumber data Oracle di bagian atas halaman untuk mengedit Oracle Source Information.

Pada bagian Oracle Source Information, pilih skema tempat tabel Oracle yang ingin Anda baca berada, serta tabel sumber.
Klik Data Sampling di pojok kanan atas.
Pada kotak dialog Preview Data Output, tentukan Sampled Data Records, lalu klik Start Collection untuk mengambil sampel data dari tabel Oracle yang ditentukan dan melihat pratinjau data dalam tabel Oracle tersebut, yang akan menjadi masukan untuk konfigurasi visual selanjutnya.

2. Konfigurasi node pemrosesan data

Anda dapat mengklik ikon untuk menambahkan metode pemrosesan data. Metode pemrosesan data berikut didukung: Data Masking, Replace String, Data filtering, JSON Parsing, dan Edit Field and Assign Value. Anda dapat mengatur urutan metode pemrosesan data sesuai kebutuhan bisnis Anda. Saat tugas sinkronisasi dijalankan, data akan diproses berdasarkan urutan pemrosesan yang Anda tentukan.

Setelah menyelesaikan konfigurasi node pemrosesan data, Anda dapat mengklik tombol Preview Data Output di pojok kanan atas. Pada kotak dialog yang muncul, klik Re-obtain Output Of Ancestor Node untuk mensimulasikan hasil setelah data sampel tabel Oracle diproses oleh node pemrosesan data saat ini.

Catatan

Pratinjau keluaran data sangat bergantung pada Data Sampling dari sumber Oracle. Sebelum menjalankan pratinjau keluaran data, Anda perlu menyelesaikan pengambilan sampel data pada formulir sumber Oracle.

3. Konfigurasi informasi tujuan Tablestore

Klik tujuan data Tablestore di bagian atas halaman untuk mengedit Tablestore Destination Information.

Pada bagian Tablestore Destination Information, pilih tabel Tablestore tempat Anda ingin menulis data.
Catatan
Tabel Tablestore harus dibuat terlebih dahulu.
Pilih Data Update Mode. Mode berikut didukung:
- replace: Perubahan baris. Langsung menimpa baris asli dengan data yang diperbarui.
- update: Perubahan kolom. Hanya memperbarui kolom-kolom yang datanya berubah.
Konfigurasi pemetaan bidang.
Pada bagian kanan Field Mappings, Anda dapat mengklik Batch Add All Source Fields As Attribute Fields, atau secara manual mengklik Add Attribute Field di bagian Output Field, lalu klik Same-name Mapping, Same-row Mapping, atau Clear Mapping untuk mengonfigurasi pemetaan.

4. Konfigurasi aturan peringatan

Untuk mencegah kegagalan tugas sinkronisasi menyebabkan latensi pada sinkronisasi data bisnis, Anda dapat mengonfigurasi berbagai aturan peringatan untuk tugas sinkronisasi tersebut.

Di pojok kanan atas halaman, klik Configure Alert Rule untuk membuka panel Configure Alert Rule.
Pada panel Configure Alert Rule, klik Add Alert Rule. Pada kotak dialog Add Alert Rule, konfigurasikan parameter untuk menetapkan aturan peringatan.
Catatan
Aturan peringatan yang Anda konfigurasi pada langkah ini berlaku untuk sub-tugas sinkronisasi real-time yang akan dihasilkan oleh tugas sinkronisasi. Setelah konfigurasi tugas sinkronisasi selesai, Anda dapat merujuk ke Manage real-time synchronization tasks untuk membuka halaman Tugas Sinkronisasi Real-time dan memodifikasi aturan peringatan yang dikonfigurasi untuk sub-tugas sinkronisasi real-time tersebut.
Kelola aturan peringatan.
Anda dapat mengaktifkan atau menonaktifkan aturan peringatan yang telah dibuat. Anda juga dapat menentukan penerima peringatan yang berbeda berdasarkan tingkat keparahan peringatan.

5. Konfigurasi parameter lanjutan

DataWorks memungkinkan Anda memodifikasi konfigurasi parameter tertentu. Anda dapat mengubah nilai parameter-parameter ini sesuai kebutuhan bisnis Anda.

Catatan

Untuk mencegah kesalahan tak terduga atau masalah kualitas data, kami menyarankan agar Anda memahami makna parameter sebelum mengubah nilainya.

Di pojok kanan atas halaman konfigurasi, klik Configure Advanced Parameters.
Pada panel Configure Advanced Parameters, ubah nilai parameter yang diinginkan.

Langkah 6: Konfigurasi kemampuan DDL

Operasi DDL mungkin dilakukan pada sumber. Anda dapat mengklik Configure DDL Capability di pojok kanan atas halaman untuk mengonfigurasi aturan guna memproses pesan DDL dari sumber sesuai kebutuhan bisnis Anda.

Catatan

Untuk informasi selengkapnya, lihat Configure rules to process DDL messages.

Langkah 7: Konfigurasi kelompok sumber daya

Anda dapat mengklik Configure Resource Group di pojok kanan atas halaman untuk melihat dan mengubah kelompok sumber daya yang digunakan untuk menjalankan tugas sinkronisasi saat ini.

Langkah 8: Lakukan uji coba

Setelah konfigurasi di atas selesai, Anda dapat mengklik Perform Simulated Running di pojok kanan atas halaman konfigurasi untuk memungkinkan tugas sinkronisasi menyinkronkan data sampel ke tabel tujuan. Anda dapat melihat hasil sinkronisasi di tabel tujuan. Jika ada konfigurasi tugas sinkronisasi yang tidak valid, terjadi pengecualian selama uji coba, atau data kotor dihasilkan, sistem akan melaporkan kesalahan secara real time. Hal ini membantu Anda memeriksa konfigurasi tugas sinkronisasi dan menentukan apakah hasil yang diharapkan dapat diperoleh sesegera mungkin.

Pada kotak dialog yang muncul, konfigurasikan parameter untuk pengambilan sampel data dari tabel yang ditentukan, termasuk parameter Start At dan Sampled Data Records.
Klik Start Collection untuk memungkinkan tugas sinkronisasi mengambil sampel data dari sumber.
Klik Preview untuk memungkinkan tugas sinkronisasi menyinkronkan data sampel ke tujuan.

Langkah 9: Jalankan tugas sinkronisasi

Setelah konfigurasi tugas sinkronisasi selesai, klik Complete di bagian bawah halaman.
Pada bagian Tasks halaman Synchronization Task, temukan tugas sinkronisasi yang telah dibuat, lalu klik Start di kolom Operation.
Klik name or ID tugas sinkronisasi di bagian Tasks dan lihat proses berjalan detail dari tugas sinkronisasi tersebut.

Lakukan operasi O&M pada tugas sinkronisasi

Lihat status tugas sinkronisasi

Setelah tugas sinkronisasi dibuat, Anda dapat membuka halaman Tugas Sinkronisasi untuk melihat semua tugas sinkronisasi yang dibuat di ruang kerja dan informasi dasar masing-masing tugas sinkronisasi.

Anda dapat Start atau Stop tugas sinkronisasi di kolom Actions. Di menu More, Anda dapat melakukan operasi seperti Edit dan View pada tugas sinkronisasi.
Untuk tugas yang telah dijalankan, Anda dapat melihat status dasar tugas di Running Details, atau klik area detail yang sesuai untuk melihat detail eksekusi.

Tugas sinkronisasi real-time dari Oracle ke Tablestore mencakup Real-time Data Synchronization. Anda dapat melihat informasi berjalan, catatan DDL, dan informasi peringatan.

Jalankan ulang tugas sinkronisasi

Dalam beberapa kasus khusus, jika Anda ingin memodifikasi bidang yang akan disinkronkan, bidang dalam tabel tujuan, atau informasi nama tabel, Anda juga dapat mengklik Rerun di kolom Operation tugas sinkronisasi yang diinginkan. Dengan demikian, sistem akan menyinkronkan perubahan yang dilakukan pada tujuan. Data dalam tabel yang sudah disinkronkan dan tidak dimodifikasi tidak akan disinkronkan lagi.

Langsung klik Rerun tanpa memodifikasi konfigurasi tugas sinkronisasi untuk memungkinkan sistem menjalankan ulang tugas sinkronisasi.
Modifikasi konfigurasi tugas sinkronisasi, lalu klik Complete. Klik Apply Updates yang ditampilkan di kolom Operation tugas sinkronisasi untuk menjalankan ulang tugas sinkronisasi agar konfigurasi terbaru berlaku.