Data Integration mendukung sinkronisasi real-time seluruh database dari sumber seperti ApsaraDB for OceanBase, MySQL, Oracle, PolarDB, dan PolarDB-X 2.0 ke MaxCompute. Topik ini menjelaskan cara menyinkronkan data penuh dan inkremental dari seluruh database Oracle ke Tabel Delta MaxCompute, dengan Oracle sebagai sumber dan MaxCompute sebagai tujuan.
Latar Belakang
Fitur sinkronisasi real-time untuk seluruh database Oracle di Data Integration memungkinkan Anda menyinkronkan semua data dari database Oracle sumber ke Tabel Delta MaxCompute. Tabel Delta dapat berupa tabel partisi atau tabel non-partisi. Setelah sinkronisasi penuh awal, tugas tersebut menyinkronkan perubahan data inkremental secara real-time. Data yang disinkronkan terlihat hampir secara real-time, dengan latensi pada tingkat menit. Saat ini, data inkremental yang disinkronkan ke Tabel Delta terlihat dalam waktu paling cepat lima menit.
Untuk informasi lebih lanjut tentang Tabel Delta MaxCompute, lihat Ikhtisar gudang data near real-time.
Prasyarat
Buat sumber data Oracle dan sumber data MaxCompute. Untuk informasi lebih lanjut, lihat Konfigurasi Sumber Data.
Oracle: Aktifkan fitur log arsip. Untuk informasi lebih lanjut, lihat Persiapkan lingkungan Oracle.
MaxCompute: Tipe data Decimal hanya didukung di MaxCompute V2.0. Sebelum menyinkronkan data, aktifkan tipe data MaxCompute V2.0. Untuk informasi lebih lanjut, lihat Tipe data V2.0.
Buat koneksi jaringan antara kelompok sumber daya dan sumber data. Untuk informasi lebih lanjut, lihat Solusi konektivitas jaringan.
Batasan
Fitur ini tidak mendukung sumber data MaxCompute yang menggunakan sintaks skema tingkat penyewa.
Sinkronisasi data sumber ke tabel eksternal MaxCompute tidak didukung.
Prosedur
1. Pilih jenis tugas sinkronisasi
Buka halaman Data Integration.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih . Di halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Integration.
Di panel navigasi sebelah kiri, klik Sync Task. Di bagian atas halaman, klik Create Sync Task untuk membuka halaman pembuatan tugas. Konfigurasikan informasi dasar berikut.
Source and Destination:
OraclekeMaxComputeNew Task Name: Masukkan nama kustom untuk tugas sinkronisasi.
Synchronization Type:
Real-time synchronization of an entire database.Synchronization Steps: Pilih Full Synchronization dan Incremental Synchronization.
2. Konfigurasi jaringan dan sumber daya
Di bagian Network and Resource Configuration, pilih Resource Group untuk tugas sinkronisasi. Anda juga dapat mengalokasikan jumlah CU tertentu untuk Task Resource Usage.
Untuk Source Data Source, pilih sumber data
OracleAnda. Untuk Destination Data Source, pilih sumber dataMaxComputeAnda. Lalu, klik Test Connectivity.
Setelah Anda memastikan bahwa sumber data dan tujuan terhubung, klik Next.
3. Pilih database dan tabel yang akan disinkronkan
Di bagian Source Database and Tables, pilih tabel sumber yang ingin Anda sinkronkan. Klik ikon 
untuk memindahkannya ke daftar Selected Database and Tables di sebelah kanan.
4. Konfigurasi pemetaan tabel target
Setelah Anda memilih tabel dari mana data akan disinkronkan, tabel yang dipilih akan ditampilkan secara otomatis di bagian Mapping Rules for Destination Tables. Properti tabel tujuan menunggu untuk dipetakan. Anda harus menentukan pemetaan secara manual antara tabel sumber dan tabel tujuan untuk menentukan hubungan pembacaan dan penulisan data. Kemudian, Anda dapat mengklik Refresh di kolom Actions. Anda dapat langsung merefresh pemetaan antara tabel sumber dan tabel tujuan. Anda juga dapat merefresh pemetaan setelah mengonfigurasi pengaturan terkait tabel tujuan.
Pilih tabel yang akan disinkronkan dan klik Batch Refresh Mapping. Jika Anda tidak mengonfigurasi aturan pemetaan, aturan penamaan tabel default adalah
${SourceDBName}_${TableName}. Jika tabel dengan nama yang sama tidak ada di tujuan, tabel baru akan dibuat secara otomatis.Di kolom Customize Target Table Name Mapping, klik Edit untuk menyesuaikan aturan penamaan tabel target.
Anda dapat menggabungkan variabel bawaan dan string yang dimasukkan secara manual untuk membuat nama akhir tabel target. Anda juga dapat mengedit variabel bawaan tersebut. Misalnya, Anda dapat membuat aturan penamaan tabel baru yang menambahkan sufiks ke nama tabel sumber untuk membentuk nama tabel target.
Untuk menyinkronkan data ke Tabel Delta MaxCompute, Anda harus menentukan kunci primer untuk tabel target. Secara default, kunci primer tabel sumber digunakan. Jika tabel sumber tidak memiliki kunci primer, Anda dapat menentukan kolom kunci primer kustom. Jika Anda tidak menentukan kunci primer, tugas sinkronisasi tidak dapat disimpan.
Secara default, jumlah bucket untuk Tabel Delta yang dibuat otomatis adalah 16. Anda dapat menentukan jumlah berbeda di kolom Table Bucket Count dalam pemetaan tabel target.
Anda tidak dapat mengubah jumlah bucket untuk tabel yang sudah ada. Jumlah bucket menentukan jumlah bucket tempat data tabel dibagi. Operasi seperti kueri, penulisan, dan penggabungan data dapat dilakukan secara konkuren di tingkat bucket. Namun, terlalu banyak bucket dapat meningkatkan jumlah file kecil. Atur jumlah bucket sesuai kebutuhan Anda. Untuk informasi lebih lanjut, lihat Operasi tabel dan Penyimpanan data dan bucketing.
Secara default, waktu kueri data historis untuk Tabel Delta yang dibuat otomatis adalah 0 jam. Anda dapat menentukan waktu berbeda di kolom Historical Data Query Time dalam pemetaan tabel target.
Anda tidak dapat mengubah waktu kueri data historis untuk tabel yang sudah ada. Pengaturan ini menentukan rentang waktu di mana Anda dapat mengkueri versi data historis. Data historis di luar rentang waktu yang ditentukan tidak dapat dikueri. Rentang waktu yang lebih lama berarti lebih banyak data historis yang disimpan, sehingga meningkatkan biaya penyimpanan. Atur parameter ini sesuai kebutuhan Anda. Untuk informasi lebih lanjut, lihat Operasi tabel dan Time Travel.
a. Ubah pemetaan tipe data untuk bidang
Pemetaan default sudah ada antara tipe data bidang sumber dan tipe data bidang tujuan. Anda dapat mengklik Edit Mapping of Field Data Types di pojok kanan atas bagian Mapping Rules for Destination Tables untuk mengonfigurasi pemetaan tipe data antara bidang sumber dan bidang tujuan sesuai kebutuhan bisnis Anda. Setelah konfigurasi selesai, klik Apply and Refresh Mapping.
b. Ubah skema tabel tujuan untuk menambahkan bidang ke tabel dan memberikan nilai ke bidang tersebut
Jika tabel tujuan berada dalam status to-be-created, Anda dapat melakukan langkah-langkah berikut untuk menambahkan bidang ke tabel dan memberikan nilai ke bidang tersebut:
Tambahkan bidang ke satu atau beberapa tabel tujuan.
Tambahkan bidang ke satu tabel tujuan: Temukan tabel tujuan tempat Anda ingin menambahkan bidang dan klik ikon
di kolom Destination Table Name. Di kotak dialog yang muncul, tambahkan bidang. Tambahkan bidang ke beberapa tabel tujuan sekaligus: Pilih tabel tujuan tempat Anda ingin menambahkan bidang sekaligus, klik Batch Modify di bagian bawah halaman, lalu klik Destination Table Schema - Batch Modify and Add Field.
Berikan nilai ke bidang tersebut. Anda dapat melakukan salah satu operasi berikut untuk memberikan nilai ke bidang tersebut:
Berikan nilai ke bidang yang ditambahkan ke satu tabel tujuan: Temukan tabel tujuan tempat Anda ingin memberikan nilai ke bidang yang baru ditambahkan dan klik Configure di kolom Value assignment. Di kotak dialog Additional Field, berikan nilai ke bidang tersebut.
Berikan nilai ke bidang yang ditambahkan ke beberapa tabel tujuan sekaligus: Pilih tabel tujuan tempat Anda ingin memberikan nilai ke bidang yang baru ditambahkan, klik Batch Modify di bagian bawah halaman, lalu klik Value assignment untuk memberikan nilai ke bidang yang sama di tabel tujuan yang dipilih sekaligus.
CatatanAnda dapat mengklik ikon
untuk mengganti metode pemberian nilai dan memberikan konstanta serta variabel ke bidang yang ditambahkan ke tabel tujuan.
c. Konfigurasi aturan pemrosesan DML
Data Integration menyediakan aturan pemrosesan DML default. Anda juga dapat mengonfigurasi aturan pemrosesan DML untuk tabel tujuan sesuai kebutuhan bisnis Anda.
Konfigurasi aturan pemrosesan DML untuk satu tabel tujuan: Temukan tabel tujuan tempat Anda ingin mengonfigurasi aturan pemrosesan DML dan klik Configure di kolom Configure DML Rule untuk mengonfigurasi aturan pemrosesan DML untuk tabel tersebut.
Konfigurasi aturan pemrosesan DML untuk beberapa tabel tujuan sekaligus: Pilih tabel tujuan tempat Anda ingin mengonfigurasi aturan pemrosesan DML, klik Batch Modify di bagian bawah halaman, lalu klik Configure DML Rule.
4. Lakukan sinkronisasi penuh
Jika Anda memilih Full Synchronization untuk Synchronization Steps saat Anda memilih jenis tugas sinkronisasi, Anda juga dapat menonaktifkan sinkronisasi penuh untuk tabel tertentu di halaman ini.
5. Konfigurasi aturan peringatan
Untuk mencegah kegagalan tugas sinkronisasi menyebabkan latensi pada sinkronisasi data bisnis, Anda dapat mengonfigurasi berbagai aturan peringatan untuk tugas sinkronisasi.
Di pojok kanan atas halaman, klik Configure Alert Rule untuk membuka panel Configure Alert Rule.
Di panel Configure Alert Rule, klik Add Alert Rule. Di kotak dialog Add Alert Rule, konfigurasikan parameter untuk mengatur aturan peringatan.
CatatanAturan peringatan yang Anda konfigurasi dalam langkah ini berlaku untuk subtask sinkronisasi real-time yang akan dihasilkan oleh tugas sinkronisasi. Setelah konfigurasi tugas sinkronisasi selesai, Anda dapat merujuk ke Kelola tugas sinkronisasi real-time untuk membuka halaman Tugas Sinkronisasi Real-Time dan memodifikasi aturan peringatan yang dikonfigurasi untuk subtask sinkronisasi real-time.
Kelola aturan peringatan.
Anda dapat mengaktifkan atau menonaktifkan aturan peringatan yang telah dibuat. Anda juga dapat menentukan penerima peringatan berbeda berdasarkan tingkat keparahan peringatan.
6. Konfigurasi parameter lanjutan
Anda dapat mengubah nilai parameter tertentu yang dikonfigurasi untuk tugas sinkronisasi sesuai kebutuhan bisnis Anda. Misalnya, Anda dapat menentukan nilai yang sesuai untuk parameter Maximum read connections untuk mencegah tugas sinkronisasi saat ini memberikan tekanan berlebihan pada database sumber dan memengaruhi produksi data.
Untuk mencegah kesalahan tak terduga atau masalah kualitas data, kami sarankan agar Anda memahami makna parameter sebelum mengubah nilainya.
Di pojok kanan atas halaman konfigurasi, klik Configure Advanced Parameters.
Di panel Configure Advanced Parameters, ubah nilai parameter yang diinginkan.
7. Konfigurasi aturan pemrosesan DDL
Operasi DDL mungkin dilakukan pada sumber. Anda dapat mengklik Configure DDL Capability di pojok kanan atas halaman untuk mengonfigurasi aturan guna memproses pesan DDL dari sumber sesuai kebutuhan bisnis Anda.
Untuk informasi lebih lanjut, lihat Konfigurasi aturan untuk memproses pesan DDL.
8. Lihat dan ubah kelompok sumber daya
Anda dapat mengklik Configure Resource Group di pojok kanan atas halaman untuk melihat dan mengubah kelompok sumber daya yang digunakan untuk menjalankan tugas sinkronisasi saat ini.
9. Jalankan tugas sinkronisasi
Setelah konfigurasi tugas sinkronisasi selesai, klik Complete di bagian bawah halaman.
Di bagian Nodes halaman Data Integration, temukan tugas sinkronisasi yang telah dibuat dan klik Start di kolom Actions.
Klik name or ID tugas sinkronisasi di bagian Tasks dan lihat proses berjalan detail dari tugas sinkronisasi tersebut.
O&M tugas sinkronisasi
Lihat status berjalan tugas
Setelah Anda membuat tugas sinkronisasi, Anda dapat melihat daftar tugas sinkronisasi yang telah Anda buat beserta informasi dasarnya di halaman tugas sinkronisasi.
Di kolom Actions, Anda dapat Start atau Stop tugas sinkronisasi. Di bawah More, Anda dapat melakukan operasi lain, seperti Edit dan View.
Untuk tugas yang sedang berjalan, Anda dapat melihat status berjalan dasarnya di bagian Execution Overview. Anda juga dapat mengklik area tertentu dari ikhtisar tersebut untuk melihat detail eksekusi.
Tugas sinkronisasi real-time untuk seluruh database Oracle ke MaxCompute terdiri dari tiga langkah:
Migrasi skema: Langkah ini mencakup metode pembuatan tabel target (tabel yang sudah ada atau pembuatan otomatis). Jika tabel dibuat secara otomatis, pernyataan DDL akan ditampilkan.
Inisialisasi penuh: Langkah ini mencakup informasi tentang tabel yang disinkronkan secara offline, progres sinkronisasi, dan jumlah baris yang ditulis.
Sinkronisasi data real-time: Langkah ini mencakup statistik tentang sinkronisasi real-time, seperti progres real-time, catatan DDL, catatan DML, dan informasi peringatan.
Jalankan ulang tugas sinkronisasi
Dalam beberapa kasus khusus, jika Anda menambahkan atau menghapus tabel dari sumber, atau mengubah skema atau nama tabel tujuan, Anda dapat mengklik More di kolom Actions tugas sinkronisasi lalu klik Rerun untuk menjalankan ulang tugas setelah perubahan tersebut. Selama proses menjalankan ulang, tugas sinkronisasi hanya menyinkronkan data dari tabel yang baru ditambahkan ke tujuan atau hanya dari tabel sumber yang dipetakan ke tabel tujuan yang skema atau namanya diubah.
Jika Anda ingin menjalankan ulang tugas sinkronisasi tanpa mengubah konfigurasi tugas, klik More di kolom Actions lalu klik Rerun untuk menjalankan ulang tugas guna melakukan sinkronisasi penuh dan inkremental lagi.
Jika Anda ingin menjalankan ulang tugas sinkronisasi setelah menambahkan atau menghapus tabel dari tugas, klik Complete setelah perubahan tersebut. Dalam hal ini, Apply Updates akan ditampilkan di kolom Actions tugas sinkronisasi. Klik Apply Updates untuk memicu sistem menjalankan ulang tugas sinkronisasi. Selama proses menjalankan ulang, tugas sinkronisasi menyinkronkan data dari tabel yang baru ditambahkan ke tujuan. Data di tabel asli tidak disinkronkan lagi.