All Products
Search
Document Center

Data Transmission Service:Sinkronisasi PolarDB untuk PostgreSQL (kompatibel Oracle) ke Kafka

Last Updated:Aug 28, 2026

Topik ini menjelaskan cara menyinkronkan data dari kluster PolarDB for PostgreSQL (Compatible with Oracle) ke Message Queue for Apache Kafka menggunakan Data Transmission Service (DTS).

Prasyarat

  • Atur parameter wal_level menjadi logical pada instans sumber PolarDB for PostgreSQL (Compatible with Oracle). Pengaturan ini menambahkan informasi yang diperlukan untuk logical decoding ke write-ahead log (WAL). Untuk informasi selengkapnya, lihat Konfigurasikan parameter kluster.

  • Buat instans tujuan Alibaba Cloud Message Queue for Kafka dengan kapasitas penyimpanan lebih besar daripada kapasitas yang digunakan oleh instans sumber PolarDB for PostgreSQL (Compatible with Oracle).

    Catatan

    Untuk versi database sumber dan tujuan yang didukung, lihat Solusi sinkronisasi.

  • Buat topik di instans tujuan Alibaba Cloud Message Queue for Kafka untuk menerima data yang disinkronkan. Untuk informasi selengkapnya, lihat Langkah 1: Buat topik.

Catatan penggunaan

Jenis

Deskripsi

Batasan database sumber

  • Kebutuhan bandwidth: Server tempat database sumber berada harus memiliki bandwidth outbound yang cukup. Jika tidak, kecepatan sinkronisasi data akan terpengaruh.

  • Jika tabel yang akan disinkronkan tidak memiliki primary key atau kendala UNIQUE, Anda harus mengaktifkan fitur Penulisan Exactly-Once saat mengonfigurasi tugas. Jika tidak, data duplikat dapat muncul di database tujuan. Untuk informasi selengkapnya, lihat Sinkronisasi tabel tanpa primary key atau kendala UNIQUE.

  • Jika objek sinkronisasi berupa tabel dan Anda perlu mengeditnya (misalnya, memetakan nama tabel atau kolom), serta jumlah tabel yang disinkronkan dalam satu tugas melebihi 1.000, kami menyarankan agar Anda membagi tabel tersebut ke beberapa tugas atau mengonfigurasi satu tugas untuk menyinkronkan seluruh database. Jika tidak, kesalahan permintaan dapat dilaporkan setelah Anda mengirimkan tugas.

  • Anda harus mengaktifkan WAL. Untuk tugas sinkronisasi inkremental, DTS mensyaratkan bahwa log WAL database sumber dipertahankan lebih dari 24 jam. Untuk tugas yang mencakup sinkronisasi penuh dan inkremental, DTS mensyaratkan bahwa log WAL dipertahankan minimal 7 hari. Anda dapat mengatur periode retensi log menjadi lebih dari 24 jam setelah sinkronisasi penuh selesai. Jika tidak, tugas DTS dapat gagal karena tidak dapat memperoleh log WAL. Dalam kasus ekstrem, ketidakkonsistenan atau kehilangan data dapat terjadi. Masalah yang disebabkan oleh periode retensi log WAL yang lebih pendek dari persyaratan DTS tidak dicakup oleh Perjanjian Tingkat Layanan (SLA).

  • Jika database sumber memiliki transaksi jangka panjang, write-ahead log (WAL) yang dihasilkan sebelum transaksi jangka panjang tersebut dikomit dapat menumpuk selama tugas sinkronisasi inkremental. Hal ini dapat menyebabkan ruang disk database sumber menjadi tidak mencukupi.

  • Batasan operasi di database sumber:

    • Selama sinkronisasi skema dan sinkronisasi data penuh, jangan lakukan operasi DDL yang mengubah struktur database atau tabel. Jika tidak, tugas sinkronisasi data akan gagal.

    • Jika Anda hanya melakukan sinkronisasi data penuh, jangan menulis data baru ke instans sumber. Jika tidak, akan terjadi ketidakkonsistenan data antara database sumber dan tujuan. Untuk menjaga konsistensi data secara real-time, kami menyarankan Anda memilih sinkronisasi skema, sinkronisasi data penuh, dan sinkronisasi data inkremental.

    • Untuk memastikan tugas sinkronisasi berjalan sesuai harapan dan mencegah replikasi logis terganggu oleh alih bencana primer/sekunder, kluster PolarDB for PostgreSQL (Compatible with Oracle) harus mendukung dan mengaktifkan Logical Replication Slot Failover.

      Catatan

      Jika kluster PolarDB for PostgreSQL (Compatible with Oracle) tidak mendukung Logical Replication Slot Failover (misalnya, jika Database Engine kluster adalah Oracle syntax compatible 2.0), alih bencana ketersediaan tinggi (HA) di kluster dapat menyebabkan instans sinkronisasi gagal dan tidak dapat dipulihkan.

    • Karena keterbatasan inheren langganan logis di database sumber, jika satu catatan data yang akan disinkronkan melebihi 256 MB setelah perubahan inkremental, instans sinkronisasi akan gagal dan harus dikonfigurasi ulang.

Batasan lainnya

  • Satu tugas sinkronisasi data hanya dapat menyinkronkan satu database. Untuk menyinkronkan beberapa database, konfigurasikan satu tugas sinkronisasi data untuk setiap database.

  • DTS tidak mendukung sinkronisasi tabel plugin TimescaleDB, tabel dengan pewarisan lintas-skema, atau tabel dengan indeks unik berbasis ekspresi.

  • Skema yang dibuat dengan menginstal plugin tidak dapat disinkronkan. Anda tidak dapat memperoleh informasi tentang skema ini di Konsol saat mengonfigurasi tugas.

  • DTS tidak mendukung sinkronisasi INDEX, PARTITION, VIEW, PROCEDURE, FUNCTION, TRIGGER, atau FK.

  • Selama sinkronisasi data, DTS membuat slot replikasi dengan awalan dts_sync_ di database sumber untuk mereplikasi data. Slot replikasi ini memungkinkan DTS memperoleh log inkremental yang dihasilkan dalam 15 menit terakhir dari database sumber. Ketika tugas sinkronisasi data gagal atau instans dilepas, DTS akan mencoba menghapus slot replikasi ini secara otomatis.

    Catatan
    • Jika Anda mengubah kata sandi akun database sumber atau menghapus daftar putih IP untuk DTS selama sinkronisasi data, slot replikasi tidak akan dibersihkan secara otomatis. Bersihkan secara manual slot replikasi di database sumber untuk mencegahnya mengonsumsi ruang disk dan membuat database sumber tidak tersedia.

    • Jika database sumber mengalami failover, login ke database cadangan untuk melakukan pembersihan secara manual.

    Jalankan pernyataan SQL SELECT * FROM pg_replication_slots; untuk melihat semua slot replikasi di database sumber. Di hasilnya, slot replikasi DTS adalah catatan di mana nilai slot_name diawali dengan dts_sync_ dan nilai active adalah true.

  • Jika instans Kafka tujuan diskalakan naik atau turun selama sinkronisasi data, Anda harus merestart instans migrasi.

  • Dalam tiga skenario berikut, Anda harus menjalankan perintah ALTER TABLE schema.table REPLICA IDENTITY FULL; pada tabel sumber sebelum menulis data ke dalamnya untuk memastikan konsistensi data. Jangan lakukan operasi penguncian tabel saat perintah ini berjalan untuk mencegah deadlock. Jika Anda melewatkan pemeriksaan ini selama pemeriksaan awal, DTS akan menjalankan perintah ini secara otomatis selama inisialisasi instans.

    • Saat instans dijalankan untuk pertama kalinya.

    • Saat Anda memilih objek pada level skema, dan tabel baru dibuat di skema tersebut atau tabel dibangun ulang menggunakan perintah RENAME.

    • Saat Anda menggunakan fitur untuk memodifikasi objek sinkronisasi.

    Catatan
    • Ganti schema dan table dalam perintah dengan nama skema dan tabel yang akan disinkronkan.

    • Lakukan operasi ini selama jam sepi.

  • DTS membuat tabel temporary berikut di database sumber untuk memperoleh pernyataan DDL untuk data inkremental, skema tabel inkremental, dan informasi heartbeat. Jangan hapus tabel temporary ini selama sinkronisasi. Jika tidak, tugas DTS dapat gagal. Tabel temporary ini akan dihapus secara otomatis setelah instans DTS dilepas.

    public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session, dan public.aliyun_dts_instance.

  • Untuk memastikan akurasi latensi sinkronisasi data inkremental, DTS menambahkan tabel heartbeat bernama dts_postgres_heartbeat ke database sumber.

  • Evaluasi kinerja database sumber dan tujuan sebelum menyinkronkan data. Kami juga menyarankan agar Anda menyinkronkan data selama jam sepi (misalnya, saat beban CPU kedua database di bawah 30%). Jika tidak, sinkronisasi data penuh akan mengonsumsi sumber daya baca dan tulis di kedua database, yang dapat meningkatkan beban database.

  • DTS mencoba memulihkan tugas yang gagal secara otomatis dalam waktu tujuh hari. Oleh karena itu, sebelum Anda memindahkan bisnis ke instans tujuan, Anda harus mengakhiri atau melepas tugas, atau mencabut izin tulis akun yang digunakan DTS untuk mengakses instans tujuan. Hal ini mencegah data sumber menimpa data di instans tujuan setelah tugas dipulihkan secara otomatis.

  • Jika tugas gagal, staf dukungan DTS akan mencoba memulihkannya dalam waktu delapan jam. Selama pemulihan, mereka dapat merestart tugas atau menyesuaikan parameternya.

    Catatan

    Hanya parameter tugas DTS yang dimodifikasi—bukan parameter database. Parameter yang dapat disesuaikan termasuk yang tercantum di Modifikasi parameter instans.

  • Saat menyinkronkan tabel partisi, Anda harus menyertakan baik tabel induk maupun partisi anaknya sebagai objek sinkronisasi. Jika tidak, data di tabel partisi dapat menjadi tidak konsisten.

    Penting
    • Tabel induk dari tabel partisi PostgreSQL tidak menyimpan data secara langsung. Semua data disimpan di partisi anak. Tugas sinkronisasi data harus mencakup tabel induk dan semua partisi anaknya. Jika tidak, data dari partisi anak dapat terlewat, menyebabkan ketidakkonsistenan data antara sumber dan tujuan.

    • Sinkronisasi tabel partisi dan tabel pewarisan (tabel induk-anak) lintas database berbeda tidak didukung. Pastikan tabel partisi dan semua partisinya, serta tabel induk dan semua tabel anaknya, berada di database yang sama.

Penagihan

Jenis sinkronisasi

Harga

Sinkronisasi skema dan sinkronisasi data penuh

Gratis.

Sinkronisasi data inkremental

Dikenai biaya. Untuk informasi selengkapnya, lihat Ikhtisar penagihan.

Operasi SQL untuk sinkronisasi inkremental

Jenis operasi

Pernyataan SQL

DML

INSERT, UPDATE, dan DELETE

DDL

  • CREATE TABLE, ALTER TABLE, DROP TABLE, RENAME TABLE, dan TRUNCATE TABLE

  • CREATE VIEW, ALTER VIEW, dan DROP VIEW

  • CREATE PROCEDURE, ALTER PROCEDURE, dan DROP PROCEDURE

  • CREATE FUNCTION dan DROP FUNCTION

  • CREATE INDEX dan DROP INDEX

Catatan

Sinkronisasi DDL tidak didukung dalam skenario berikut:

  • Klausa tambahan seperti CASCADE dan RESTRICT dalam pernyataan DDL tidak disinkronkan.

  • Jika transaksi berisi pernyataan DML dan DDL, pernyataan DDL tidak disinkronkan.

  • Transaksi berisi pernyataan DDL untuk objek yang disinkronkan dan tidak disinkronkan.

  • Pernyataan DDL dieksekusi dalam sesi di mana SET session_replication_role = replica telah diatur.

  • Pernyataan DDL dieksekusi dengan memanggil fungsi.

  • Pernyataan DDL menghilangkan skema. DTS menggunakan skema public secara default sebagaimana dikembalikan oleh show search_path.

  • Pernyataan DDL berisi klausa if not exist.

Izin akun database

Database

Izin

Referensi

Kluster PolarDB for PostgreSQL (Compatible with Oracle)

akun istimewa

Buat dan kelola akun database

Prosedur

  1. Buka halaman daftar tugas sinkronisasi di wilayah tujuan. Anda dapat menggunakan salah satu dari dua metode berikut:

    Dari Konsol DTS

    1. Login ke Konsol Data Transmission Service (DTS).

    2. Di panel navigasi kiri, klik Data Synchronization.

    3. Di pojok kiri atas halaman, pilih wilayah tempat instans sinkronisasi berada.

    Dari Konsol DMS

    Catatan

    Operasi aktual dapat berbeda tergantung pada mode dan tata letak Konsol DMS. Untuk informasi selengkapnya, lihat Mode sederhana dan Sesuaikan tata letak dan gaya antarmuka DMS.

    1. Login ke Data Management (DMS).

    2. Di bilah menu atas, pilih Data + AI > Data Transmission (DTS) > Data Synchronization.

    3. Di sebelah kanan Data Synchronization Tasks, pilih wilayah tempat instans sinkronisasi berada.

  2. Klik Create Task untuk membuka halaman konfigurasi tugas.

  3. Konfigurasikan database sumber dan tujuan.

    Catatan

    Untuk menemukan parameter instans tujuan Message Queue for Apache Kafka, lihat Konfigurasikan parameter instans Message Queue for Apache Kafka.

    Kategori

    Parameter

    Deskripsi

    N/A

    Task Name

    DTS secara otomatis menghasilkan nama tugas. Kami menyarankan agar Anda menentukan nama deskriptif untuk memudahkan identifikasi. Nama ini tidak harus unik.

    Source Database

    Select Existing Connection

    • Untuk menggunakan instans database yang ditambahkan ke sistem (baru dibuat atau disimpan), pilih instans database dari daftar drop-down. Informasi database akan dikonfigurasi secara otomatis.

      Catatan

      Di Konsol DMS, item konfigurasi ini bernama Select a DMS database instance..

    • Jika Anda belum menambahkan instans database ke sistem, atau tidak perlu menggunakan instans yang sudah ditambahkan, konfigurasikan secara manual informasi database berikut.

    Database Type

    Pilih PolarDB (Compatible with Oracle).

    Access Method

    Pilih Alibaba Cloud Instance.

    Instance Region

    Pilih wilayah tempat kluster sumber PolarDB for PostgreSQL (Compatible with Oracle) berada.

    Replicate Data Across Alibaba Cloud Accounts

    Contoh ini menggunakan instans database yang dimiliki oleh Akun Alibaba Cloud saat ini. Pilih No.

    Instance ID

    Pilih ID kluster sumber PolarDB for PostgreSQL (Compatible with Oracle).

    Database Name

    Masukkan nama database sumber di kluster PolarDB for PostgreSQL (Compatible with Oracle).

    Database Account

    Masukkan akun database kluster sumber PolarDB for PostgreSQL (Compatible with Oracle). Untuk informasi tentang izin yang diperlukan, lihat Izin yang diperlukan untuk akun database.

    Database Password

    Masukkan kata sandi yang sesuai dengan akun database.

    Destination Database

    Select Existing Connection

    • Untuk menggunakan instans database yang ditambahkan ke sistem (baru dibuat atau disimpan), pilih instans database dari daftar drop-down. Informasi database akan dikonfigurasi secara otomatis.

      Catatan

      Di Konsol DMS, item konfigurasi ini bernama Select a DMS database instance..

    • Jika Anda belum menambahkan instans database ke sistem, atau tidak perlu menggunakan instans yang sudah ditambahkan, konfigurasikan secara manual informasi database berikut.

    Database Type

    Pilih Kafka.

    Access Method

    Pilih Express Connect, VPN Gateway, or Smart Access Gateway.

    Catatan

    Dalam contoh ini, instans Message Queue for Apache Kafka dikonfigurasi sebagai kluster Kafka yang dikelola sendiri untuk sinkronisasi data.

    Instance Region

    Pilih wilayah tempat instans tujuan Message Queue for Apache Kafka berada.

    Connected VPC

    Pilih ID VPC untuk instans tujuan Message Queue for Apache Kafka.

    Domain Name or IP

    Masukkan alamat IP dari bagian Default Endpoint instans tujuan Message Queue for Apache Kafka.

    Port Number

    Masukkan port layanan instans tujuan Message Queue for Apache Kafka. Nilai default adalah 9092.

    Database Account

    Anda tidak perlu mengonfigurasi parameter ini untuk contoh ini.

    Database Password

    Kafka Version

    Pilih versi instans Kafka Anda.

    Encryption

    Berdasarkan kebutuhan bisnis dan keamanan Anda, pilih Non-encrypted atau SCRAM-SHA-256.

    Topic

    Pilih topik untuk menerima data yang disinkronkan.

    Use Kafka Schema Registry

    Kafka Schema Registry adalah lapisan layanan untuk metadata Anda. Ini menyediakan antarmuka RESTful untuk menyimpan dan mengambil skema Avro.

    • No: Jangan gunakan Kafka Schema Registry.

    • Yes: Gunakan Kafka Schema Registry. Masukkan URL atau alamat IP yang terdaftar untuk skema Avro di Kafka Schema Registry pada bidang URL or IP Address of Schema Registry.

  4. Setelah menyelesaikan konfigurasi, klik Test Connectivity and Proceed di bagian bawah halaman.

    Catatan
    • Pastikan blok CIDR alamat IP server DTS telah ditambahkan ke pengaturan keamanan database sumber dan tujuan agar mengizinkan akses dari server DTS. Hal ini dapat dilakukan secara otomatis atau manual. Untuk informasi selengkapnya, lihat Tambahkan blok CIDR alamat IP server DTS ke daftar putih.

    • Jika database sumber atau tujuan adalah database yang dikelola sendiri (di mana Access Method bukan Alibaba Cloud Instance), Anda juga harus mengklik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.

  5. Konfigurasikan objek tugas.

    1. Di halaman Configure Objects, konfigurasikan objek yang akan disinkronkan.

      Parameter

      Deskripsi

      Synchronization Types

      Incremental Data Synchronization dipilih. Secara default, Anda juga harus memilih Schema Synchronization dan Full Data Synchronization. Setelah pemeriksaan awal selesai, DTS melakukan sinkronisasi data penuh objek yang dipilih dari instans sumber ke kluster tujuan. Ini berfungsi sebagai data garis dasar untuk sinkronisasi data inkremental berikutnya.

      Catatan

      Jika Access Method untuk instans Kafka tujuan diatur ke Alibaba Cloud Instance, Schema Synchronization tidak didukung.

      Processing Mode of Conflicting Tables

      • Precheck and Report Errors: Memeriksa apakah tabel dengan nama yang sama ada di database tujuan. Jika tidak ada, pemeriksaan awal lolos. Jika ada, pemeriksaan awal gagal dan tugas sinkronisasi data tidak dimulai.

        Catatan

        Jika Anda tidak dapat menghapus atau mengganti nama tabel dengan nama yang sama di database tujuan, Anda dapat memetakannya ke nama tabel yang berbeda. Untuk informasi selengkapnya, lihat Map table and column names.

      • Ignore Errors and Proceed: Melewati pemeriksaan nama tabel duplikat di database tujuan.

        Peringatan

        Memilih Ignore Errors and Proceed dapat menyebabkan ketidakkonsistenan data dan membahayakan bisnis Anda. Misalnya:

        • Jika skema tabel sama dan catatan di database tujuan memiliki nilai primary key atau unique key yang sama dengan catatan di database sumber:

          • Selama sinkronisasi penuh, DTS mempertahankan catatan di kluster tujuan. Catatan yang sesuai dari database sumber tidak disinkronkan.

          • Selama sinkronisasi inkremental, catatan dari database sumber menimpa catatan di database tujuan.

        • Jika skema tabel berbeda, sinkronisasi data awal dapat gagal. Hal ini dapat mengakibatkan hanya data kolom parsial yang disinkronkan atau kegagalan sinkronisasi total. Lakukan dengan hati-hati.

      Data Format in Kafka

      Pilih format penyimpanan untuk data yang akan disinkronkan ke instans Kafka berdasarkan kebutuhan bisnis Anda.

      • Jika Anda memilih Canal JSON, lihat Canal JSON untuk deskripsi parameter dan contoh.

        Catatan

        Saat ini, Anda hanya dapat memilih Canal JSON di wilayah China (Qingdao) dan China (Beijing).

      • Jika Anda memilih DTS Avro, Anda harus mengurai data berdasarkan definisi skema DTS Avro. Untuk informasi selengkapnya, lihat Definisi skema DTS Avro dan Contoh deserialisasi DTS Avro.

      • Jika Anda memilih Shareplex JSON, lihat Shareplex Json untuk deskripsi parameter dan contoh.

      Kafka Data Compression Format

      Pilih format kompresi untuk kompresi pesan Kafka berdasarkan kebutuhan bisnis Anda.

      • LZ4 (default): Rasio kompresi rendah, tetapi kecepatan kompresi tinggi.

      • GZIP: Rasio kompresi tinggi, tetapi kecepatan kompresi rendah.

        Catatan

        Konsumsi CPU tinggi.

      • Snappy: Rasio kompresi dan kecepatan kompresi sedang.

      Policy for Shipping Data to Kafka Partitions

      Pilih strategi.

      Message acknowledgement mechanism

      Pilih mekanisme pengakuan pesan.

      Topic That Stores DDL Information

      Pilih topik yang digunakan untuk menyimpan informasi DDL dari daftar drop-down.

      Catatan

      Jika tidak ditentukan, informasi DDL disimpan di topik yang menerima data secara default.

      Capitalization of Object Names in Destination Instance

      Anda dapat mengonfigurasi kebijakan sensitivitas huruf besar/kecil untuk nama objek database, tabel, dan kolom yang disinkronkan ke instans tujuan. Secara default, DTS default policy dipilih. Anda juga dapat memilih untuk menggunakan kebijakan default database sumber dan tujuan. Untuk informasi selengkapnya, lihat Kebijakan sensitivitas huruf besar/kecil untuk nama objek tujuan.

      Source Objects

      Di kotak Source Objects, klik objek yang akan disinkronkan, lalu klik 向右 untuk memindahkannya ke kotak Selected Objects.

      Catatan

      Anda dapat memilih objek untuk disinkronkan pada level tabel.

      Selected Objects

      Tidak diperlukan konfigurasi tambahan untuk contoh ini. Anda dapat menggunakan fitur pemetaan untuk mengatur nama topik, jumlah partisi di topik, dan kunci partisi untuk tabel sumber di instans Kafka tujuan. Untuk informasi selengkapnya, lihat Informasi pemetaan.

      Catatan
      • Jika Anda memetakan nama objek, objek lain yang bergantung pada objek ini mungkin gagal disinkronkan.

      • Untuk memilih operasi SQL untuk sinkronisasi data inkremental, klik kanan objek di kotak Selected Objects dan pilih operasi SQL yang diinginkan dari kotak dialog yang muncul.

    2. Klik Next: Advanced Settings untuk mengonfigurasi parameter lanjutan.

      Parameter

      Deskripsi

      Dedicated Cluster for Task Scheduling

      Secara default, DTS menjadwalkan tugas di kluster bersama, dan Anda tidak perlu memilih kluster. Untuk kinerja yang lebih stabil, Anda dapat membeli kluster khusus untuk menjalankan tugas sinkronisasi DTS. Untuk informasi selengkapnya, lihat Apa itu kluster khusus DTS?.

      Retry Time for Failed Connections

      Setelah tugas sinkronisasi dimulai, jika koneksi ke database sumber atau tujuan gagal, DTS melaporkan kesalahan dan segera mulai mencoba menghubungkan kembali. Durasi percobaan ulang default adalah 720 menit. Anda juga dapat menentukan durasi percobaan ulang kustom dari 10 hingga 1.440 menit. Kami menyarankan agar Anda mengatur durasi minimal 30 menit. Jika DTS berhasil terhubung kembali ke database dalam durasi yang ditentukan, tugas sinkronisasi akan dilanjutkan secara otomatis. Jika tidak, tugas gagal.

      Catatan
      • Jika Anda memiliki beberapa instans DTS (misalnya, Instans A dan Instans B) yang berbagi sumber atau tujuan yang sama, dan Anda mengatur waktu percobaan ulang jaringan menjadi 30 menit untuk Instans A dan 60 menit untuk Instans B, durasi yang lebih pendek yaitu 30 menit akan digunakan untuk keduanya.

      • Karena DTS membebankan biaya untuk waktu proses tugas selama periode percobaan ulang koneksi, kami menyarankan agar Anda menyesuaikan durasi percobaan ulang berdasarkan kebutuhan bisnis Anda atau segera melepas instans DTS setelah instans database sumber dan tujuan dilepas.

      Retry Time for Other Issues

      Setelah tugas sinkronisasi dimulai, jika terjadi masalah non-konektivitas lainnya dengan database sumber atau tujuan (seperti pengecualian eksekusi DDL atau DML), DTS melaporkan kesalahan dan segera mulai melakukan operasi percobaan ulang terus-menerus. Durasi percobaan ulang default adalah 10 menit. Anda juga dapat menyesuaikan durasi percobaan ulang dalam rentang 1 hingga 1.440 menit. Kami menyarankan agar Anda mengaturnya minimal 10 menit. Jika operasi terkait berhasil dalam durasi percobaan ulang yang ditetapkan, tugas sinkronisasi akan dilanjutkan secara otomatis. Jika tidak, tugas gagal.

      Penting

      Nilai untuk Retry Time for Other Issues harus kurang dari nilai untuk Retry Time for Failed Connections.

      Enable Throttling for Full Data Synchronization

      Selama tahap sinkronisasi penuh, DTS mengonsumsi sumber daya baca dan tulis dari database sumber dan tujuan, yang dapat meningkatkan beban database. Untuk mengurangi beban pada database sumber dan tujuan, Anda dapat mengatur batas laju untuk tugas sinkronisasi penuh dengan mengonfigurasi parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s).

      Catatan
      • Item konfigurasi ini tersedia hanya ketika Synchronization Types diatur ke Full Data Synchronization.

      • Anda juga dapat menyesuaikan laju sinkronisasi penuh setelah instans sinkronisasi berjalan.

      Enable Throttling for Incremental Data Synchronization

      Anda juga dapat mengatur batas laju untuk tugas sinkronisasi inkremental. Untuk mengurangi tekanan pada database tujuan, atur RPS of Incremental Data Synchronization dan Data synchronization speed for incremental synchronization (MB/s).

      Environment Tag

      Anda dapat memilih tag lingkungan untuk mengidentifikasi instans. Anda tidak perlu memilihnya untuk contoh ini.

      Configure ETL

      Pilih apakah akan mengaktifkan fitur ekstrak, transformasi, dan muat (ETL). Untuk informasi selengkapnya, lihat Apa itu ETL? Nilai yang valid:

      Monitoring and Alerting

      Tentukan apakah akan mengonfigurasi peringatan. Jika sinkronisasi gagal atau latensi melebihi ambang batas yang ditentukan, notifikasi akan dikirim ke kontak peringatan.

  6. Simpan tugas dan jalankan pemeriksaan awal.

    • Untuk melihat parameter API untuk mengonfigurasi instans ini, arahkan kursor ke tombol Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters di gelembung.

    • Jika Anda telah selesai melihat parameter API, klik Next: Save Task Settings and Precheck di bagian bawah halaman.

    Catatan
    • Sebelum pekerjaan sinkronisasi dimulai, DTS menjalankan pemeriksaan awal. Pekerjaan hanya dapat dimulai setelah semua item pemeriksaan awal lolos.

    • Jika pemeriksaan awal gagal, klik View Details untuk item yang gagal. Perbaiki masalah sesuai petunjuk, lalu jalankan kembali pemeriksaan awal.

    • Jika pemeriksaan awal mengembalikan peringatan:

      • Jika item pemeriksaan gagal dan tidak dapat diabaikan, klik View Details di sebelah item tersebut. Ikuti petunjuk untuk memperbaiki masalah, lalu jalankan kembali pemeriksaan awal.

      • Untuk item pemeriksaan yang dapat diabaikan, Anda dapat mengklik Confirm Alert Details, Ignore, OK, dan Precheck Again secara berurutan untuk melewati peringatan dan menjalankan kembali pemeriksaan awal. Jika Anda memilih untuk menyembunyikan item peringatan, hal ini dapat menyebabkan masalah seperti ketidakkonsistenan data dan menimbulkan risiko bagi bisnis Anda.

  7. Beli instans.

    1. Saat Success Rate mencapai 100%, klik Next: Purchase Instance.

    2. Di halaman Purchase, pilih metode penagihan dan spesifikasi tautan untuk instans sinkronisasi data. Tabel berikut menjelaskan parameter ini secara rinci.

      Kategori

      Parameter

      Deskripsi

      New Instance Class

      Billing Method

      • Subscription: Anda membayar saat membuat instans. Ini cocok untuk kebutuhan jangka panjang dan lebih hemat biaya daripada pay-as-you-go. Semakin lama durasi langganan, semakin tinggi diskonnya.

      • Pay-as-you-go: Anda dikenai biaya per jam. Ini cocok untuk kebutuhan jangka pendek. Anda dapat melepas instans segera setelah digunakan untuk menghemat biaya.

      Resource Group Configuration

      Kelompok sumber daya tempat instans tersebut berada. Default-nya adalah kelompok sumber daya default. Untuk informasi selengkapnya, lihat Apa itu Resource Management?.

      Link Specification

      DTS menyediakan spesifikasi sinkronisasi dengan tingkat kinerja berbeda. Spesifikasi tautan sinkronisasi memengaruhi laju sinkronisasi. Anda dapat memilih spesifikasi berdasarkan skenario bisnis Anda. Untuk informasi selengkapnya, lihat Spesifikasi tautan sinkronisasi data.

      Subscription Duration

      Dalam mode subscription, pilih durasi dan jumlah untuk instans langganan. Anda dapat memilih langganan bulanan dari 1 hingga 9 bulan, atau langganan tahunan selama 1, 2, 3, atau 5 tahun.

      Catatan

      Opsi ini hanya tersedia ketika metode penagihan adalah Subscription.

    3. Setelah menyelesaikan konfigurasi, baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.

    4. Klik Buy and Start. Di kotak dialog OK, klik OK.

      Anda dapat melihat progres tugas di halaman Data Synchronization.

Informasi pemetaan

  1. Di bagian Selected Objects, arahkan kursor ke nama topik tujuan pada level tabel.

  2. Klik Edit di sebelah nama topik tujuan.

  3. Di kotak dialog Edit Table, konfigurasikan informasi pemetaan.

    Catatan
    • Kotak dialog Edit Schema digunakan untuk operasi level skema dan mendukung lebih sedikit parameter, sedangkan kotak dialog Edit Table digunakan untuk operasi level tabel.

    • Jika Anda tidak menyinkronkan seluruh skema, Anda tidak dapat memodifikasi parameter Name of target Topic dan Number of Partitions di kotak dialog Edit Schema.

    Parameter

    Deskripsi

    Name of target Topic

    Topik tujuan tempat tabel sumber disinkronkan. Secara default, ini adalah Topic yang Anda pilih di bagian Destination Database selama langkah Configurations for Source and Destination Databases.

    Penting
    • Jika database tujuan adalah instans Alibaba Cloud Message Queue for Apache Kafka, topik yang ditentukan harus sudah ada di instans Kafka tujuan. Jika tidak, tugas sinkronisasi data akan gagal. Jika tujuannya adalah kluster Kafka yang dikelola sendiri dan tugas dikonfigurasi untuk sinkronisasi skema database dan tabel, DTS akan mencoba membuat topik yang ditentukan di database tujuan.

    • Jika Anda memodifikasi Name of target Topic, DTS akan menulis data ke topik yang ditentukan.

    Filter Conditions

    Untuk informasi selengkapnya, lihat Set filter conditions.

    Number of Partitions

    Jumlah partisi untuk data di topik tujuan.

    Partition Key

    Saat Anda mengatur Policy for Shipping Data to Kafka Partitions ke Ship Data to Separate Partitions Based on Hash Values of Primary Keys, Anda harus mengonfigurasi parameter ini. Pilih satu atau beberapa kolom sebagai kunci partisi. DTS kemudian menggunakan nilai hash kunci ini untuk mendistribusikan baris ke partisi topik. Tanpa kunci partisi yang dikonfigurasi, kebijakan ini tidak berlaku selama fase penulisan inkremental.

    Catatan

    Anda dapat memilih Partition Key hanya di kotak dialog Edit Table.

  4. Klik OK.

FAQ