Data Transmission Service:Sinkronisasi data dari instans PolarDB-X 1.0 ke proyek DataHub

Jenis sinkronisasi yang didukung

• Hanya sinkronisasi data inkremental dan sinkronisasi skema yang didukung. Sinkronisasi data penuh tidak didukung.

• Hanya tabel yang dapat dipilih sebagai objek sinkronisasi. Setelah tugas dimulai, DTS tidak menyinkronkan kolom yang ditambahkan ke database sumber ke proyek DataHub tujuan.

Batasan database sumber

• Tabel harus memiliki primary key atau kendala UNIQUE, dan semua field harus unik. Tabel yang hanya memiliki kendala UNIQUE tidak mendukung sinkronisasi skema — gunakan tabel dengan kendala primary key. Tabel dengan secondary indexes tidak dapat disinkronkan.

• Jika Anda memilih tabel sebagai objek sinkronisasi dan ingin mengganti nama tabel atau kolom di tujuan, satu tugas mendukung hingga 5.000 tabel. Untuk lebih dari 5.000 tabel, konfigurasikan beberapa tugas atau sinkronkan seluruh database.

• Jenis storage instans PolarDB-X 1.0 harus berupa ApsaraDB RDS for MySQL (instans kustom atau instans yang dibeli). PolarDB for MySQL tidak didukung.

• Sumber daya storage PolarDB-X 1.0 hanya mendukung pemisahan horizontal (database dan tabel). Pemisahan vertikal tidak didukung.

• Instans read-only di lapisan komputasi PolarDB-X 1.0 tidak didukung.

Persyaratan log biner

Persyaratan berikut berlaku untuk binary logs instans ApsaraDB RDS for MySQL yang terhubung ke instans PolarDB-X 1.0:

• Binary logging harus diaktifkan, dan parameter binlog_row_image harus diatur ke full. Jika tidak, pemeriksaan awal gagal dan tugas tidak dapat dimulai.

• Untuk sinkronisasi data inkremental, binary logs harus dipertahankan selama minimal 24 jam.

• Untuk sinkronisasi data penuh dan inkremental, binary logs harus dipertahankan selama minimal tujuh hari.

Jika binary logs tidak dipertahankan sesuai durasi yang diperlukan, DTS mungkin gagal mengambilnya, yang dapat menyebabkan kegagalan tugas atau kehilangan data. Setelah sinkronisasi data penuh selesai, Anda dapat mengurangi periode retensi menjadi lebih dari 24 jam. Pastikan Anda mengatur periode retensi binary logs sesuai persyaratan di atas. Jika tidak, keandalan layanan dan kinerja yang dinyatakan dalam Service Level Agreement (SLA) DTS tidak dapat tercapai.

Batasan operasional

Selama sinkronisasi data:

• Jangan melakukan scaling pada instans sumber (termasuk instans ApsaraDB RDS for MySQL yang terhubung) atau mengubah distribusi database fisik untuk database atau tabel logis.

• Jangan migrasi tabel hot, ubah shard key, atau lakukan operasi DDL Online pada instans sumber. Melakukannya menyebabkan kegagalan tugas atau ketidakkonsistenan data.

• Jangan gunakan gh-ost atau pt-online-schema-change untuk melakukan operasi DDL pada objek yang disinkronkan.

• Tulis data ke database tujuan hanya melalui DTS. Menggunakan alat lain untuk menulis ke tujuan dapat menyebabkan ketidakkonsistenan data, dan kehilangan data mungkin terjadi saat DMS melakukan operasi DDL Online.

• Jika Anda mengubah jenis jaringan instans PolarDB-X 1.0 selama sinkronisasi, perbarui informasi koneksi jaringan di konfigurasi tugas setelahnya.

• Sebelum menyinkronkan data, evaluasi dampak sinkronisasi data terhadap kinerja database sumber dan tujuan. Kami menyarankan agar Anda menyinkronkan data selama jam sepi.

Langkah 1: Buka halaman Tugas Sinkronisasi Data

1. Masuk ke Konsol Data Management (DMS).

2. Di bilah navigasi atas, klik Data + AI.

3. Di panel navigasi kiri, pilih DTS (DTS) > Data Synchronization.

Langkah navigasi dapat berbeda tergantung pada mode dan tata letak Konsol DMS. Untuk detailnya, lihat Mode simple dan Menyesuaikan tata letak dan gaya Konsol DMS. Atau, buka langsung halaman Tugas Sinkronisasi Data di Konsol DTS baru.

Langkah 2: Konfigurasi database sumber dan tujuan

1. Pilih wilayah tempat instans sinkronisasi data berada.

   Di Konsol DTS baru, pilih wilayah di bilah navigasi atas.

2. Klik Create Task. Di wizard, konfigurasikan parameter berikut.

Pengaturan tugas

Database sumber

Database tujuan

Langkah 3: Uji konektivitas dan lanjutkan

Klik Test Connectivity and Proceed.

DTS secara otomatis menambahkan blok CIDR servernya ke daftar putih instans database Alibaba Cloud (seperti ApsaraDB RDS for MySQL atau ApsaraDB for MongoDB). Untuk database yang dikelola sendiri pada instance Elastic Compute Service (ECS), DTS menambahkan blok CIDR-nya ke aturan grup keamanan ECS — pastikan instance ECS dapat mengakses database. Untuk database pada beberapa instance ECS, tambahkan secara manual blok CIDR DTS ke aturan grup keamanan setiap instance. Untuk database on-premises atau cloud pihak ketiga, tambahkan secara manual blok CIDR DTS ke daftar putih database. Untuk daftar lengkap blok CIDR, lihat Tambahkan blok CIDR server DTS.

Langkah 4: Konfigurasi objek dan pengaturan

Pengaturan dasar

Parameter	Deskripsi
Synchronization Types	Incremental Data Synchronization dipilih secara default. Anda juga dapat memilih hanya Schema Synchronization. Full Data Synchronization tidak tersedia untuk kombinasi sumber-tujuan ini. Selama sinkronisasi skema, DTS menyinkronkan skema objek yang dipilih (seperti tabel) ke proyek DataHub tujuan.
Processing Mode of Conflicting Tables	Precheck and Report Errors (default): memeriksa apakah tujuan memiliki tabel dengan nama yang sama seperti sumber. Jika nama identik ada, pemeriksaan awal gagal dan tugas tidak dapat dimulai. Untuk menangani konflik, gunakan fitur pemetaan nama objek untuk mengganti nama tabel di tujuan. Lihat Pemetaan nama objek. Ignore Errors and Proceed: melewatkan pemeriksaan awal untuk nama tabel identik. Peringatan Memilih opsi ini dapat menyebabkan ketidakkonsistenan data. Jika skema cocok dan catatan dengan primary key atau unique key yang sama ada di tujuan: selama sinkronisasi penuh, catatan tujuan dipertahankan; selama sinkronisasi inkremental, catatan tujuan ditimpa. Jika skema berbeda, inisialisasi mungkin gagal atau hanya beberapa kolom yang disinkronkan.
Naming Rules of Additional Columns	Selama sinkronisasi ke proyek DataHub, DTS menambahkan kolom tambahan ke topik tujuan. Jika nama kolom ini bertentangan dengan kolom yang sudah ada di topik, sinkronisasi gagal. Atur ini ke New Rule atau Previous Rule sesuai kebutuhan Anda. Sebelum mengubah pengaturan ini, verifikasi bahwa kolom tambahan dan kolom yang ada tidak memiliki konflik nama. Lihat Ubah aturan penamaan untuk kolom tambahan.
Capitalization of Object Names in Destination Instance	Kebijakan kapitalisasi untuk nama database, tabel, dan kolom di tujuan. Default: Kebijakan default DTS. Lihat Tentukan kapitalisasi nama objek di instans tujuan.
Source Objects	Pilih satu atau beberapa objek dan klik untuk memindahkannya ke Selected Objects. Hanya tabel yang dapat dipilih. Memilih seluruh database tidak menyinkronkan perubahan pembuatan atau penghapusan tabel ke tujuan.
Selected Objects	Untuk mengganti nama satu objek di tujuan, klik kanan objek tersebut. Untuk mengganti nama beberapa objek sekaligus, klik Batch Edit di kanan atas. Untuk detailnya, lihat Pemetaan nama objek. Untuk memfilter baris menggunakan kondisi WHERE, klik kanan objek dan tentukan kondisinya. Lihat Tentukan kondisi filter.

Pengaturan lanjutan

Langkah 5: Simpan pengaturan dan jalankan pemeriksaan awal

Untuk melihat pratinjau parameter OpenAPI untuk konfigurasi tugas ini, arahkan kursor ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.

Klik Next: Save Task Settings and Precheck.

DTS menjalankan pemeriksaan awal sebelum tugas dapat dimulai. Jika pemeriksaan awal gagal, klik View Details di samping setiap item yang gagal, selesaikan masalahnya, lalu jalankan kembali pemeriksaan awal. Jika peringatan pemeriksaan awal dapat diabaikan, klik Confirm Alert Details > Ignore > OK, lalu klik Precheck Again. Mengabaikan peringatan dapat menyebabkan ketidakkonsistenan data.

Langkah 6: Beli instans sinkronisasi

1. Tunggu hingga Success Rate mencapai 100%, lalu klik Next: Purchase Instance.

2. Di halaman pembelian, konfigurasikan parameter berikut.

1. Baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.

2. Klik Buy and Start, lalu klik OK di dialog konfirmasi.

Tugas muncul di daftar tugas. Saat DTS menyinkronkan data dari instans PolarDB-X 1.0, data didistribusikan di seluruh instans ApsaraDB RDS for MySQL yang terhubung, dan DTS menjalankan subtask untuk setiap instans. Lihat status berjalan setiap subtask di Task Topology.