Data Transmission Service:Sinkronisasi data dari instans ApsaraDB RDS for MySQL ke instans ApsaraDB RDS for PostgreSQL

Persyaratan database sumber

• Tabel harus memiliki kendala PRIMARY KEY atau UNIQUE dengan semua field bernilai unik. Jika tidak, catatan duplikat mungkin muncul di database tujuan.

• Jika Anda memilih tabel sebagai objek sinkronisasi dan perlu mengganti nama tabel atau kolom, satu tugas mendukung hingga 1.000 tabel. Untuk lebih dari 1.000 tabel, konfigurasikan beberapa tugas atau sinkronkan seluruh database dalam satu tugas.

• Jangan menjalankan pernyataan DDL selama sinkronisasi skema atau sinkronisasi data penuh. Perubahan DDL selama fase ini menyebabkan tugas gagal.

• Perubahan data akibat pemulihan backup fisik atau operasi kaskade tidak dicatat atau disinkronkan ke database tujuan selama instansi sinkronisasi data sedang berjalan. Jika hal ini terjadi, Anda dapat menghapus database dan tabel yang terdampak dari objek sinkronisasi lalu menambahkannya kembali. Untuk informasi lebih lanjut, lihat Ubah objek yang akan disinkronkan.

• MySQL 8.0.23 dan versi setelahnya: Jika data yang akan disinkronkan mencakup kolom tak terlihat (invisible columns), DTS tidak dapat membaca kolom tersebut dan menyebabkan kehilangan data. Untuk membuat kolom menjadi terlihat, jalankan:

  ALTER TABLE <table_name> ALTER COLUMN <column_name> SET VISIBLE;

  Tabel tanpa primary key secara otomatis menghasilkan primary key tak terlihat — buat juga primary key tersebut menjadi terlihat. Lihat Invisible Columns dan Generated Invisible Primary Keys.

• Jika fitur EncDB diaktifkan pada instans sumber, sinkronisasi data penuh tidak dapat dilakukan. Instans yang mengaktifkan Transparent Data Encryption (TDE) mendukung sinkronisasi skema, sinkronisasi data penuh, dan sinkronisasi data inkremental.

Persyaratan log biner

Objek dan tipe data

• Hanya tabel yang dapat dipilih sebagai objek sinkronisasi. DTS tidak menyinkronkan view, trigger, atau prosedur tersimpan.

• Tipe data berikut tidak didukung: BIT, VARBIT, GEOMETRY, ARRAY, UUID, TSQUERY, TSVECTOR, TXID_SNAPSHOT, dan POINT.

• Indeks awalan tidak dapat disinkronkan. Jika database sumber berisi indeks awalan, tugas mungkin gagal.

• Jangan gunakan alat seperti pt-online-schema-change untuk operasi DDL Online selama sinkronisasi tingkat tabel. Gunakan Data Management (DMS) sebagai gantinya.

Penanganan kunci asing

Selama sinkronisasi skema, DTS menyinkronkan foreign keys dari database sumber ke database tujuan.

Selama sinkronisasi data penuh dan sinkronisasi data inkremental, DTS sementara menonaktifkan pemeriksaan kendala kunci asing dan operasi kaskade pada tingkat sesi. Jika Anda menjalankan operasi cascade update atau delete pada database sumber selama sinkronisasi, ketidakkonsistenan data mungkin terjadi.

Jika Anda menggunakan akun dengan hak istimewa atau superuser untuk database tujuan dan tabel berisi foreign keys, trigger, atau event trigger, DTS sementara mengatur session_replication_role ke replica pada tingkat sesi. Jika akun tidak memiliki izin yang diperlukan, atur session_replication_role ke replica secara manual. Setelah tugas dirilis, ubah nilai kembali ke origin.

Pertimbangan kinerja

• Evaluasi dampak terhadap kinerja database sumber dan tujuan sebelum memulai. Jalankan sinkronisasi selama jam sepi.

• Selama sinkronisasi data penuh awal, DTS menggunakan sumber daya baca dan tulis kedua database, yang meningkatkan beban server.

• Operasi INSERT konkuren selama sinkronisasi data penuh awal menyebabkan fragmentasi pada tabel tujuan. Setelah sinkronisasi data penuh selesai, ruang tabel tujuan akan lebih besar daripada sumber.

• Jangan menulis data ke database tujuan dari sumber lain selama sinkronisasi karena hal ini dapat menyebabkan ketidakkonsistenan atau kehilangan data.

Latensi sinkronisasi

DTS menghitung latensi sinkronisasi berdasarkan timestamp catatan terbaru yang disinkronkan di tujuan dan timestamp saat ini di sumber. Jika tidak ada operasi DML yang dijalankan di sumber dalam periode yang lama, latensi yang dilaporkan mungkin tidak akurat. Jalankan operasi DML di sumber untuk memperbarui pembacaan latensi.

Tips: Jika Anda menyinkronkan seluruh database, buat tabel heartbeat yang menerima pembaruan setiap detik agar latensi tetap akurat.

DTS juga menjalankan CREATE DATABASE IF NOT EXISTS 'test' pada database sumber secara berkala untuk memajukan posisi file log biner.

Pemulihan kegagalan tugas DTS

Jika tugas DTS gagal, tim dukungan teknis DTS akan berusaha memulihkannya dalam waktu 8 jam. Selama pemulihan, tugas mungkin dimulai ulang dan parameter tugas (bukan parameter database) mungkin dimodifikasi.

Langkah 1: Buka halaman Tugas Sinkronisasi Data

1. Masuk ke Konsol Data Management (DMS).

2. Pada bilah navigasi atas, klik Data + AI.

3. Pada panel navigasi kiri, pilih DTS (DTS) > Data Synchronization.

Operasi mungkin berbeda tergantung pada mode dan tata letak Konsol DMS. Lihat Mode simple dan Sesuaikan tata letak dan gaya Konsol DMS. Anda juga dapat langsung menuju halaman Tugas Sinkronisasi Data di Konsol DTS baru.

Langkah 2: Pilih wilayah

Di sisi kanan Tugas Sinkronisasi Data, pilih wilayah tempat instansi sinkronisasi data berada.

Di Konsol DTS baru, pilih wilayah pada bilah navigasi atas.

Langkah 3: Konfigurasi database sumber dan tujuan

Klik Create Task. Pada wizard Create Data Synchronization Task, konfigurasikan parameter berikut.

Source Database

Destination Database

Langkah 4: Uji konektivitas dan lanjutkan

Klik Test Connectivity and Proceed.

DTS secara otomatis menambahkan blok CIDR servernya ke daftar putih instans database Alibaba Cloud seperti ApsaraDB RDS for MySQL. Untuk database yang dikelola sendiri pada instance Elastic Compute Service (ECS), DTS menambahkan blok CIDR ke aturan grup keamanan ECS — pastikan instance ECS dapat mengakses database. Untuk database yang dikelola sendiri di pusat data atau penyedia cloud pihak ketiga, tambahkan secara manual blok CIDR server DTS ke daftar putih database. Lihat Tambahkan blok CIDR server DTS.

Langkah 5: Konfigurasi objek sinkronisasi dan pengaturan lanjutan

Pengaturan dasar

Pengaturan lanjutan

Langkah 6: Simpan pengaturan dan jalankan Pemeriksaan Awal

• Untuk melihat parameter API untuk konfigurasi tugas ini, arahkan kursor ke Next: Save Task Settings and Precheck lalu klik Preview OpenAPI parameters.

• Klik Next: Save Task Settings and Precheck.

DTS menjalankan Pemeriksaan Awal sebelum tugas dapat dimulai. Jika Pemeriksaan Awal gagal, klik View Details di sebelah setiap item yang gagal, selesaikan masalah berdasarkan hasil pemeriksaan, lalu klik Precheck Again. Jika item Pemeriksaan Awal memicu peringatan yang dapat diabaikan, klik Confirm Alert Details, klik Ignore pada kotak dialog, klik OK, lalu klik Precheck Again. Mengabaikan item peringatan dapat menyebabkan ketidakkonsistenan data.

Langkah 7: Tunggu hingga Pemeriksaan Awal lolos

Tunggu hingga Success Rate mencapai 100%, lalu klik Next: Purchase Instance.

Langkah 8: Beli instans sinkronisasi

Pada halaman pembelian, konfigurasikan parameter berikut.

Langkah 9: Mulai tugas

Baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms, lalu klik Buy and Start. Pada kotak dialog, klik OK.

Tugas muncul di daftar tugas. Lacak progresnya dari sana.