Migrasi ApsaraDB RDS untuk MariaDB ke ApsaraDB RDS untuk PostgreSQL - Data Transmission Service

Layanan Transmisi Data (DTS) mendukung migrasi data dari instans ApsaraDB RDS untuk MariaDB ke instans ApsaraDB RDS untuk PostgreSQL.

Prasyarat

Anda telah membuat instans ApsaraDB RDS untuk PostgreSQL tujuan dengan kapasitas penyimpanan lebih besar daripada ruang yang digunakan oleh instans ApsaraDB RDS untuk MariaDB sumber. Untuk informasi selengkapnya, lihat Buat instans ApsaraDB RDS untuk PostgreSQL dengan cepat.
Anda telah membuat database di instans ApsaraDB RDS untuk PostgreSQL tujuan untuk menyimpan data yang dimigrasikan. Untuk informasi selengkapnya, lihat Buat akun dan database.

Batasan

Catatan

DTS memigrasikan kunci asing selama migrasi skema.
Selama migrasi data penuh dan inkremental, DTS sementara menonaktifkan pemeriksaan constraint dan cascade kunci asing pada tingkat sesi. Pembaruan atau penghapusan cascade pada database sumber saat tugas berjalan dapat menyebabkan ketidakkonsistenan data.

Jenis	Deskripsi
Batasan database sumber	Server yang menghosting database sumber harus memiliki bandwidth keluar yang mencukupi. Jika tidak, kecepatan migrasi data akan berkurang. Tabel yang akan dimigrasikan harus memiliki primary key atau unique constraint, dan semua field dalam key atau constraint tersebut harus unik. Jika tidak, database tujuan mungkin berisi data duplikat. Satu tugas migrasi data mendukung hingga 1.000 tabel saat Anda mengedit objek pada tingkat tabel, seperti pemetaan nama kolom. Melebihi batas ini menyebabkan error saat Anda mengirimkan tugas. Untuk memigrasikan lebih banyak tabel, bagi menjadi beberapa tugas atau migrasikan seluruh database. Jika Anda melakukan migrasi data inkremental, persyaratan binlog berikut berlaku: Fitur binlog harus diaktifkan, dan parameter binlog_format serta binlog_row_image harus diatur masing-masing ke row dan full. Jika tidak, Pemeriksaan Awal gagal dan tugas migrasi data tidak dapat dimulai. Untuk migrasi data inkremental, database sumber harus menyimpan binlog lokal selama lebih dari 24 jam. Untuk tugas yang mencakup migrasi data penuh dan inkremental, DTS memerlukan periode retensi binlog minimal 7 hari. Anda dapat mengurangi periode retensi menjadi lebih dari 24 jam setelah migrasi data penuh selesai. Jika tugas gagal karena binlog tidak dapat diakses, ketidakkonsistenan atau kehilangan data dapat terjadi. SLA DTS tidak mencakup masalah yang disebabkan oleh retensi binlog yang tidak mencukupi. Selama fase migrasi skema dan migrasi penuh, jangan lakukan operasi DDL yang mengubah skema database atau tabel. Jika tidak, tugas migrasi data akan gagal. Catatan Selama fase migrasi penuh, DTS melakukan query ke database sumber. Hal ini membuat metadata lock, yang dapat memblokir operasi DDL pada database sumber. Jika Anda hanya melakukan migrasi data penuh, jangan menulis data baru ke database sumber. Jika tidak, ketidakkonsistenan data akan terjadi antara database sumber dan tujuan. Untuk menjaga konsistensi data secara real-time, pilih migrasi skema, migrasi data penuh, dan migrasi data inkremental. Jika data yang akan dimigrasikan berisi kolom invisible, kehilangan data dapat terjadi karena DTS tidak dapat mengambil data dari kolom tersebut.
Batasan lainnya	Jangan gunakan alat seperti pt-online-schema-change untuk melakukan operasi DDL Online pada objek migrasi. Jika tidak, migrasi akan gagal. Untuk kolom dengan tipe data FLOAT atau DOUBLE, DTS membaca nilainya menggunakan `ROUND(COLUMN,PRECISION)`. Jika presisi tidak didefinisikan secara eksplisit, DTS menggunakan presisi migrasi default sebesar 38 digit untuk FLOAT dan 308 digit untuk DOUBLE. Pastikan presisi migrasi memenuhi kebutuhan bisnis Anda. Evaluasi kinerja database sumber dan tujuan sebelum migrasi. Kami menyarankan untuk melakukan migrasi data selama jam sepi karena migrasi data penuh mengonsumsi sumber daya baca dan tulis serta dapat meningkatkan beban server database. Selama migrasi data penuh, operasi INSERT konkuren menyebabkan fragmentasi tabel di database tujuan, sehingga penggunaan penyimpanan lebih tinggi dibandingkan instans sumber. DTS mencoba melanjutkan tugas migrasi yang gagal dalam waktu tujuh hari. Sebelum Anda memindahkan beban kerja ke instans tujuan, hentikan atau lepas instans DTS, atau gunakan perintah `REVOKE` untuk mencabut izin tulis akun DTS pada instans tujuan. Hal ini mencegah pelanjutan tugas otomatis yang dapat menyebabkan data sumber menimpa data tujuan. Batasan ini berlaku untuk tugas migrasi data penuh atau inkremental di mana tabel yang akan dimigrasikan dari database sumber berisi kunci asing, trigger, atau event trigger. DTS sementara mengatur parameter `session_replication_role` ke `replica` pada tingkat sesi selama migrasi. Jika akun database tujuan tidak memiliki izin yang diperlukan, Anda harus mengatur parameter tersebut secara manual ke `replica` di database tujuan. Selama periode ini (saat `session_replication_role` diatur ke `replica`), operasi cascade update atau delete di database sumber dapat menyebabkan ketidakkonsistenan data. Setelah tugas migrasi dilepas, Anda dapat mengatur kembali parameter tersebut ke `origin`. Jika suatu tugas gagal, staf dukungan DTS akan mencoba memulihkannya dalam waktu delapan jam. Selama pemulihan, mereka dapat merestart tugas atau menyesuaikan parameternya. Catatan Hanya parameter tugas DTS yang dimodifikasi—bukan parameter database. Parameter yang dapat disesuaikan termasuk yang tercantum dalam Modifikasi parameter instans.

Penagihan

Jenis migrasi	Biaya konfigurasi link	Biaya Lalu Lintas Internet
Migrasi skema dan migrasi data penuh	Gratis.	Migrasi data keluar dari Alibaba Cloud melalui internet dikenai biaya lalu lintas internet. Untuk informasi selengkapnya, lihat Ikhtisar penagihan.
Migrasi data inkremental	Dikenai biaya. Untuk informasi selengkapnya, lihat Ikhtisar penagihan.

Jenis migrasi

Migrasi skema

DTS memigrasikan skema objek yang dipilih dari database sumber ke database tujuan.
Migrasi data penuh

DTS memigrasikan semua data yang ada dalam objek yang dipilih dari database sumber ke database tujuan.
Migrasi data inkremental

Setelah migrasi data penuh selesai, DTS memigrasikan perubahan data berkelanjutan dari database sumber ke database tujuan, sehingga meminimalkan downtime aplikasi.

Operasi SQL yang didukung untuk migrasi inkremental

Jenis operasi	Pernyataan SQL
DML	INSERT, UPDATE, DELETE

Izin yang diperlukan untuk akun database

Database	Migrasi skema	Migrasi data penuh	Migrasi data inkremental
Instans ApsaraDB RDS untuk MariaDB	SELECT	SELECT	REPLICATION CLIENT, REPLICATION SLAVE, SHOW VIEW, dan SELECT
ApsaraDB RDS untuk PostgreSQL	CREATE dan USAGE pada objek migrasi	Izin owner pada skema	Izin owner pada skema

Untuk membuat akun dan memberikan izin:

Untuk instans ApsaraDB RDS untuk MariaDB, lihat Buat akun dan Modifikasi atau atur ulang izin akun.
Untuk instans ApsaraDB RDS untuk PostgreSQL, lihat Buat akun dan Otorisasi akun layanan.

Prosedur

Buka halaman daftar tugas migrasi untuk wilayah tujuan menggunakan salah satu metode berikut.
Dari Konsol DTS
1. Login ke Konsol Data Transmission Service (DTS).
2. Di panel navigasi kiri, klik Data Migration.
3. Di pojok kiri atas halaman, pilih wilayah tempat instans migrasi berada.
Dari Konsol DMS

Catatan
Operasi aktual dapat berbeda tergantung pada mode dan tata letak Konsol DMS. Untuk informasi selengkapnya, lihat Konsol mode sederhana dan Sesuaikan tata letak dan gaya Konsol DMS.
1. Login ke Konsol Data Management (DMS).
2. Di bilah menu atas, pilih Data + AI > Data Transmission (DTS) > Data Migration.
3. Di sebelah kanan Data Migration Tasks, pilih wilayah tempat instans migrasi berada.
Klik Create Task untuk membuka halaman konfigurasi tugas.
Opsi: Di pojok kanan atas halaman, klik New Configuration Page.
Catatan
- Jika Anda sudah berada di halaman konfigurasi baru (tombol di pojok kanan atas adalah Back to Previous Version), Anda dapat melewati langkah ini.
- Parameter pada halaman konfigurasi baru dan lama berbeda. Kami menyarankan Anda menggunakan halaman konfigurasi baru.

Konfigurasikan database sumber dan tujuan.

Bagian	Parameter	Deskripsi
N/A	Task Name	DTS secara otomatis menghasilkan nama tugas. Tentukan nama deskriptif agar lebih mudah diidentifikasi. Nama tidak perlu unik.
Source Database	Select Existing Connection	Untuk menggunakan instans database yang telah ditambahkan ke sistem (dibuat atau disimpan), pilih instans database yang diinginkan dari daftar drop-down. Informasi database di bawah akan dikonfigurasi secara otomatis. Catatan Di Konsol DMS, parameter ini bernama Select a DMS database instance.. Jika Anda belum mendaftarkan instans database ke sistem, atau tidak perlu menggunakan instans terdaftar, konfigurasikan informasi database secara manual di bawah.
	Database Type	Pilih MariaDB.
	Access Method	Pilih Alibaba Cloud Instance.
	Instance Region	Pilih wilayah tempat instans ApsaraDB RDS untuk MariaDB sumber berada.
	Replicate Data Across Alibaba Cloud Accounts	Dalam contoh ini, instans database di bawah Akun Alibaba Cloud saat ini digunakan. Pilih No.
	Instance ID	Pilih ID instans instans ApsaraDB RDS untuk MariaDB sumber.
	Database Account	Masukkan akun database untuk instans ApsaraDB RDS untuk MariaDB sumber. Untuk persyaratan izin, lihat Izin yang diperlukan untuk akun database.
	Database Password	Masukkan password untuk akun database.
	Connection Method	Metode koneksi default untuk instans ApsaraDB RDS untuk MariaDB adalah Non-encrypted.
Destination Database	Select Existing Connection	Untuk menggunakan instans database yang telah ditambahkan ke sistem (dibuat atau disimpan), pilih instans database yang diinginkan dari daftar drop-down. Informasi database di bawah akan dikonfigurasi secara otomatis. Catatan Di Konsol DMS, parameter ini bernama Select a DMS database instance.. Jika Anda belum mendaftarkan instans database ke sistem, atau tidak perlu menggunakan instans terdaftar, konfigurasikan informasi database secara manual di bawah.
	Database Type	Pilih PostgreSQL.
	Access Method	Pilih Alibaba Cloud Instance.
	Instance Region	Pilih wilayah tempat instans ApsaraDB RDS untuk PostgreSQL tujuan berada.
	Instance ID	Pilih ID instans instans ApsaraDB RDS untuk PostgreSQL tujuan.
	Database Name	Masukkan nama database tujuan yang akan menerima objek yang dimigrasikan.
	Database Account	Masukkan akun database untuk instans ApsaraDB RDS untuk PostgreSQL tujuan.
	Database Password	Masukkan password untuk akun database.
	Encryption	Menentukan apakah koneksi ke database sumber dienkripsi. Anda dapat mengonfigurasi parameter ini sesuai kebutuhan bisnis. Dalam contoh ini, Non-encrypted dipilih. Jika Anda ingin membuat koneksi terenkripsi SSL ke database sumber, lakukan langkah-langkah berikut: Pilih SSL-encrypted, unggah CA Certificate, Client Certificate, dan Private Key of Client Certificate sesuai kebutuhan, lalu tentukan Private Key Password of Client Certificate. Catatan Jika Anda mengatur Encryption ke SSL-encrypted untuk database PostgreSQL yang dikelola sendiri, Anda harus mengunggah CA Certificate. Jika Anda ingin menggunakan sertifikat klien, Anda harus mengunggah Client Certificate dan Private Key of Client Certificate serta menentukan Private Key Password of Client Certificate. Untuk informasi tentang cara mengonfigurasi enkripsi SSL untuk instans ApsaraDB RDS untuk PostgreSQL, lihat Enkripsi SSL.

Setelah menyelesaikan konfigurasi, klik Test Connectivity and Proceed di bagian bawah halaman.
Catatan
- Pastikan segmen alamat IP layanan DTS telah ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan untuk mengizinkan akses dari server DTS. Untuk informasi selengkapnya, lihat Tambahkan alamat IP server DTS ke daftar putih.
- Jika database sumber atau tujuan adalah database yang dikelola sendiri (Access Method bukan Alibaba Cloud Instance), Anda juga harus mengklik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers yang muncul.

Konfigurasikan objek tugas.

Di halaman Configure Objects, konfigurasikan objek yang ingin dimigrasikan.

Parameter	Deskripsi
Migration Types	Jika Anda hanya perlu melakukan migrasi penuh, pilih Schema Migration dan Full Data Migration. Untuk melakukan migrasi tanpa downtime, pilih Schema Migration, Full Data Migration, dan Incremental Data Migration. Catatan Jika Anda tidak memilih Schema Migration, Anda harus memastikan bahwa database dan tabel untuk menerima data sudah ada di database tujuan. Anda juga dapat menggunakan fitur pemetaan nama objek di kotak Selected Objects sesuai kebutuhan. Jika Anda tidak memilih Incremental Data Migration, jangan menulis data baru ke instans sumber selama migrasi data untuk memastikan konsistensi data.
Processing Mode of Conflicting Tables	Precheck and Report Errors: Memeriksa apakah tabel dengan nama yang sama ada di database tujuan. Jika tidak ada tabel dengan nama yang sama, Pemeriksaan Awal lolos. Jika ada tabel dengan nama yang sama, error dilaporkan selama Pemeriksaan Awal, dan tugas migrasi data tidak dimulai. Catatan Jika tabel di database tujuan memiliki nama yang sama tetapi tidak dapat dengan mudah dihapus atau diganti namanya, Anda dapat mengganti nama tabel di database tujuan. Untuk informasi selengkapnya, lihat Pemetaan nama objek. Ignore Errors and Proceed: Melewati pemeriksaan untuk tabel dengan nama yang sama. Peringatan Memilih Ignore Errors and Proceed dapat menyebabkan ketidakkonsistenan data dan risiko bisnis. Misalnya: Jika skema tabel konsisten dan catatan di database tujuan memiliki nilai primary key yang sama dengan catatan di database sumber: Selama migrasi penuh, DTS menyimpan catatan di database tujuan. Catatan dari database sumber tidak dimigrasikan. Selama migrasi inkremental, DTS tidak menyimpan catatan di database tujuan. Catatan dari database sumber menimpa catatan di database tujuan. Jika skema tabel tidak konsisten, hanya beberapa kolom data yang mungkin dimigrasikan, atau migrasi dapat gagal. Lakukan dengan hati-hati.
Source Objects	Di kotak Source Objects, klik objek yang akan dimigrasikan, lalu klik untuk memindahkannya ke kotak Selected Objects. Catatan Anda dapat memilih objek pada tingkat database, tabel, atau kolom.
Selected Objects	Untuk mengganti nama satu objek migrasi di instans target, klik kanan objek di kotak Selected Objects. Untuk informasi selengkapnya, lihat Pemetaan nama skema, tabel, dan kolom individual. Untuk mengganti nama beberapa objek migrasi di instans target, klik Selected Objects di pojok kanan atas kotak Batch Edit. Untuk informasi selengkapnya, lihat Pemetaan nama skema, tabel, dan kolom ganda. Catatan Jika Anda menggunakan fitur pemetaan nama objek, objek lain yang bergantung pada objek yang diganti nama mungkin gagal dimigrasikan. Untuk menentukan klausa WHERE untuk memfilter data, klik kanan tabel di panel Selected Objects dan atur kondisi filter di kotak dialog yang muncul. Untuk informasi selengkapnya, lihat Atur kondisi filter. Untuk memilih operasi SQL yang akan dimigrasikan pada tingkat database atau tabel, klik kanan objek di panel Selected Objects dan pilih operasi SQL yang diinginkan di kotak dialog yang muncul.

Klik Next: Advanced Settings untuk mengonfigurasi parameter lanjutan.

Parameter	Deskripsi
Dedicated Cluster for Task Scheduling	Secara default, DTS menjadwalkan tugas pada klaster bersama. Anda tidak perlu memilihnya. Jika Anda menginginkan tugas yang lebih stabil, Anda dapat membeli klaster khusus untuk menjalankan tugas migrasi DTS.
Retry Time for Failed Connections	Setelah tugas migrasi dimulai, jika koneksi ke database sumber atau tujuan gagal, DTS melaporkan error dan segera mulai mencoba koneksi ulang. Durasi percobaan ulang default adalah 720 menit. Anda dapat menyesuaikan waktu percobaan ulang ke nilai antara 10 hingga 1440 menit. Kami menyarankan Anda mengatur durasi lebih dari 30 menit. Jika DTS terhubung kembali ke database sumber dan tujuan dalam durasi yang ditentukan, tugas migrasi akan dilanjutkan secara otomatis. Jika tidak, tugas gagal. Catatan Untuk beberapa instans DTS yang berbagi sumber atau tujuan yang sama, waktu percobaan ulang jaringan ditentukan oleh pengaturan tugas yang dibuat terakhir. Karena Anda dikenai biaya untuk tugas selama periode percobaan ulang koneksi, kami menyarankan Anda menyesuaikan waktu percobaan ulang sesuai kebutuhan bisnis, atau segera melepaskan instans DTS setelah instans database sumber dan tujuan dilepas.
Retry Time for Other Issues	Setelah tugas migrasi dimulai, jika terjadi masalah non-konektivitas, seperti exception eksekusi DDL atau DML, di database sumber atau tujuan, DTS melaporkan error dan segera mulai mencoba operasi ulang. Durasi percobaan ulang default adalah 10 menit. Anda dapat menyesuaikan waktu percobaan ulang ke nilai antara 1 hingga 1440 menit. Kami menyarankan Anda mengatur durasi lebih dari 10 menit. Jika operasi terkait berhasil dalam durasi percobaan ulang yang ditentukan, tugas migrasi akan dilanjutkan secara otomatis. Jika tidak, tugas gagal. Penting Nilai Retry Time for Other Issues harus lebih kecil daripada nilai Retry Time for Failed Connections.
Enable Throttling for Full Data Migration	Selama migrasi penuh, DTS mengonsumsi sumber daya baca dan tulis pada database sumber dan tujuan, yang dapat meningkatkan beban database. Jika diperlukan, Anda dapat mengaktifkan pembatasan kecepatan untuk tugas migrasi penuh. Anda dapat mengatur Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s) untuk mengurangi beban pada database tujuan. Catatan Item konfigurasi ini tersedia hanya jika Anda memilih Full Data Migration untuk Migration Types. Anda juga dapat menyesuaikan kecepatan migrasi penuh setelah instans migrasi berjalan.
Enable Throttling for Incremental Data Migration	Jika diperlukan, Anda juga dapat memilih untuk mengatur batas kecepatan untuk tugas migrasi inkremental. Anda dapat mengatur RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s) untuk mengurangi beban pada database tujuan. Catatan Item konfigurasi ini tersedia hanya jika Anda memilih Incremental Data Migration untuk Migration Types. Anda juga dapat menyesuaikan kecepatan migrasi inkremental setelah instans migrasi berjalan.
Environment Tag	Anda dapat memilih tag lingkungan untuk mengidentifikasi instans. Tidak perlu pemilihan untuk contoh ini.
Configure ETL	Berdasarkan kebutuhan bisnis Anda, pilih apakah akan mengonfigurasi fitur ETL untuk memproses data. Yes: Mengonfigurasi fitur ETL. Anda juga harus memasukkan pernyataan pemrosesan data di kotak teks. No: Tidak mengonfigurasi fitur ETL.
Monitoring and Alerting	Pilih apakah akan mengatur peringatan dan menerima pemberitahuan peringatan sesuai kebutuhan bisnis Anda. No: Tidak mengatur peringatan. Yes: Konfigurasikan peringatan dengan mengatur ambang batas peringatan dan pemberitahuan peringatan. Jika migrasi gagal atau latensi melebihi ambang batas, sistem mengirimkan pemberitahuan peringatan.

Simpan tugas dan jalankan Pemeriksaan Awal.
- Untuk melihat parameter untuk mengonfigurasi instans ini saat Anda memanggil operasi API, arahkan pointer ke tombol Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters di gelembung yang muncul.
- Jika Anda tidak perlu melihat atau telah selesai melihat parameter API, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
Catatan
- Sebelum tugas migrasi dimulai, DTS melakukan Pemeriksaan Awal. Tugas hanya dimulai setelah lolos Pemeriksaan Awal.
- Jika Pemeriksaan Awal gagal, klik View Details di sebelah item pemeriksaan yang gagal, perbaiki masalah berdasarkan prompt, lalu jalankan Pemeriksaan Awal lagi.
- Jika peringatan dilaporkan selama Pemeriksaan Awal:
  
  Untuk item pemeriksaan yang tidak dapat diabaikan, klik View Details di sebelah item yang gagal, perbaiki masalah berdasarkan prompt, lalu jalankan Pemeriksaan Awal lagi.
  
  Untuk item pemeriksaan yang dapat diabaikan, Anda dapat mengklik Confirm Alert Details, Ignore, OK, dan Precheck Again untuk melewati item peringatan dan menjalankan Pemeriksaan Awal lagi. Jika Anda memilih untuk mengabaikan peringatan, hal ini dapat menyebabkan masalah seperti ketidakkonsistenan data dan menimbulkan risiko bagi bisnis Anda.

Beli instans migrasi.

Saat Success Rate mencapai 100%, klik Next: Purchase Instance.

Di halaman Purchase, pilih spesifikasi link untuk instans migrasi data. Untuk informasi selengkapnya, lihat tabel berikut.

Kategori	Parameter	Deskripsi
New Instance Class	Resource Group Settings	Pilih kelompok sumber daya tempat instans tersebut berada. Nilai default adalah kelompok sumber daya default. Untuk informasi selengkapnya, lihat Apa itu Resource Management?
New Instance Class	Instance Class	DTS menyediakan spesifikasi migrasi dengan tingkat kinerja berbeda. Spesifikasi link memengaruhi kecepatan migrasi. Anda dapat memilih spesifikasi berdasarkan skenario bisnis Anda. Untuk informasi selengkapnya, lihat Spesifikasi link migrasi data.

Setelah konfigurasi selesai, baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start. Di kotak dialog OK yang muncul, klik OK.

Anda dapat melihat progres tugas migrasi di halaman daftar Data Migration Tasks.
Catatan
- Jika tugas migrasi tidak mencakup migrasi inkremental, tugas akan berhenti secara otomatis setelah migrasi penuh selesai. Setelah tugas berhenti, Status-nya berubah menjadi Completed.
- Jika tugas migrasi mencakup migrasi inkremental, tugas tidak berhenti secara otomatis. Tugas migrasi inkremental terus berjalan. Selama tugas migrasi inkremental berjalan, Status tugas adalah Running.