Migrasi data antar instans ApsaraDB RDS for MariaDB - Data Transmission Service

Prasyarat

Buat instans tujuan ApsaraDB RDS for MariaDB. Untuk informasi selengkapnya, lihat Buat instans ApsaraDB RDS for MariaDB.
Instans tujuan ApsaraDB RDS for MariaDB harus memiliki ruang penyimpanan tersedia yang lebih besar daripada ruang yang digunakan oleh instans sumber ApsaraDB RDS for MariaDB.

Batasan

Catatan

Selama migrasi skema, DTS memigrasikan kunci asing dari database sumber ke database tujuan.
Selama migrasi data penuh dan migrasi data inkremental, DTS sementara menonaktifkan pemeriksaan constraint dan operasi kaskade kunci asing pada tingkat sesi. Melakukan operasi cascade update atau delete pada database sumber saat tugas sedang berjalan dapat menyebabkan ketidakkonsistenan data.

Type	Description
Batasan database sumber	Server yang menghosting database sumber harus memiliki bandwidth keluar yang mencukupi. Jika tidak, kecepatan migrasi akan berkurang. Tabel yang akan dimigrasikan harus memiliki primary key atau unique constraint, dan field dalam constraint tersebut harus berisi nilai unik. Jika tidak, data duplikat mungkin ada di database tujuan. Jika Anda melakukan migrasi data pada level tabel dan perlu mengedit objek, seperti pemetaan nama tabel atau kolom, satu tugas migrasi mendukung maksimal 1.000 tabel. Jika melebihi batas ini, Anda akan menerima error permintaan saat mengirimkan tugas. Sebagai solusi, kami menyarankan Anda membagi tabel menjadi beberapa tugas migrasi atau mengonfigurasi tugas untuk memigrasikan seluruh database. Jika Anda melakukan migrasi data inkremental, log biner harus memenuhi persyaratan berikut: Fitur binary log harus diaktifkan, dengan `binlog_format` diatur ke `ROW` dan `binlog_row_image` diatur ke `FULL`. Jika tidak, Pemeriksaan Awal gagal dan tugas migrasi data tidak dapat dimulai. Jika Anda hanya menjalankan tugas migrasi data inkremental, log biner lokal database sumber harus dipertahankan lebih dari 24 jam. Jika Anda menjalankan tugas yang mencakup migrasi data penuh dan inkremental, log biner harus dipertahankan minimal 7 hari. Anda dapat mengubah periode retensi menjadi lebih dari 24 jam setelah migrasi data penuh selesai. Jika periode retensi terlalu singkat, DTS mungkin tidak dapat memperoleh log biner. Hal ini dapat menyebabkan kegagalan tugas atau, dalam kasus ekstrem, menyebabkan kehilangan data atau ketidakkonsistenan. SLA DTS tidak mencakup masalah yang disebabkan oleh periode retensi log biner yang tidak mencukupi. Selama fase migrasi skema dan migrasi penuh, jangan lakukan operasi DDL yang mengubah skema database atau tabel. Jika dilakukan, tugas migrasi data akan gagal. Catatan Selama fase migrasi penuh, DTS melakukan query ke database sumber. Hal ini membuat metadata lock, yang dapat memblokir operasi DDL pada database sumber. Jika Anda hanya melakukan migrasi data penuh, jangan menulis data baru ke database sumber. Jika dilakukan, akan terjadi ketidakkonsistenan data antara database sumber dan tujuan. Untuk menjaga konsistensi data secara real-time, pilih migrasi skema, migrasi data penuh, dan migrasi data inkremental.
Batasan lainnya	Evaluasi kinerja database sumber dan tujuan sebelum memulai. Kami menyarankan melakukan migrasi pada jam sepi. Selama migrasi data penuh, DTS mengonsumsi resource baca dan tulis pada kedua database, yang dapat meningkatkan beban server. Selama migrasi data penuh, operasi `INSERT` konkuren menyebabkan fragmentasi tabel di database tujuan. Setelah migrasi selesai, tabel di database tujuan menggunakan ruang penyimpanan lebih besar daripada di instans sumber. Pastikan presisi migrasi untuk kolom `FLOAT` atau `DOUBLE` memenuhi kebutuhan bisnis Anda. DTS membaca nilai dari kolom-kolom tersebut menggunakan fungsi `ROUND(COLUMN,PRECISION)`. Jika Anda tidak menentukan presisi, DTS menggunakan presisi 38 digit untuk kolom `FLOAT` dan 308 digit untuk kolom `DOUBLE`. DTS mencoba melanjutkan tugas migrasi yang gagal dalam waktu tujuh hari. Sebelum beralih ke instans tujuan, pastikan untuk menghentikan atau merilis tugas tersebut. Atau, gunakan perintah `REVOKE` untuk mencabut izin tulis akun yang digunakan DTS untuk mengakses instans tujuan. Hal ini mencegah tugas yang dilanjutkan menimpa data di instans tujuan. Jika pernyataan DDL gagal ditulis ke database tujuan, tugas DTS tetap berjalan. Anda harus melihat pernyataan DDL yang gagal di log tugas. Untuk informasi selengkapnya, lihat Kueri log tugas. Pastikan tidak ada kolom invisible di tabel sumber atau tujuan. Jika ada, instans migrasi data mungkin gagal atau data dapat hilang. Jika tugas gagal, staf dukungan DTS akan mencoba memulihkannya dalam waktu delapan jam. Selama pemulihan, mereka mungkin merestart tugas atau menyesuaikan parameternya. Catatan Hanya parameter tugas DTS yang dimodifikasi—bukan parameter database. Parameter yang mungkin disesuaikan termasuk yang tercantum di Modifikasi parameter instans.
Kasus khusus	Jika database tujuan adalah instans ApsaraDB RDS for MariaDB DTS secara otomatis membuat database di instans ApsaraDB RDS for MariaDB. Namun, jika nama database tidak sesuai dengan Konvensi penamaan ApsaraDB RDS for MariaDB, Anda harus membuat database tersebut di instans tujuan sebelum mengonfigurasi tugas migrasi. Untuk informasi selengkapnya, lihat Buat database dan akun.

Penagihan

Jenis migrasi	Biaya konfigurasi link
Migrasi data penuh	Gratis.
Migrasi data inkremental	Dikenai biaya. Untuk informasi selengkapnya, lihat Ikhtisar penagihan.

Jenis migrasi

Migrasi skema

DTS memigrasikan skema objek yang dipilih dari database sumber ke database tujuan.
Migrasi data penuh

DTS memigrasikan semua data yang ada dari objek yang dipilih di database sumber ke database tujuan.
Migrasi data inkremental

Setelah migrasi penuh selesai, DTS memigrasikan perubahan data inkremental dari database sumber ke database tujuan. Hal ini membantu Anda menyelesaikan migrasi dengan downtime minimal.

Operasi SQL yang didukung untuk migrasi inkremental

Jenis operasi	Pernyataan SQL
DML	INSERT, UPDATE, DELETE
DDL	ALTER TABLE, ALTER VIEW CREATE FUNCTION, CREATE INDEX, CREATE PROCEDURE, CREATE TABLE, CREATE VIEW DROP INDEX, DROP TABLE RENAME TABLE Penting Operasi RENAME TABLE dapat menyebabkan ketidakkonsistenan data. Misalnya, jika Anda hanya memilih satu tabel sebagai objek migrasi dan mengganti nama tabel tersebut di instans sumber selama migrasi, data tabel tersebut tidak dimigrasikan ke database tujuan. Untuk mencegah masalah ini, pilih seluruh database tempat tabel tersebut berada sebagai objek migrasi saat mengonfigurasi tugas migrasi data. Pastikan database tempat tabel berada sebelum dan sesudah operasi RENAME TABLE termasuk dalam objek migrasi. TRUNCATE TABLE

Izin yang diperlukan untuk akun database

Database	Migrasi skema	Migrasi data penuh	Migrasi data inkremental
Instans sumber ApsaraDB RDS for MariaDB	Izin SELECT	Izin SELECT	Izin baca dan tulis
Instans tujuan ApsaraDB RDS for MariaDB	Izin baca dan tulis	Izin baca dan tulis	Izin baca dan tulis

Untuk informasi tentang cara membuat akun database dan memberikan izin di instans ApsaraDB RDS for MariaDB, lihat Buat akun dan Modifikasi atau atur ulang izin akun.

Prosedur

Navigasi ke halaman daftar tugas migrasi untuk wilayah tujuan menggunakan salah satu metode berikut.
Dari Konsol DTS
1. Login ke Konsol Data Transmission Service (DTS).
2. Di panel navigasi kiri, klik Data Migration.
3. Di pojok kiri atas halaman, pilih wilayah tempat instans migrasi berada.
Dari Konsol DMS

Catatan
Operasi aktual dapat berbeda tergantung pada mode dan tata letak Konsol DMS. Untuk informasi selengkapnya, lihat Konsol mode sederhana dan Sesuaikan tata letak dan gaya Konsol DMS.
1. Login ke Konsol Data Management (DMS).
2. Di bilah menu atas, pilih Data + AI > Data Transmission (DTS) > Data Migration.
3. Di sebelah kanan Data Migration Tasks, pilih wilayah tempat instans migrasi berada.
Klik Create Task untuk menuju halaman konfigurasi tugas.
Opsi: Di pojok kanan atas halaman, klik New Configuration Page.
Catatan
- Jika Anda sudah berada di halaman konfigurasi baru (tombol di pojok kanan atas adalah Back to Previous Version), Anda dapat melewati langkah ini.
- Parameter pada halaman konfigurasi baru dan lama berbeda. Kami menyarankan Anda menggunakan halaman konfigurasi baru.

Konfigurasikan database sumber dan tujuan.

Kategori	Parameter	Deskripsi
N/A	Nama tugas	DTS secara otomatis menghasilkan nama tugas. Kami menyarankan menggunakan nama deskriptif agar mudah diidentifikasi. Nama tidak perlu unik.
Database sumber	Select Existing Connection	Untuk menggunakan instans database yang telah ditambahkan ke sistem (dibuat atau disimpan), pilih instans database yang diinginkan dari daftar drop-down. Informasi database di bawah akan dikonfigurasi secara otomatis. Catatan Di Konsol DMS, parameter ini bernama Select a DMS database instance.. Jika Anda belum mendaftarkan instans database ke sistem, atau tidak perlu menggunakan instans terdaftar, konfigurasikan informasi database secara manual di bawah.
	Tipe database	Pilih MariaDB.
	Metode akses	Pilih Alibaba Cloud Instance.
	Wilayah instans	Pilih wilayah tempat instans sumber ApsaraDB RDS for MariaDB berada.
	Replikasi data antar akun Alibaba Cloud	Topik ini menjelaskan cara migrasi data dalam satu Akun Alibaba Cloud. Pilih No.
	Instance ID	Pilih ID instans sumber ApsaraDB RDS for MariaDB.
	Akun database	Masukkan akun database instans sumber ApsaraDB RDS for MariaDB. Untuk informasi tentang izin yang diperlukan, lihat Izin yang diperlukan untuk akun database.
	Password database	Masukkan password untuk akun database.
	Enkripsi	Pengaturan default untuk instans ApsaraDB RDS for MariaDB adalah Non-encrypted.
Database tujuan	Select Existing Connection	Untuk menggunakan instans database yang telah ditambahkan ke sistem (dibuat atau disimpan), pilih instans database yang diinginkan dari daftar drop-down. Informasi database di bawah akan dikonfigurasi secara otomatis. Catatan Di Konsol DMS, parameter ini bernama Select a DMS database instance.. Jika Anda belum mendaftarkan instans database ke sistem, atau tidak perlu menggunakan instans terdaftar, konfigurasikan informasi database secara manual di bawah.
	Tipe database	Pilih MariaDB.
	Metode akses	Pilih Alibaba Cloud Instance.
	Wilayah instans	Pilih wilayah tempat instans tujuan ApsaraDB RDS for MariaDB berada.
	RDS Instance ID	Pilih ID instans tujuan ApsaraDB RDS for MariaDB.
	Database Account	Masukkan akun database instans tujuan ApsaraDB RDS for MariaDB.
	Database Password	Masukkan password untuk akun database.
	Enkripsi	Pengaturan default untuk instans ApsaraDB RDS for MariaDB adalah Non-encrypted.

Setelah menyelesaikan konfigurasi, klik Test Connectivity and Proceed di bagian bawah halaman.
Catatan
- Pastikan segmen alamat IP layanan DTS telah ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan untuk mengizinkan akses dari server DTS. Untuk informasi selengkapnya, lihat Tambahkan alamat IP server DTS ke daftar putih.
- Jika database sumber atau tujuan adalah Database yang dikelola sendiri (parameter Access Method bukan Alibaba Cloud Instance), Anda juga harus mengklik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers yang muncul.

Konfigurasikan objek tugas.

Di halaman Configure Objects, konfigurasikan objek yang ingin dimigrasikan.

Parameter	Deskripsi
Jenis migrasi	Jika hanya perlu melakukan migrasi penuh, pilih Schema Migration dan Full Data Migration. Untuk melakukan migrasi tanpa downtime, pilih Schema Migration, Full Data Migration, dan Incremental Data Migration. Catatan Jika Anda tidak memilih Schema Migration, Anda harus memastikan bahwa database dan tabel untuk menerima data sudah ada di database tujuan. Anda juga dapat menggunakan fitur pemetaan nama objek di kotak Selected Objects sesuai kebutuhan. Jika Anda tidak memilih Incremental Data Migration, jangan menulis data baru ke instans sumber selama migrasi data untuk memastikan konsistensi data.
Method to Migrate Triggers in Source Database	Pilih metode migrasi trigger berdasarkan kebutuhan bisnis Anda. Jika tidak ada trigger yang akan dimigrasikan, Anda tidak perlu mengonfigurasi parameter ini. Untuk informasi selengkapnya, lihat Konfigurasikan cara menyinkronkan atau memigrasikan trigger. Catatan Parameter ini tersedia hanya jika Anda memilih Schema Migration untuk Migration Types.
Mode penanganan tabel konflik	Precheck and Report Errors: Memeriksa apakah tabel dengan nama yang sama ada di database tujuan. Jika tidak ada tabel dengan nama yang sama, Pemeriksaan Awal lolos. Jika ada tabel dengan nama yang sama, error dilaporkan selama Pemeriksaan Awal, dan tugas migrasi data tidak dimulai. Catatan Jika tabel di database tujuan memiliki nama yang sama tetapi tidak dapat dengan mudah dihapus atau diganti namanya, Anda dapat mengganti nama tabel di database tujuan. Untuk informasi selengkapnya, lihat Pemetaan nama objek. Ignore Errors and Proceed: Melewati pemeriksaan tabel dengan nama yang sama. Peringatan Memilih Ignore Errors and Proceed dapat menyebabkan ketidakkonsistenan data dan risiko bisnis. Contohnya: Jika skema tabel konsisten dan catatan di database tujuan memiliki nilai primary key yang sama dengan catatan di database sumber: Selama migrasi penuh, DTS menyimpan catatan di database tujuan. Catatan dari database sumber tidak dimigrasikan. Selama migrasi inkremental, DTS tidak menyimpan catatan di database tujuan. Catatan dari database sumber menimpa catatan di database tujuan. Jika skema tabel tidak konsisten, hanya beberapa kolom data yang mungkin dimigrasikan, atau migrasi dapat gagal. Lakukan dengan hati-hati.
Objek sumber dan objek terpilih	Pilih satu atau beberapa objek dari bagian Source Objects. Klik ikon dan tambahkan objek ke bagian Selected Objects. Catatan Granularitas pemilihan objek migrasi adalah database, tabel, dan kolom. Jika Anda hanya memilih tabel atau kolom sebagai objek migrasi, objek lain seperti view, trigger, dan prosedur tersimpan tidak dimigrasikan ke database tujuan.
	Untuk mengganti nama satu objek migrasi di instans target, klik kanan objek di kotak Selected Objects. Untuk informasi selengkapnya, lihat Pemetaan nama skema, tabel, dan kolom individual. Untuk mengganti nama beberapa objek migrasi di instans target, klik Selected Objects di pojok kanan atas kotak Batch Edit. Untuk informasi selengkapnya, lihat Pemetaan nama skema, tabel, dan kolom ganda. Catatan Jika Anda menggunakan fitur pemetaan nama objek, migrasi objek lain yang bergantung pada objek yang diganti namanya mungkin gagal. Untuk menentukan klausa WHERE untuk memfilter data, klik kanan tabel di bagian Selected Objects dan tentukan kondisi filter di kotak dialog yang muncul. Untuk informasi selengkapnya, lihat Atur kondisi filter. Untuk memilih operasi SQL yang akan dimigrasikan pada level database atau tabel, klik kanan objek di bagian Selected Objects dan pilih operasi SQL yang diinginkan di kotak dialog yang muncul.

Klik Next: Advanced Settings untuk mengonfigurasi parameter lanjutan.

Parameter	Deskripsi
Dedicated Cluster for Task Scheduling	Secara default, DTS menjadwalkan tugas pada kluster bersama. Anda tidak perlu memilihnya. Jika Anda menginginkan tugas yang lebih stabil, Anda dapat membeli klaster khusus untuk menjalankan tugas migrasi DTS.
Retry Time for Failed Connections	Setelah tugas migrasi dimulai, jika koneksi ke database sumber atau tujuan gagal, DTS melaporkan error dan segera mulai mencoba koneksi ulang. Durasi retry default adalah 720 menit. Anda dapat menyesuaikan waktu retry ke nilai antara 10 hingga 1440 menit. Kami menyarankan Anda mengatur durasi lebih dari 30 menit. Jika DTS berhasil terhubung kembali ke database sumber dan tujuan dalam durasi yang ditentukan, tugas migrasi akan dilanjutkan secara otomatis. Jika tidak, tugas gagal. Catatan Untuk beberapa instans DTS yang berbagi sumber atau tujuan yang sama, waktu retry jaringan ditentukan oleh pengaturan tugas yang dibuat terakhir. Karena Anda dikenai biaya selama periode retry koneksi, kami menyarankan Anda menyesuaikan waktu retry berdasarkan kebutuhan bisnis, atau segera merilis instans DTS setelah instans database sumber dan tujuan dirilis.
Retry Time for Other Issues	Setelah tugas migrasi dimulai, jika terjadi masalah non-koneksi, seperti exception eksekusi DDL atau DML, di database sumber atau tujuan, DTS melaporkan error dan segera mulai mencoba operasi ulang. Durasi retry default adalah 10 menit. Anda dapat menyesuaikan waktu retry ke nilai antara 1 hingga 1440 menit. Kami menyarankan Anda mengatur durasi lebih dari 10 menit. Jika operasi terkait berhasil dalam durasi retry yang ditentukan, tugas migrasi akan dilanjutkan secara otomatis. Jika tidak, tugas gagal. Penting Nilai Retry Time for Other Issues harus lebih kecil dari nilai Retry Time for Failed Connections.
Enable Throttling for Full Data Migration	Selama migrasi penuh, DTS mengonsumsi resource baca dan tulis pada database sumber dan tujuan, yang dapat meningkatkan beban database. Jika diperlukan, Anda dapat mengaktifkan pembatasan kecepatan untuk tugas migrasi penuh. Anda dapat mengatur Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s) untuk mengurangi beban pada database tujuan. Catatan Item konfigurasi ini tersedia hanya jika Anda memilih Full Data Migration untuk Migration Types. Anda juga dapat menyesuaikan kecepatan migrasi penuh setelah instans migrasi berjalan.
Enable Throttling for Incremental Data Migration	Jika diperlukan, Anda juga dapat memilih untuk mengatur batas kecepatan untuk tugas migrasi inkremental. Anda dapat mengatur RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s) untuk mengurangi beban pada database tujuan. Catatan Item konfigurasi ini tersedia hanya jika Anda memilih Incremental Data Migration untuk Migration Types. Anda juga dapat menyesuaikan kecepatan migrasi inkremental setelah instans migrasi berjalan.
Environment Tag	Anda dapat memilih tag lingkungan untuk mengidentifikasi instans. Ini tidak wajib dalam contoh ini.
Configure ETL	Pilih apakah akan mengaktifkan fitur extract, transform, and load (ETL). Untuk informasi selengkapnya, lihat Apa itu ETL? Nilai yang valid: Yes: Mengaktifkan fitur ETL. Masukkan pernyataan pemrosesan data di editor kode. Untuk informasi selengkapnya, lihat Konfigurasikan ETL dalam tugas migrasi data atau sinkronisasi data. No: Menonaktifkan fitur ETL.
Monitoring and Alerting	Pilih apakah akan mengatur peringatan dan menerima pemberitahuan peringatan berdasarkan kebutuhan bisnis Anda. No: Tidak mengatur peringatan. Yes: Konfigurasikan peringatan dengan mengatur ambang batas peringatan dan pemberitahuan peringatan. Jika migrasi gagal atau latensi melebihi ambang batas, sistem mengirimkan pemberitahuan peringatan.

Simpan tugas dan jalankan Pemeriksaan Awal.
- Untuk melihat parameter konfigurasi instans ini saat memanggil Operasi API, arahkan pointer ke tombol Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters di balon yang muncul.
- Jika Anda tidak perlu melihat atau telah selesai melihat parameter API, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
Catatan
- Sebelum tugas migrasi dimulai, DTS melakukan Pemeriksaan Awal. Tugas hanya dimulai setelah lolos Pemeriksaan Awal.
- Jika Pemeriksaan Awal gagal, klik View Details di sebelah item pemeriksaan yang gagal, perbaiki masalah berdasarkan petunjuk, lalu jalankan Pemeriksaan Awal lagi.
- Jika peringatan dilaporkan selama Pemeriksaan Awal:
  
  Untuk item pemeriksaan yang tidak dapat diabaikan, klik View Details di sebelah item yang gagal, perbaiki masalah berdasarkan petunjuk, lalu jalankan Pemeriksaan Awal lagi.
  
  Untuk item pemeriksaan yang dapat diabaikan, Anda dapat mengklik Confirm Alert Details, Ignore, OK, dan Precheck Again untuk melewati item peringatan dan menjalankan Pemeriksaan Awal lagi. Jika Anda memilih untuk mengabaikan peringatan, hal ini dapat menyebabkan masalah seperti ketidakkonsistenan data dan menimbulkan risiko bagi bisnis Anda.

Beli instans.

Saat Success Rate mencapai 100%, klik Next: Purchase Instance.

Di halaman Purchase, pilih spesifikasi link untuk instans migrasi data. Untuk informasi selengkapnya, lihat tabel berikut.

Kategori	Parameter	Deskripsi
New Instance Class	Resource Group Settings	Pilih kelompok sumber daya tempat instans berada. Nilai default adalah kelompok sumber daya default. Untuk informasi selengkapnya, lihat Apa itu Resource Management?
New Instance Class	Instance Class	DTS menyediakan spesifikasi migrasi dengan tingkat kinerja berbeda. Spesifikasi link memengaruhi kecepatan migrasi. Anda dapat memilih spesifikasi berdasarkan skenario bisnis Anda. Untuk informasi selengkapnya, lihat Spesifikasi link migrasi data.

Setelah konfigurasi selesai, baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start. Di kotak dialog OK yang muncul, klik OK.

Anda dapat melihat progres tugas migrasi di halaman daftar Data Migration Tasks.
Catatan
- Jika tugas migrasi tidak mencakup migrasi inkremental, tugas akan berhenti secara otomatis setelah migrasi penuh selesai. Setelah tugas berhenti, Status-nya berubah menjadi Completed.
- Jika tugas migrasi mencakup migrasi inkremental, tugas tidak berhenti secara otomatis. Tugas migrasi inkremental terus berjalan. Selama tugas migrasi inkremental berjalan, Status tugas adalah Running.