Migrasi data dari database Db2 untuk LUW ke kluster PolarDB for MySQL - Data Transmission Service

Gunakan Data Transmission Service (DTS) untuk memigrasikan data dari database IBM Db2 untuk Linux, UNIX, dan Windows (LUW) yang dikelola sendiri ke kluster PolarDB for MySQL. DTS mendukung migrasi skema, migrasi data penuh, dan migrasi data inkremental, sehingga Anda dapat memilih pendekatan yang paling sesuai dengan toleransi downtime Anda.

Prasyarat

Sebelum memulai, pastikan bahwa:

Kluster PolarDB for MySQL tujuan memiliki ruang penyimpanan yang cukup untuk menampung seluruh data dari database sumber Db2 untuk LUW. Untuk petunjuk pembuatan kluster, lihat Beli kluster pay-as-you-go dan Beli kluster langganan.
Untuk migrasi data inkremental: logging arsip diaktifkan pada database sumber Db2 untuk LUW. Lihat logarchmeth1 - Primary log archive method configuration parameter dan logarchmeth2 - Secondary log archive method configuration parameter.

Penting

Setelah mengubah konfigurasi logarchmeth, lakukan backup database sumber untuk menerapkan perubahan tersebut. Tanpa backup, pemeriksaan awal akan gagal saat Anda memulai tugas migrasi.

Untuk versi Db2 untuk LUW yang didukung, lihat Ikhtisar skenario migrasi data.

Penagihan

Jenis migrasi	Biaya konfigurasi instans	Biaya lalu lintas internet
Migrasi skema dan migrasi data penuh	Gratis	Gratis
Migrasi data inkremental	Dikenai biaya — lihat Ikhtisar penagihan	—

Izin yang diperlukan

Berikan izin berikut kepada akun database yang digunakan untuk tugas migrasi.

Database	Migrasi skema	Migrasi data penuh	Migrasi data inkremental
Db2 untuk LUW	CONNECT dan SELECT	CONNECT dan SELECT	Izin administrator database
PolarDB for MySQL	—	Hak baca dan tulis pada database tujuan	—

Penting

Gunakan akun istimewa untuk database tujuan PolarDB for MySQL.

Untuk petunjuk membuat akun dan memberikan izin:

Db2 untuk LUW: Creating group and user IDs for a Db2 database installation (Linux and UNIX) dan Authorities overview
PolarDB for MySQL: Buat akun database dan Kelola akun database untuk kluster

Batasan

Migrasi skema

DTS memigrasikan kunci asing dari database sumber ke database tujuan.

Migrasi data penuh dan migrasi data inkremental

DTS sementara menonaktifkan pemeriksaan kendala dan operasi kaskade pada kunci asing di tingkat session. Jika Anda melakukan operasi kaskade atau penghapusan pada database sumber selama migrasi, ketidakkonsistenan data dapat terjadi.

Persyaratan database sumber

Server database sumber harus memiliki bandwidth outbound yang mencukupi. Bandwidth yang tidak mencukupi mengurangi kecepatan migrasi.
Tabel yang akan dimigrasikan harus memiliki kendala PRIMARY KEY atau UNIQUE, dan semua field harus unik. Tabel tanpa kendala ini dapat menghasilkan catatan duplikat di database tujuan.
Jika Anda memilih tabel sebagai objek migrasi dan perlu mengganti nama tabel atau kolom di tujuan, satu tugas migrasi mendukung hingga 1.000 tabel. Untuk lebih dari 1.000 tabel, buat beberapa tugas atau migrasikan seluruh database sebagai gantinya.

Persyaratan migrasi data inkremental

Pencatatan data harus diaktifkan pada database sumber. Jika tidak, pemeriksaan awal gagal dan tugas migrasi tidak dapat dimulai.
Persyaratan retensi log: Jika DTS tidak dapat mengambil log data karena retensi yang tidak mencukupi, tugas gagal dan kehilangan data atau ketidakkonsistenan dapat terjadi. Perjanjian tingkat layanan (SLA) tidak menjamin keandalan atau kinerja jika retensi log tidak memenuhi persyaratan ini.
- Hanya migrasi inkremental: log harus dipertahankan lebih dari 24 jam.
- Migrasi data penuh dikombinasikan dengan migrasi data inkremental: log harus dipertahankan minimal tujuh hari.
- Setelah migrasi data penuh selesai, atur periode retensi menjadi lebih dari 24 jam.
DTS memigrasikan data inkremental menggunakan teknologi replikasi Change Data Capture (CDC) dari Db2 untuk LUW. Untuk batasan spesifik CDC, lihat General data restrictions for SQL Replication.

Operasi pada database sumber selama migrasi

Selama migrasi data penuh: jangan lakukan operasi DDL yang mengubah skema database atau tabel. Operasi semacam itu menyebabkan tugas migrasi gagal.
Selama migrasi data penuh (tanpa inkremental): jangan menulis data ke database sumber. Untuk memastikan konsistensi data, pilih migrasi data penuh dan migrasi data inkremental secara bersamaan.

Batasan lainnya

Jadwalkan tugas migrasi selama jam sepi. Migrasi data penuh menggunakan sumber daya baca dan tulis pada database sumber dan tujuan, yang meningkatkan beban server.
Setelah migrasi data penuh, ruang tabel yang digunakan di database tujuan lebih besar daripada di database sumber. Operasi INSERT konkuren selama migrasi menyebabkan fragmentasi tabel.
Jangan menulis data dari luar database sumber ke database tujuan selama migrasi. Data dari sumber lain menyebabkan ketidakkonsistenan. Untuk operasi DDL pasca-migrasi, gunakan Data Management (DMS).
Jika pernyataan DDL gagal dieksekusi di database tujuan, DTS tetap menjalankan tugas. Lihat pernyataan DDL yang gagal di log tugas. Lihat Lihat log tugas.

Kasus khusus untuk database Db2 untuk LUW yang dikelola sendiri

Jika terjadi alih bencana primary/secondary pada database sumber saat tugas migrasi sedang berjalan, tugas tersebut gagal.
DTS menghitung latensi migrasi dengan membandingkan timestamp data terbaru yang dimigrasikan di database tujuan terhadap timestamp saat ini di database sumber. Jika tidak ada operasi DML yang dilakukan pada database sumber dalam periode yang lama, pembacaan latensi mungkin tidak akurat. Untuk memperbarui latensi, lakukan operasi DML pada database sumber.
Catatan
Jika Anda memilih seluruh database sebagai objek migrasi, buat tabel heartbeat. DTS memperbarui tabel heartbeat setiap detik, sehingga pembacaan latensi tetap akurat.

Operasi SQL yang didukung untuk migrasi data inkremental

Jenis operasi	Pernyataan SQL
DML	INSERT, UPDATE, dan DELETE

Migrasi data dari Db2 untuk LUW ke PolarDB for MySQL

Langkah 1: Buka halaman Tugas Migrasi Data

Login ke Konsol Data Management (DMS).
Di bilah navigasi atas, klik DTS.
Di panel navigasi kiri, pilih DTS (DTS) > Data Migration.

Catatan

Anda juga dapat langsung membuka halaman Tugas Migrasi Data di konsol DTS baru. Tata letak konsol dan opsi yang tersedia dapat berbeda tergantung pada mode DMS Anda. Lihat Mode simple dan Sesuaikan tata letak dan gaya konsol DMS.

Langkah 2: Pilih wilayah

Dari daftar drop-down di samping Tugas Migrasi Data, pilih wilayah tempat instans migrasi berada.

Catatan

Di konsol DTS baru, pilih wilayah di pojok kiri atas.

Langkah 3: Konfigurasikan database sumber dan tujuan

Klik Create Task. Di halaman Create Task, konfigurasikan parameter berikut.

Database sumber (Db2 untuk LUW)

Parameter	Deskripsi
Task Name	Nama deskriptif untuk tugas. DTS memberikan nama secara otomatis — ubah menjadi nama yang memudahkan identifikasi tugas. Nama tidak perlu unik.
Select an existing DMS database instance	(Opsional) Pilih instans terdaftar yang sudah ada untuk mengisi parameter di bawah secara otomatis. Jika dilewati, konfigurasikan parameter secara manual.
Database Type	Pilih DB2 for LUW.
Access Method	Pilih Express Connect, VPN Gateway, or Smart Access Gateway. Untuk langkah persiapan yang diperlukan untuk mengakses database yang dikelola sendiri, lihat Ikhtisar persiapan.
Instance Region	Wilayah tempat database sumber Db2 untuk LUW berada.
Replicate Data Across Alibaba Cloud Accounts	Pilih No.
Connected VPC	ID virtual private cloud (VPC) tempat database sumber berada.
IP Address or Domain Name	Alamat IP server database sumber Db2 untuk LUW.
Port Number	Port layanan database sumber. Default: 50000.
Database Name	Nama database sumber Db2 untuk LUW yang berisi objek yang akan dimigrasikan.
Database Account	Akun database untuk database sumber. Lihat bagian Izin yang diperlukan untuk izin yang dibutuhkan.
Database Password	Kata sandi untuk akun database.

Database tujuan (PolarDB for MySQL)

Parameter	Deskripsi
Select an existing DMS database instance	(Opsional) Pilih instans terdaftar yang sudah ada untuk mengisi parameter di bawah secara otomatis.
Database Type	Pilih PolarDB for MySQL.
Access Method	Pilih Alibaba Cloud Instance.
Instance Region	Wilayah tempat kluster PolarDB for MySQL tujuan berada.
PolarDB Cluster ID	ID kluster PolarDB for MySQL tujuan.
Database Account	Akun database untuk kluster tujuan. Lihat bagian Izin yang diperlukan untuk izin yang dibutuhkan.
Database Password	Kata sandi untuk akun database.
Encryption	Apakah akan mengenkripsi koneksi menggunakan SSL. Konfigurasikan berdasarkan kebutuhan keamanan Anda. Lihat Configure SSL encryption.

Langkah 4: Uji konektivitas

Klik Test Connectivity and Proceed.

DTS secara otomatis menambahkan blok CIDR servernya ke daftar putih alamat IP atau aturan grup keamanan instans database Alibaba Cloud dan database yang di-host di ECS. Untuk database yang dikelola sendiri di beberapa instans ECS, tambahkan secara manual blok CIDR DTS ke aturan grup keamanan setiap instans. Untuk database on-premises atau database yang di-host oleh penyedia pihak ketiga, tambahkan secara manual blok CIDR DTS ke daftar putih database.

Untuk daftar lengkap blok CIDR server DTS, lihat bagian "CIDR blocks of DTS servers" di Add the CIDR blocks of DTS servers to the security settings of on-premises databases.

Peringatan

Menambahkan blok CIDR DTS ke daftar putih database atau grup keamanan ECS menimbulkan risiko keamanan. Sebelum melanjutkan, ambil langkah pencegahan: perkuat kredensial akun, batasi port yang terbuka, autentikasi panggilan API, audit secara berkala daftar putih atau aturan grup keamanan untuk menghapus blok CIDR yang tidak sah, dan hubungkan ke DTS melalui Express Connect, VPN Gateway, atau Smart Access Gateway bila memungkinkan.

Langkah 5: Konfigurasikan objek migrasi

Konfigurasikan parameter berikut.

Parameter	Deskripsi
Migration Types	Pilih jenis migrasi berdasarkan kebutuhan downtime Anda: Schema Migration + Full Data Migration — untuk migrasi satu kali dengan jendela pemeliharaan. Schema Migration + Full Data Migration + Incremental Data Migration — untuk migrasi berkelanjutan dengan downtime minimal. Jika Anda tidak memilih Incremental Data Migration, hentikan penulisan ke database sumber selama migrasi untuk mencegah ketidakkonsistenan data.
Processing Mode of Conflicting Tables	Precheck and Report Errors — DTS memeriksa apakah tujuan sudah berisi tabel dengan nama yang sama seperti sumber. Jika terdapat konflik, pemeriksaan awal gagal dan tugas tidak dimulai. Gunakan pemetaan nama objek jika Anda perlu mengganti nama objek untuk menyelesaikan konflik. Ignore Errors and Proceed — DTS melewati pemeriksaan konflik. Jika skema tabel sumber dan tujuan sama, DTS melewatkan catatan yang memiliki nilai kunci primer yang sama dengan catatan yang sudah ada di tujuan. Jika skema berbeda, hanya kolom tertentu yang dimigrasikan atau tugas gagal. Gunakan opsi ini dengan hati-hati.
Capitalization of Object Names in Destination Instance	Mengatur kapitalisasi nama database, tabel, dan kolom di tujuan. Default: Kebijakan default DTS. Lihat Specify the capitalization of object names in the destination instance.
Source Objects	Pilih objek dari Source Objects dan klik ikon panah untuk menambahkannya ke Selected Objects. Pilih kolom, tabel, atau database. Jika Anda memilih tabel atau kolom, DTS tidak memigrasikan view, pemicu, atau prosedur tersimpan.
Selected Objects	Untuk mengganti nama satu objek di tujuan, klik kanan objek tersebut di Selected Objects. Lihat Map the name of a single object. Untuk mengganti nama beberapa objek sekaligus, klik Batch Edit. Lihat Map multiple object names at a time. Untuk memfilter baris, klik kanan tabel dan tentukan kondisi WHERE. Lihat Use SQL conditions to filter data. Untuk membatasi operasi SQL mana yang direplikasi untuk objek tertentu, klik kanan objek tersebut dan pilih operasinya. Lihat bagian Operasi SQL yang didukung untuk migrasi data inkremental. Catatan Menggunakan pemetaan nama objek dapat menyebabkan objek dependen gagal dimigrasikan. Jika Anda tidak memigrasikan semua tabel atau skema sumber dan tujuan berbeda, data di kolom yang tidak ada di tujuan akan hilang.

Langkah 6: Konfigurasikan pengaturan lanjutan

Klik Next: Advanced Settings dan konfigurasikan parameter berikut.

Verifikasi data

Untuk mengonfigurasi verifikasi data, lihat Enable data verification.

Pengaturan lanjutan

Parameter	Deskripsi
Select the dedicated cluster used to schedule the task	Secara default, DTS menjalankan tugas migrasi di kluster bersama. Untuk menggunakan kluster khusus, beli dan tentukan kluster tersebut. Lihat What is a DTS dedicated cluster.
Set Alerts	Apakah akan mengonfigurasi peringatan. Pilih Yes untuk menerima notifikasi ketika tugas gagal atau latensi migrasi melebihi ambang batas. Tentukan ambang batas peringatan dan kontak. Lihat Configure monitoring and alerting.
Select the engine type of the destination database	Mesin penyimpanan untuk database tujuan: InnoDB (default) atau X-Engine (mesin penyimpanan online transaction processing (OLTP)).
Retry Time for Failed Connections	Berapa lama DTS mencoba kembali koneksi yang gagal setelah tugas dimulai. Nilai valid: 10–1440. Satuan: menit. Default: 720. Atur nilai ini lebih dari 30. Jika DTS berhasil terhubung kembali dalam periode ini, tugas dilanjutkan; jika tidak, tugas gagal. Catatan Ketika beberapa tugas berbagi database sumber atau tujuan, waktu coba ulang yang paling baru ditetapkan berlaku untuk semuanya. DTS menagih biaya instans selama periode coba ulang. Kami menyarankan Anda menentukan rentang waktu coba ulang berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepas instans DTS sesegera mungkin setelah instans sumber dan tujuan dilepas.
The wait time before a retry when other issues occur in the source and destination databases	Berapa lama DTS mencoba kembali operasi DDL atau DML yang gagal. Nilai valid: 1–1440. Satuan: menit. Default: 10. Atur nilai ini lebih dari 10. Nilai ini harus kurang dari Retry Time for Failed Connections.
Enable Throttling for Full Data Migration	Apakah akan membatasi laju migrasi selama migrasi data penuh. Konfigurasikan Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s) untuk mengurangi beban pada database tujuan. Parameter ini hanya muncul jika Full Data Migration dipilih.
Enable Throttling for Incremental Data Migration	Apakah akan membatasi laju migrasi selama migrasi data inkremental. Konfigurasikan RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s). Parameter ini hanya muncul jika Incremental Data Migration dipilih.
Environment Tag	Tag lingkungan yang digunakan untuk mengidentifikasi instans DTS. Anda dapat memilih tag lingkungan berdasarkan kebutuhan bisnis Anda.
Configure ETL	Apakah akan menggunakan pemrosesan ekstrak, transformasi, dan muat (ETL). Pilih Yes untuk memasukkan pernyataan pemrosesan data. Lihat Configure ETL in a data migration or synchronization task.

Langkah 7: Simpan pengaturan dan jalankan pemeriksaan awal

Klik Next: Save Task Settings and Precheck.

Catatan

Untuk melihat pratinjau parameter API untuk konfigurasi tugas ini, arahkan kursor ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters sebelum melanjutkan.

DTS menjalankan pemeriksaan awal sebelum memulai tugas migrasi. Tugas hanya dapat dimulai setelah pemeriksaan awal lolos.

Jika item pemeriksaan gagal, klik View Details di samping item yang gagal, perbaiki masalah berdasarkan pesan error, lalu klik Precheck Again.
Jika item pemeriksaan memicu peringatan:
- Jika peringatan tidak dapat diabaikan, klik View Details di samping item yang gagal dan atasi masalahnya. Kemudian, klik Precheck Again.
- Jika peringatan dapat diabaikan dengan aman, klik Confirm Alert Details. Di kotak dialog View Details, klik Ignore, lalu OK, dan kemudian Precheck Again. Mengabaikan peringatan dapat menyebabkan ketidakkonsistenan data.

Langkah 8: Tunggu hingga pemeriksaan awal selesai

Tunggu hingga tingkat keberhasilan mencapai 100%, lalu klik Next: Purchase Instance.

Langkah 9: Konfigurasikan kelas instans

Di halaman Purchase Instance, konfigurasikan parameter berikut.

Parameter	Deskripsi
Resource Group	Kelompok sumber daya untuk instans migrasi. Default: default resource group. Lihat What is Resource Management?
Instance Class	Kelas instans menentukan kecepatan migrasi. Pilih berdasarkan volume data dan kebutuhan waktu Anda. Lihat Spesifikasi instans migrasi data.

Langkah 10: Terima syarat layanan

Baca dan terima Syarat Layanan Data Transmission Service (Pay-as-you-go) dengan memilih kotak centang.

Langkah 11: Mulai tugas migrasi

Klik Buy and Start. Tugas migrasi dimulai. Lacak progresnya di daftar tugas.