Topik ini menjelaskan cara menggunakan Data Transmission Service (DTS) untuk memigrasikan data dari database Db2 untuk LUW yang dikelola sendiri ke instans AnalyticDB for PostgreSQL. DTS mendukung migrasi skema, migrasi data penuh, dan migrasi data inkremental untuk jalur migrasi ini.
Prasyarat
Sebelum memulai, pastikan Anda telah:
Memiliki instans AnalyticDB for PostgreSQL dengan ruang penyimpanan yang tersedia lebih besar daripada total ukuran data di database sumber Db2 untuk LUW. Untuk membuat instans, lihat Buat instans.
Membuat database di instans AnalyticDB for PostgreSQL tujuan untuk menerima data yang dimigrasikan. Untuk detailnya, lihat Impor data vektor.
Memiliki akun database dengan izin yang diperlukan (lihat Izin yang diperlukan).
Hanya untuk migrasi data inkremental:
Archive logging diaktifkan pada database sumber Db2 untuk LUW, dikonfigurasi melalui
logarchmeth1ataulogarchmeth2. Untuk detail konfigurasi, lihat logarchmeth1 dan logarchmeth2.
Setelah mengubah konfigurasi logarchmeth, lakukan backup database sumber agar perubahan berlaku. Jika tidak, DTS akan mengembalikan error selama precheck.
Untuk versi database yang didukung, lihat Ikhtisar skenario migrasi data.
Penagihan
| Jenis migrasi | Biaya konfigurasi instans | Biaya Lalu Lintas Internet |
|---|---|---|
| Migrasi skema dan migrasi data penuh | Gratis | Gratis |
| Migrasi data inkremental | Dikenai biaya. Lihat Ikhtisar penagihan. | — |
Izin yang diperlukan
| Database | Migrasi skema | Migrasi data penuh | Migrasi data inkremental |
|---|---|---|---|
| Db2 untuk LUW | CONNECT dan SELECT | CONNECT dan SELECT | Otoritas DBADM |
| AnalyticDB for PostgreSQL | — | Izin baca dan tulis pada database tujuan | — |
Untuk petunjuk membuat akun dan memberikan izin:
Db2 for LUW: Membuat ID kelompok dan pengguna untuk instalasi database Db2 serta Ikhtisar wewenang
AnalyticDB for PostgreSQL: Buat akun database dan Kelola pengguna dan izin
Batasan
Selama migrasi skema, DTS memigrasikan foreign keys dari database sumber ke database tujuan.
Selama migrasi data penuh dan migrasi data inkremental, DTS menonaktifkan sementara pemeriksaan kendala kunci asing dan operasi kaskade pada tingkat session. Melakukan operasi kaskade atau delete pada database sumber selama migrasi dapat menyebabkan ketidakkonsistenan data.
Batasan database sumber
Server sumber harus memiliki bandwidth outbound yang mencukupi; jika tidak, kecepatan migrasi menurun.
Tabel harus memiliki PRIMARY KEY atau kendala UNIQUE dengan semua field unik. Tanpa ini, database tujuan mungkin berisi catatan duplikat.
Jika Anda menggunakan fitur pemetaan nama objek untuk mengganti nama objek dan ingin memigrasikan lebih dari 1.000 tabel, bagi migrasi menjadi beberapa tugas atau migrasikan seluruh database. Tugas yang menargetkan lebih dari 1.000 tabel yang dipilih secara individual dengan penggantian nama akan gagal dengan error permintaan.
Untuk migrasi data inkremental:
Data logging harus diaktifkan pada database sumber. DTS gagal dalam precheck jika logging dinonaktifkan.
Hanya migrasi inkremental: data log harus dipertahankan lebih dari 24 jam.
Migrasi data penuh + migrasi data inkremental: data log harus dipertahankan minimal 7 hari. Setelah migrasi penuh selesai, Anda dapat mengurangi periode retensi menjadi lebih dari 24 jam.
Jika periode retensi tidak mencukupi, DTS mungkin gagal membaca data log, menyebabkan kegagalan tugas atau, dalam kasus jarang terjadi, ketidakkonsistenan atau kehilangan data. Skenario ini berada di luar cakupan Service Level Agreement (SLA) DTS.
Selama migrasi data penuh, jangan lakukan operasi DDL pada database sumber. Perubahan skema selama fase ini menyebabkan tugas gagal.
Jika Anda hanya menjalankan migrasi data penuh (tanpa migrasi inkremental), hindari menulis ke database sumber selama migrasi. Untuk menjamin konsistensi data, jalankan migrasi skema, migrasi data penuh, dan migrasi data inkremental secara bersamaan.
Batasan lainnya
Migrasi data inkremental menggunakan teknologi replikasi change data capture (CDC) dari Db2 untuk LUW. CDC memiliki batasan tipe data sendiri. Lihat General data restrictions for SQL Replication.
Hanya tabel yang dapat dipilih sebagai objek migrasi. Tabel Append-optimized (AO) tidak didukung sebagai tipe tabel tujuan.
Selama migrasi skema dan migrasi data inkremental, foreign keys tidak dimigrasikan ke database tujuan.
Operasi INSERT konkuren selama migrasi data penuh menyebabkan fragmentasi tablespace. Tablespace tujuan akan lebih besar daripada sumber setelah migrasi penuh selesai.
Jika alat selain DTS menulis ke database tujuan selama migrasi, ketidakkonsistenan data dapat terjadi. Setelah migrasi selesai, gunakan Data Management (DMS) untuk operasi DDL online. Lihat Lakukan operasi DDL tanpa lock.
Jika pemetaan kolom digunakan untuk migrasi tabel non-penuh, atau jika skema sumber dan tujuan berbeda, data di kolom sumber yang tidak ada di tujuan akan hilang.
Jalankan migrasi selama jam sepi jika memungkinkan. Migrasi data penuh menggunakan resource baca dan tulis pada kedua database, yang meningkatkan beban server.
Batasan khusus untuk Db2 untuk LUW yang dikelola sendiri
Jika terjadi failover primary/secondary pada database sumber saat tugas migrasi sedang berjalan, tugas tersebut gagal.
DTS menghitung latensi migrasi sebagai selisih antara timestamp catatan terakhir yang dimigrasikan di database tujuan dan timestamp saat ini di database sumber. Jika tidak ada operasi DML yang dilakukan pada sumber dalam periode panjang, latensi yang ditampilkan mungkin tidak akurat. Untuk merefresh pembacaan latensi, lakukan operasi DML pada sumber. Jika Anda memilih seluruh database sebagai objek migrasi, buat tabel heartbeat yang diperbarui setiap detik.
Operasi SQL yang didukung untuk migrasi inkremental
| Jenis operasi | Pernyataan SQL |
|---|---|
| DML | INSERT, UPDATE, DELETE |
Buat tugas migrasi
Langkah-langkah berikut memandu Anda melalui konfigurasi dan memulai tugas migrasi DTS dari database Db2 untuk LUW yang dikelola sendiri ke instans AnalyticDB for PostgreSQL.
Langkah 1: Buka halaman Tugas Migrasi Data
Login ke Konsol Data Management (DMS).
Pada bilah navigasi atas, klik DTS.
Pada panel navigasi kiri, pilih DTS (DTS) > Data Migration.
Langkah-langkah di atas dapat berbeda tergantung pada mode dan tata letak Konsol DMS. Untuk detailnya, lihat Mode simple dan Sesuaikan tata letak dan gaya Konsol DMS. Atau, langsung buka halaman Tugas Migrasi Data.
Langkah 2: Konfigurasi database sumber dan tujuan
Dari daftar drop-down di samping Tugas Migrasi Data, pilih wilayah tempat instans migrasi berada.
Di Konsol DTS baru, pilih wilayah di pojok kiri atas.
Klik Create Task. Pada wizard Buat Tugas, konfigurasikan parameter berikut.
Database sumber
| Parameter | Deskripsi |
|---|---|
| Select an existing DMS database instance (opsional) | Pilih instans terdaftar yang sudah ada untuk mengisi otomatis parameternya, atau lewati dan konfigurasi parameter secara manual. |
| Database Type | Pilih DB2 for LUW. |
| Access Method | Pilih metode akses berdasarkan lokasi penyebaran database sumber. Contoh ini menggunakan Database yang Dikelola Sendiri di ECS. Untuk metode akses lainnya, lihat Ikhtisar persiapan. |
| Instance Region | Wilayah tempat database sumber Db2 untuk LUW berada. |
| Replicate Data Across Alibaba Cloud Accounts | Pilih No jika sumber dan tujuan berada di bawah akun Alibaba Cloud yang sama (seperti pada contoh ini). |
| ECS Instance ID | ID instans Elastic Compute Service (ECS) yang menjalankan database sumber Db2 untuk LUW. |
| Port Number | Port layanan database sumber Db2 untuk LUW. |
| Database Name | Nama database sumber yang berisi objek untuk dimigrasikan. |
| Database Account | Akun untuk database sumber. Untuk izin yang diperlukan, lihat Izin yang diperlukan. |
| Database Password | Password untuk akun database. |
Database tujuan
| Parameter | Deskripsi |
|---|---|
| Select an existing DMS database instance (opsional) | Pilih instans terdaftar yang sudah ada untuk mengisi otomatis parameternya, atau lewati dan konfigurasi parameter secara manual. |
| Database Type | Pilih AnalyticDB for PostgreSQL. |
| Access Method | Pilih Alibaba Cloud Instance. |
| Instance Region | Wilayah tempat instans AnalyticDB for PostgreSQL tujuan berada. |
| Instance ID | ID instans AnalyticDB for PostgreSQL tujuan. |
| Database Name | Nama database di instans tujuan yang akan menerima data yang dimigrasikan. |
| Database Account | Akun untuk database tujuan. Untuk izin yang diperlukan, lihat Izin yang diperlukan. |
| Database Password | Password untuk akun database. |
Langkah 3: Uji konektivitas
Klik Test Connectivity and Proceed.
DTS secara otomatis menambahkan blok CIDR-nya ke konfigurasi keamanan instans database Alibaba Cloud dan database yang di-host di ECS. Untuk database yang dikelola sendiri di pusat data atau cloud pihak ketiga, tambahkan blok CIDR DTS ke daftar putih alamat IP database secara manual. Lihat Tambahkan blok CIDR server DTS ke pengaturan keamanan database on-premises.
Menambahkan blok CIDR DTS ke daftar putih alamat IP atau aturan security group ECS Anda membawa risiko keamanan. Sebelum melanjutkan, ambil langkah pencegahan seperti: menggunakan kredensial akun yang kuat, membatasi port yang terbuka, mengautentikasi panggilan API, melakukan audit entri daftar putih secara berkala, dan menghubungkan ke DTS melalui Express Connect, VPN Gateway, atau Smart Access Gateway.
Langkah 4: Konfigurasi objek migrasi dan pengaturan lanjutan
Konfigurasikan parameter berikut.
Jenis migrasi
Pilih jenis migrasi berdasarkan berapa lama downtime yang dapat Anda terima:
| Opsi | Kapan digunakan |
|---|---|
| Migrasi Skema + Migrasi Data Penuh | Gunakan ketika Anda dapat menghentikan penulisan ke database sumber sebelum migrasi. Tugas selesai setelah pemuatan data awal selesai. |
| Migrasi Skema + Migrasi Data Penuh + Migrasi Data Inkremental (direkomendasikan) | Gunakan ketika database sumber harus tetap aktif selama migrasi. Migrasi inkremental terus menangkap dan menerapkan perubahan hingga Anda melakukan cut over. |
Jika Anda tidak memilih Incremental Data Migration, hindari menulis ke database sumber selama migrasi untuk mencegah ketidakkonsistenan data.
Pengaturan lainnya
| Parameter | Deskripsi |
|---|---|
| DDL and DML Operations to Be Synchronized | Operasi SQL yang disertakan dalam migrasi inkremental. Untuk operasi yang didukung, lihat Operasi SQL yang didukung untuk migrasi inkremental. Untuk mengonfigurasi filter operasi SQL per objek, klik kanan objek di bagian Selected Objects dan pilih operasi di kotak dialog. |
| Processing Mode of Conflicting Tables | Precheck dan Laporkan Error: DTS gagal dalam precheck jika ada tabel tujuan yang memiliki nama sama dengan tabel sumber. Gunakan pemetaan nama objek untuk mengganti nama tabel yang bentrok sebelum memulai tugas. Lihat Pemetaan nama objek. Abaikan Error dan Lanjutkan: DTS melewati pemeriksaan bentrok nama. Jika tabel sumber dan tujuan memiliki skema yang sama, catatan dengan nilai kunci primer yang cocok tidak dimigrasikan. Jika skema berbeda, hanya kolom yang cocok yang dimigrasikan, atau tugas mungkin gagal. Gunakan dengan hati-hati. |
| Capitalization of Object Names in Destination Instance | Mengontrol huruf besar/kecil nama database, tabel, dan kolom di tujuan. Default adalah Kebijakan default DTS. Sesuaikan ini dengan konvensi huruf besar/kecil default database tujuan (misalnya, huruf kecil) untuk menghindari error selama tugas. Lihat Tentukan kapitalisasi nama objek di instans tujuan. |
| Source Objects | Pilih satu atau beberapa objek dan klik ikon  untuk menambahkannya ke Selected Objects. Hanya tabel yang dapat dipilih. |
| Selected Objects | Untuk mengganti nama objek, klik kanan objek tersebut dan gunakan fitur pemetaan nama objek. Untuk mengganti nama beberapa objek sekaligus, klik Batch Edit. Lihat Pemetaan nama objek. Untuk memfilter baris berdasarkan kondisi, klik kanan objek dan tentukan klausa WHERE. Lihat Gunakan kondisi SQL untuk memfilter data. |
Pemetaan nama objek dan perbedaan skema antara sumber dan tujuan dapat menyebabkan kehilangan data untuk kolom yang ada di sumber tetapi tidak ada di tujuan.
Langkah 5: Konfigurasi pengaturan lanjutan
Klik Next: Advanced Settings dan konfigurasikan parameter berikut.
Verifikasi data
Lihat Aktifkan verifikasi data.
Pengaturan lanjutan
| Parameter | Deskripsi |
|---|---|
| Select the dedicated cluster used to schedule the task | Secara default, DTS menjadwalkan tugas pada shared cluster. Untuk menggunakan dedicated cluster, beli terlebih dahulu dan tentukan di sini. Lihat What is a DTS dedicated cluster. |
| Set Alerts | Pilih Yes untuk menerima notifikasi ketika tugas gagal atau latensi migrasi melebihi ambang batas. Tentukan ambang batas dan kontak peringatan. Lihat Configure monitoring and alerting. |
| Retry Time for Failed Connections | Lama waktu DTS melakukan retry jika koneksi ke database sumber atau tujuan gagal setelah tugas dimulai. Rentang: 10–1.440 menit. Default: 720 menit. Atur minimal 30 menit. Jika DTS berhasil terhubung kembali dalam periode ini, tugas akan dilanjutkan; jika tidak, tugas akan gagal. Catatan Jika beberapa tugas menggunakan sumber atau tujuan yang sama, nilai retry time yang paling baru ditetapkan akan berlaku. Selama proses retry, Anda tetap dikenai biaya untuk instans DTS. |
| The wait time before a retry when other issues occur in the source and destination databases | Lama waktu DTS melakukan retry untuk operasi DDL atau DML yang gagal. Rentang: 1–1.440 menit. Default: 10 menit. Atur minimal 10 menit. Nilai ini harus lebih kecil daripada Retry Time for Failed Connections. |
| Enable Throttling for Full Data Migration | Membatasi laju migrasi data penuh untuk mengurangi beban pada tujuan. Konfigurasikan QPS (queries per second) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s). Opsi ini hanya ditampilkan jika Full Data Migration dipilih. |
| Enable Throttling for Incremental Data Migration | Membatasi laju migrasi data inkremental. Konfigurasikan RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s). Opsi ini hanya ditampilkan jika Incremental Data Migration dipilih. |
| Environment Tag | Tag opsional untuk mengidentifikasi instans DTS berdasarkan lingkungan (misalnya, production atau staging). |
| Configure ETL | Pilih Yes untuk menggunakan fitur extract, transform, and load (ETL) dan masukkan pernyataan pemrosesan data. Lihat Configure ETL in a data migration or data synchronization task. |
Langkah 6: Konfigurasi bidang database dan tabel (opsional)
Klik Next: Configure Database and Table Fields untuk mengatur Type, Primary Key Column, dan Kunci Distribusi untuk tabel yang akan dimigrasikan ke AnalyticDB for PostgreSQL.
Langkah ini hanya berlaku jika Schema Migration dipilih. Atur Definition Status ke All untuk melihat dan memodifikasi semua tabel.
Di bidang Primary Key Column, tentukan beberapa kolom untuk membentuk kunci primer komposit. Minimal satu kolom kunci primer juga harus ditetapkan sebagai kunci distribusi.
Untuk detail konfigurasi kunci primer dan kunci distribusi, lihat Kelola tabel dan Definisikan distribusi tabel.
Langkah 7: Jalankan precheck
Klik Next: Save Task Settings and Precheck.
Untuk melihat pratinjau parameter API untuk konfigurasi tugas ini, arahkan kursor ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters sebelum menyimpan.
DTS menjalankan precheck sebelum memulai tugas. Tugas hanya dimulai setelah lulus precheck.
Jika precheck gagal, klik View Details di samping setiap item yang gagal, selesaikan masalahnya, lalu klik Precheck Again.
Jika item peringatan dapat diabaikan dengan aman, klik Confirm Alert Details, lalu Ignore, lalu OK, lalu Precheck Again. Mengabaikan peringatan dapat menyebabkan ketidakkonsistenan data.
Langkah 8: Beli dan mulai
Tunggu hingga tingkat keberhasilan precheck mencapai 100%, lalu klik Next: Purchase Instance.
Pada halaman Purchase Instance, konfigurasikan hal berikut:
Bagian Parameter Deskripsi Kelas Instans Baru Kelompok Sumber Daya Kelompok sumber daya untuk instans migrasi. Default: kelompok sumber daya default. Lihat Apa itu Resource Management? Kelas Instans Kelas instans menentukan kecepatan migrasi. Pilih berdasarkan volume data dan kebutuhan waktu Anda. Lihat Spesifikasi instans migrasi data. Baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start. Tugas akan muncul di daftar tugas tempat Anda dapat memantau progresnya.
Langkah selanjutnya
Aktifkan verifikasi data untuk memvalidasi data yang dimigrasikan.
Lakukan operasi DDL tanpa lock pada database tujuan menggunakan DMS setelah migrasi selesai.
Pemetaan nama objek jika sumber dan tujuan menggunakan konvensi penamaan yang berbeda.