Topik ini menjelaskan cara menggunakan Data Transmission Service (DTS) untuk memigrasikan data antara AnalyticDB for MySQL V3.0 clusters.
Prasyarat
Cluster tujuan AnalyticDB for MySQL V3.0 telah dibuat. Ruang penyimpanan yang tersedia di cluster ini lebih besar daripada total ukuran data di cluster sumber AnalyticDB for MySQL V3.0. Untuk informasi lebih lanjut, lihat Buat sebuah Cluster.
Untuk memigrasikan data inkremental, Anda harus mengaktifkan fitur change data capture (CDC) dan fitur binary logging untuk tabel-tabel yang akan dimigrasikan di cluster sumber AnalyticDB for MySQL V3.0. Untuk informasi lebih lanjut, lihat Gunakan DTS untuk Berlangganan Log Biner AnalyticDB for MySQL.
CatatanJika cluster AnalyticDB for MySQL V3.0 menggunakan versi mesin sebelum 3.2.1.0, Anda dapat memperbarui versi minor cluster terlebih dahulu.
Catatan penggunaan
Selama migrasi skema, DTS tidak memigrasikan kunci asing dari database sumber ke database tujuan.
Selama migrasi data penuh dan migrasi data inkremental, DTS sementara menonaktifkan pengecekan kendala dan operasi kaskade pada kunci asing di tingkat sesi. Jika Anda melakukan operasi pembaruan dan penghapusan kaskade pada database sumber selama migrasi data, ketidaksesuaian data mungkin terjadi.
Kategori | Deskripsi |
Batasan pada database sumber |
|
Batasan lainnya |
|
Penagihan
Jenis migrasi | Biaya konfigurasi instance | Biaya lalu lintas internet |
Migrasi skema dan migrasi data penuh | Gratis. | Ketika parameter Access Method dari database tujuan diatur ke Public IP Address, Anda dikenai biaya untuk lalu lintas internet. Untuk informasi lebih lanjut, lihat Ikhtisar Penagihan. |
Migrasi data inkremental | Dikenai biaya. Untuk informasi lebih lanjut, lihat Ikhtisar Penagihan. |
Operasi SQL yang mendukung migrasi data inkremental
Jenis operasi | Pernyataan SQL |
DML | INSERT, UPDATE, dan DELETE Catatan Ketika data ditulis ke cluster tujuan AnalyticDB for MySQL V3.0, pernyataan UPDATE secara otomatis diubah menjadi pernyataan REPLACE INTO. Jika pernyataan UPDATE menargetkan primary key, pernyataan UPDATE diubah menjadi pernyataan DELETE dan INSERT. |
DDL | ADD COLUMN dan DROP COLUMN |
Izin yang diperlukan untuk akun database
Database | Izin yang diperlukan | Referensi |
Database di cluster sumber AnalyticDB for MySQL V3.0 | Hak baca pada objek yang akan dimigrasikan. | |
Database di cluster tujuan AnalyticDB for MySQL V3.0 | Hak baca dan tulis pada database tujuan. |
Prosedur
Gunakan salah satu metode berikut untuk pergi ke halaman Migrasi Data dan pilih wilayah tempat instance migrasi data berada.
Konsol DTS
Masuk ke Konsol DTS.
Di panel navigasi sisi kiri, klik Data Migration.
Di sudut kiri atas halaman, pilih wilayah tempat instance migrasi data berada.
Konsol DMS
CatatanOperasi aktual mungkin bervariasi berdasarkan mode dan tata letak Konsol DMS. Untuk informasi lebih lanjut, lihat Mode Sederhana dan Sesuaikan Tata Letak dan Gaya Konsol DMS.
Masuk ke Konsol DMS.
Di bilah navigasi atas, gerakkan pointer ke atas .
Dari daftar drop-down di sebelah kanan Data Migration Tasks, pilih wilayah tempat instance sinkronisasi data berada.
Klik Create Task untuk pergi ke halaman konfigurasi tugas.
Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter-parameter tersebut.
Bagian
Parameter
Deskripsi
N/A
Task Name
Nama tugas DTS. DTS secara otomatis menghasilkan nama tugas. Kami sarankan Anda menentukan nama informatif yang memudahkan identifikasi tugas. Anda tidak perlu menentukan nama tugas yang unik.
Source Database
Select Existing Connection
Jika Anda menggunakan instance database yang terdaftar dengan DTS, pilih instance dari daftar drop-down. DTS secara otomatis mengisi parameter-parameter database berikut untuk instance tersebut. Untuk informasi lebih lanjut, lihat Kelola koneksi database.
CatatanDi Konsol DMS, Anda dapat memilih instance database dari daftar drop-down Select a DMS database instance.
Jika Anda gagal mendaftarkan instance dengan DTS, atau Anda tidak perlu menggunakan instance yang terdaftar dengan DTS, Anda harus mengonfigurasi informasi database berikut.
Database Type
Jenis database sumber. Pilih AnalyticDB for MySQL 3.0.
Access Method
Metode akses database sumber. Pilih Alibaba Cloud Instance.
Instance Region
Wilayah tempat cluster sumber AnalyticDB for MySQL V3.0 berada.
Replicate Data Across Alibaba Cloud Accounts
Dalam contoh ini, instance database akun Alibaba Cloud saat ini digunakan. Pilih No.
Instance Region
Wilayah tempat cluster sumber AnalyticDB for MySQL V3.0 berada.
Instance ID
ID cluster sumber AnalyticDB for MySQL V3.0.
Database Account
Akun database cluster sumber AnalyticDB for MySQL V3.0. Untuk informasi lebih lanjut tentang izin yang diperlukan untuk akun database, lihat bagian "Izin yang diperlukan untuk akun database" dari topik ini.
Database Password
Kata sandi yang digunakan untuk mengakses instance database.
Destination Database
Select Existing Connection
Jika Anda menggunakan instance database yang terdaftar dengan DTS, pilih instance dari daftar drop-down. DTS secara otomatis mengisi parameter-parameter database berikut untuk instance tersebut. Untuk informasi lebih lanjut, lihat Kelola koneksi database.
CatatanDi Konsol DMS, Anda dapat memilih instance database dari daftar drop-down Select a DMS database instance.
Jika Anda gagal mendaftarkan instance dengan DTS, atau Anda tidak perlu menggunakan instance yang terdaftar dengan DTS, Anda harus mengonfigurasi informasi database berikut.
Database Type
Pilih AnalyticDB for MySQL 3.0.
Access Method
Metode akses database tujuan. Pilih Alibaba Cloud Instance.
Instance Region
Wilayah tempat cluster tujuan AnalyticDB for MySQL V3.0 berada.
Instance ID
ID cluster tujuan AnalyticDB for MySQL V3.0.
Database Account
Akun database cluster tujuan AnalyticDB for MySQL V3.0. Untuk informasi lebih lanjut tentang izin yang diperlukan untuk akun database, lihat bagian "Izin yang diperlukan untuk akun database" dari topik ini.
Database Password
Kata sandi yang digunakan untuk mengakses instance database.
Di bagian bawah halaman, klik Test Connectivity and Proceed.
CatatanPastikan blok CIDR server DTS dapat ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan untuk mengizinkan akses dari server DTS. Untuk informasi lebih lanjut, lihat Tambahkan Blok CIDR Server DTS.
Konfigurasikan objek-objek yang akan dimigrasikan.
Di halaman Configure Objects, konfigurasikan objek-objek yang ingin Anda migrasikan.
Parameter
Deskripsi
Migration Types
Untuk hanya melakukan migrasi data penuh, pilih Schema Migration dan Full Data Migration.
Untuk memastikan kontinuitas layanan selama migrasi data, pilih Schema Migration, Full Data Migration, dan Incremental Data Migration.
CatatanJika Anda tidak memilih Schema Migration, pastikan database dan tabel dibuat di database tujuan untuk menerima data dan fitur pemetaan nama objek diaktifkan di Selected Objects.
Jika Anda tidak memilih Incremental Data Migration, kami sarankan Anda tidak menulis data ke database sumber selama migrasi data. Ini memastikan konsistensi data antara database sumber dan tujuan.
DDL and DML Operations to Be Synchronized
Jika Anda memilih Incremental Data Migration untuk parameter Migration Types, Anda juga dapat memilih operasi DDL dan DML yang akan dimigrasikan pada tingkat instance.
CatatanUntuk memigrasikan operasi DDL dan DML spesifik tabel selama migrasi data inkremental, klik kanan tabel di bagian Selected Objects. Di kotak dialog yang muncul, pilih operasi yang ingin Anda migrasikan.
Merge Tables
Jika Anda tidak memilih Incremental Data Migration untuk parameter Migration Types, Anda dapat menentukan apakah akan menggabungkan tabel.
Yes: Jika Anda memilih nilai ini, DTS menambahkan kolom
__dts_data_sourceke setiap tabel untuk mencatat sumber data. Untuk informasi lebih lanjut, lihat Aktifkan Fitur Penggabungan Multi-Tabel.No: Ini adalah nilai default.
CatatanJika Anda mengatur parameter ini ke Ya, semua tabel sumber terpilih dalam tugas digabungkan menjadi satu tabel tujuan. Jika Anda tidak perlu menggabungkan tabel sumber tertentu, Anda dapat membuat tugas migrasi data terpisah untuk tabel-tabel tersebut.
PeringatanKami sarankan Anda tidak melakukan operasi DDL untuk mengubah skema database atau tabel sumber. Jika tidak, ketidaksesuaian data mungkin terjadi atau tugas migrasi data mungkin gagal.
Processing Mode of Conflicting Tables
Precheck and Report Errors: memeriksa apakah database tujuan berisi tabel yang menggunakan nama yang sama dengan tabel di database sumber. Jika database sumber dan tujuan tidak berisi tabel dengan nama tabel identik, pracheck dilewati. Jika tidak, kesalahan dikembalikan selama pracheck dan tugas migrasi data tidak dapat dimulai.
CatatanJika database sumber dan tujuan berisi tabel dengan nama identik dan tabel di database tujuan tidak dapat dihapus atau diubah namanya, Anda dapat menggunakan fitur pemetaan nama objek untuk mengubah nama tabel yang dimigrasikan ke database tujuan. Untuk informasi lebih lanjut, lihat Peta Nama Objek.
Ignore Errors and Proceed: melewati pracheck untuk nama tabel identik di database sumber dan tujuan.
PeringatanJika Anda memilih Ignore Errors and Proceed, ketidaksesuaian data mungkin terjadi dan bisnis Anda mungkin terpapar risiko potensial berikut:
Jika database sumber dan tujuan memiliki skema yang sama, dan catatan data memiliki primary key yang sama dengan catatan data yang ada di database tujuan, skenario berikut mungkin terjadi:
Selama migrasi data penuh, DTS tidak memigrasikan catatan data ke database tujuan. Catatan data yang ada di database tujuan dipertahankan.
Selama migrasi data inkremental, DTS memigrasikan catatan data ke database tujuan. Catatan data yang ada di database tujuan ditimpa.
Jika database sumber dan tujuan memiliki skema yang berbeda, hanya kolom tertentu yang dimigrasikan atau tugas migrasi data gagal. Lanjutkan dengan hati-hati.
Source Objects
Pilih satu atau beberapa objek dari bagian Source Objects. Klik ikon
untuk menambahkan objek ke bagian Selected Objects.PentingJika Anda memilih Incremental Data Migration untuk parameter Migration Types, Anda hanya dapat memilih satu tabel saja.
Jika Anda tidak memilih Incremental Data Migration untuk parameter Migration Types, objek yang akan dimigrasikan dapat berupa database, tabel, dan kolom.
Jika Anda memilih database sebagai objek migrasi, DTS akan memigrasikan data berdasarkan aturan default berikut:
Jika tabel yang akan dimigrasikan di database sumber memiliki primary key, baik primary key satu kolom maupun primary key komposit, kolom primary key tersebut ditetapkan sebagai kunci distribusi.
Jika tabel yang akan dimigrasikan di database sumber tidak memiliki primary key, kolom primary key auto-increment akan secara otomatis dihasilkan di tabel tujuan. Hal ini dapat menyebabkan ketidaksesuaian data antara database sumber dan tujuan.
Selected Objects
Untuk menentukan nama objek yang akan dimigrasikan di instance tujuan atau menentukan objek untuk menerima data di instance tujuan, klik kanan objek di bagian Selected Objects. Untuk informasi lebih lanjut, lihat Peta Nama Objek.
Untuk menghapus satu atau beberapa objek yang dipilih untuk migrasi, klik objek di bagian Selected Objects dan kemudian klik ikon
untuk memindahkan objek ke bagian Source Objects.
CatatanJika Anda menggunakan fitur pemetaan nama objek untuk mengubah nama objek, objek lain yang bergantung pada objek tersebut mungkin gagal dimigrasikan.
Untuk menentukan kondisi WHERE untuk memfilter data, klik kanan tabel di bagian Selected Objects. Di kotak dialog yang muncul, tentukan kondisi. Untuk informasi lebih lanjut, lihat Tentukan Kondisi Filter.
Untuk memilih operasi SQL untuk migrasi inkremental, klik kanan objek di bagian Selected Objects. Di kotak dialog yang muncul, pilih operasi SQL yang ingin Anda migrasikan.
Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.
Parameter
Deskripsi
Dedicated Cluster for Task Scheduling
Secara default, DTS menjadwalkan tugas migrasi data ke klaster bersama jika Anda tidak menentukan klaster khusus. Jika Anda ingin meningkatkan stabilitas tugas migrasi data, beli klaster khusus. Untuk informasi lebih lanjut, lihat Apa Itu Klaster Khusus DTS.
Retry Time for Failed Connections
Rentang waktu ulang untuk koneksi gagal. Jika database sumber atau tujuan gagal terhubung setelah tugas migrasi data dimulai, DTS segera mencoba kembali koneksi dalam rentang waktu ulang. Nilai valid: 10 hingga 1.440. Unit: menit. Nilai default: 720. Kami sarankan Anda mengatur parameter ini ke nilai lebih besar dari 30. Jika DTS terhubung kembali ke database sumber dan tujuan dalam rentang waktu ulang yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal.
CatatanJika Anda menentukan rentang waktu ulang yang berbeda untuk beberapa tugas migrasi data yang berbagi database sumber atau tujuan yang sama, nilai yang ditentukan terakhir yang berlaku.
Ketika DTS mencoba kembali koneksi, Anda dikenai biaya untuk instance DTS. Kami sarankan Anda menentukan rentang waktu ulang berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepaskan instance DTS sesegera mungkin setelah database sumber dan instance tujuan dilepaskan.
Retry Time for Other Issues
Rentang waktu ulang untuk masalah lainnya. Misalnya, jika operasi DDL atau DML gagal dilakukan setelah tugas migrasi data dimulai, DTS segera mencoba kembali operasi dalam rentang waktu ulang. Nilai valid: 1 hingga 1440. Unit: menit. Nilai default: 10. Kami sarankan Anda mengatur parameter ini ke nilai lebih besar dari 10. Jika operasi gagal berhasil dilakukan dalam rentang waktu ulang yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal.
PentingNilai parameter Retry Time for Other Issues harus lebih kecil dari nilai parameter Retry Time for Failed Connections.
Enable Throttling for Full Data Migration
Menentukan apakah akan mengaktifkan pembatasan untuk migrasi data penuh. Selama migrasi data penuh, DTS menggunakan sumber daya baca dan tulis dari database sumber dan tujuan. Ini dapat meningkatkan beban server database. Anda dapat mengaktifkan pembatasan untuk migrasi data penuh berdasarkan kebutuhan bisnis Anda. Untuk mengonfigurasi pembatasan, Anda harus mengonfigurasi parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s). Ini mengurangi beban server database tujuan.
CatatanAnda hanya dapat mengonfigurasi parameter ini jika Anda memilih Full Data Migration untuk parameter Migration Types.
Enable Throttling for Incremental Data Migration
Menentukan apakah akan mengaktifkan pembatasan untuk migrasi data inkremental. Untuk mengonfigurasi pembatasan, Anda harus mengonfigurasi parameter RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s). Ini mengurangi beban server database tujuan.
CatatanAnda hanya dapat mengonfigurasi parameter ini jika Anda memilih Incremental Data Migration untuk parameter Migration Types.
Environment Tag
Tag lingkungan yang digunakan untuk mengidentifikasi instance migrasi data. Anda dapat memilih tag lingkungan berdasarkan kebutuhan bisnis Anda. Dalam contoh ini, Anda tidak perlu mengonfigurasi parameter ini.
Configure ETL
Menentukan apakah akan mengaktifkan fitur extract, transform, dan load (ETL). Untuk informasi lebih lanjut, lihat Apa Itu ETL? Nilai valid:
Yes: mengonfigurasi fitur ETL. Anda dapat memasukkan pernyataan pemrosesan data di editor kode. Untuk informasi lebih lanjut, lihat Konfigurasikan ETL dalam Tugas Migrasi Data atau Sinkronisasi Data.
No: tidak mengonfigurasi fitur ETL.
Monitoring and Alerting
Menentukan apakah akan mengonfigurasi peringatan untuk tugas migrasi data. Jika tugas gagal atau latensi migrasi melebihi ambang batas yang ditentukan, kontak peringatan menerima notifikasi. Nilai valid:
No: tidak mengonfigurasi peringatan.
Yes: mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan pengaturan notifikasi peringatan. Untuk informasi lebih lanjut, lihat bagian Konfigurasikan Pemantauan dan Peringatan Saat Membuat Tugas DTS dari topik Konfigurasikan Pemantauan dan Peringatan.
Klik Next Step: Data Verification untuk mengonfigurasi tugas verifikasi data.
Untuk informasi lebih lanjut tentang cara menggunakan fitur verifikasi data, lihat Konfigurasikan Tugas Verifikasi Data.
Opsional. Setelah Anda menyelesaikan konfigurasi sebelumnya, klik Next: Configure Database and Table Fields dan konfigurasikan parameter Type, Primary Key Column, Distribution Key, dan kunci partisi seperti Partition Key, Partitioning Rules, dan Partition Lifecycle untuk tabel-tabel yang sesuai di database tujuan.
CatatanLangkah ini tersedia hanya jika Anda memilih Schema Migration untuk parameter Migration Types saat Anda mengonfigurasi objek-objek yang akan dimigrasikan. Anda dapat mengatur parameter Definition Status ke All dan memodifikasi bidang-bidang tersebut.
Di bidang Primary Key Column, Anda dapat menentukan beberapa kolom untuk membentuk primary key komposit. Dalam hal ini, Anda harus menentukan satu atau beberapa kolom primary key sebagai Distribution Key dan Partition Key. Untuk informasi lebih lanjut, lihat CREATE TABLE.
Simpan pengaturan tugas dan jalankan pracheck.
Untuk melihat parameter yang harus ditentukan saat Anda memanggil operasi API terkait untuk mengonfigurasi tugas DTS, gerakkan pointer ke atas Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.
Jika Anda tidak perlu melihat atau telah melihat parameter-parameter tersebut, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
CatatanSebelum Anda dapat memulai tugas migrasi data, DTS melakukan pracheck. Anda hanya dapat memulai tugas migrasi data setelah tugas tersebut lolos pracheck.
Jika tugas gagal lolos pracheck, klik View Details di samping setiap item yang gagal. Setelah Anda menganalisis penyebab berdasarkan hasil pemeriksaan, atasi masalah tersebut. Kemudian, jalankan pracheck lagi.
Jika peringatan dipicu untuk suatu item selama pracheck:
Jika item peringatan tidak dapat diabaikan, klik View Details di samping item yang gagal dan atasi masalah tersebut. Kemudian, jalankan pracheck lagi.
Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog Lihat Detail, klik Ignore. Di pesan yang muncul, klik OK. Kemudian, klik Precheck Again untuk menjalankan pracheck lagi. Jika Anda mengabaikan item peringatan, ketidaksesuaian data mungkin terjadi, dan bisnis Anda mungkin terpapar risiko potensial.
Beli instance.
Tunggu hingga Success Rate menjadi 100%. Kemudian, klik Next: Purchase Instance.
Di halaman Purchase Instance, konfigurasikan parameter Kelas Instance untuk instance migrasi data. Tabel berikut menjelaskan parameter-parameter tersebut.
Bagian
Parameter
Deskripsi
New Instance Class
Resource Group
Grup sumber daya tempat instance migrasi data berada. Nilai default: default resource group. Untuk informasi lebih lanjut, lihat Apa itu Resource Management?
Instance Class
DTS menyediakan kelas instance yang bervariasi dalam kecepatan migrasi. Anda dapat memilih kelas instance berdasarkan skenario bisnis Anda. Untuk informasi lebih lanjut, lihat Kelas instance instance migrasi data.
Baca dan setujui Data Transmission Service (Pay-as-you-go) Service Terms dengan memilih kotak centang.
Klik Buy and Start. Di pesan yang muncul, klik OK.
Anda dapat melihat kemajuan tugas di halaman Data Migration.
CatatanJika tugas migrasi data tidak dapat digunakan untuk memigrasikan data inkremental, tugas tersebut secara otomatis berhenti. Completed ditampilkan di bagian Status .
Jika tugas migrasi data dapat digunakan untuk memigrasikan data inkremental, tugas tersebut tidak berhenti secara otomatis. Tugas migrasi data inkremental tidak pernah berhenti atau selesai. Running ditampilkan di bagian Status.