Gabungkan migrasi data penuh dan inkremental untuk memindahkan data dari set replika MongoDB yang dikelola sendiri ke ApsaraDB for MongoDB tanpa downtime.
Anda juga dapat menggunakan alat MongoDB untuk migrasi database yang dikelola sendiri ke instans set replika. Migrasi dan sinkronisasi data mencakup skenario tambahan.
Prasyarat
Versi MongoDB sumber dan tujuan harus kompatibel. Periksa Ikhtisar solusi migrasi.
Instans ApsaraDB for MongoDB tujuan harus memiliki kapasitas penyimpanan minimal 10% lebih besar daripada database sumber.
Catatan penggunaan
Migrasi data penuh mengonsumsi sumber daya di sumber dan tujuan, sehingga meningkatkan beban server dan berpotensi menyebabkan gangguan layanan. Lakukan migrasi pada jam sepi jika database Anda menangani lalu lintas tinggi atau berjalan di perangkat keras terbatas.
Saat DTS melakukan migrasi data penuh, layanan ini akan mengonsumsi sumber daya dari database sumber dan tujuan, yang dapat menyebabkan beban server database meningkat. Jika beban kerja database berat atau spesifikasi server rendah, tekanan database dapat meningkat dan layanan database dapat menjadi tidak tersedia. Evaluasi dampaknya secara cermat sebelum migrasi, dan lakukan migrasi data di luar jam sibuk.
Saat DTS melakukan migrasi data penuh, sumber daya database sumber dan tujuan akan digunakan, yang dapat meningkatkan beban server database. Jika beban kerja database tinggi atau spesifikasi server rendah, tekanan pada database dapat meningkat hingga menyebabkan layanan database menjadi tidak tersedia. Evaluasi dampaknya secara cermat sebelum migrasi, dan lakukan migrasi data pada jam sepi.
Periksa Versi dan mesin penyimpanan untuk konfigurasi MongoDB yang didukung. Verifikasi kompatibilitas sebelum melakukan migrasi lintas versi atau lintas mesin penyimpanan.
Database admin dan local tidak dapat digunakan sebagai database sumber atau tujuan.
tidak dapat digunakan sebagai database sumber atau tujuan.
DTS menulis data ke tujuan secara konkuren, yang dapat menyebabkan penggunaan penyimpanan di tujuan 5%–10% lebih besar daripada sumber.
Pastikan tidak ada dokumen di tujuan yang memiliki primary key (
_idsecara default) yang sama dengan dokumen di sumber. Primary key duplikat dapat menyebabkan data ditimpa. Hapus duplikat di tujuan sebelum migrasi jika hal tersebut tidak memengaruhi bisnis Anda. Jika tujuan memiliki primary key yang sama dengan sumber, hapus data terkait di tujuan (hapus dokumen dengan _id yang sama seperti sumber) tanpa memengaruhi bisnis Anda.
Penagihan
Jenis migrasi | Biaya konfigurasi tautan | Biaya traffic Internet |
Migrasi data penuh | Gratis. | Dikenakan hanya saat data dimigrasikan keluar dari Alibaba Cloud melalui Internet. Untuk informasi selengkapnya, lihat Ikhtisar penagihan. |
Migrasi data inkremental | Dikenakan biaya. Untuk informasi selengkapnya, lihat Ikhtisar penagihan. |
Jenis migrasi
Migrasi data penuh: Memindahkan semua data yang ada dari objek yang dipilih di database MongoDB sumber ke database MongoDB tujuan.
CatatanIni mencakup database, koleksi, dan indeks.
"note_wtw_n1y_f19">
Mendukung migrasi database, koleksi, dan indeks.
Migrasi data inkremental: Setelah migrasi data penuh selesai, DTS menyinkronkan perubahan data dari database MongoDB sumber ke tujuan.
CatatanMenyinkronkan operasi
CREATEdanDELETEuntuk database, koleksi, dan Indeks.Menyinkronkan operasi
INSERT,UPDATE, danDELETEuntuk dokumen.
Izin untuk database, koleksi, dan indeks mencakup operasi pada database, koleksi, dan indeks tersebut.
Menyinkronkan operasi
INSERT,UPDATE, danDELETEpada dokumen.
Izin akun database
Sumber data migrasi | Migrasi data penuh | Migrasi data inkremental |
Database MongoDB yang dikelola sendiri | Izin baca pada database yang akan dimigrasikan | Izin baca pada database yang akan dimigrasikan, database admin, dan database local |
Database ApsaraDB for MongoDB | Izin readWrite pada database tujuan | Izin readWrite pada database tujuan |
Untuk membuat akun dan memberikan izin:
ApsaraDB for MongoDB: Kelola pengguna database MongoDB di DMS
Database MongoDB yang dikelola sendiri:
db.createUser()(dokumentasi resmi MongoDB)
Konfigurasi dan jalankan tugas migrasi
Langkah 1: Buka halaman Migrasi Data
Melalui konsol DTS:
Login ke konsol DTS.
Di panel navigasi kiri, klik Data Migration.
Di pojok kiri atas, pilih wilayah tempat instans migrasi berada.
Melalui konsol DMS:
Langkah aktual dapat berbeda tergantung mode dan tata letak konsol DMS. Lihat Mode sederhana dan Sesuaikan tata letak dan gaya konsol DMS.
Login ke konsol DMS.
Di bilah navigasi atas, arahkan kursor ke Data + AI > DTS (DTS) > Data Migration.
Dari daftar drop-down di sebelah kanan Data Migration Tasks, pilih wilayah tempat instans migrasi berada.
Langkah 2: Buat tugas dan konfigurasi database sumber dan tujuan
Klik Create Task.
Konfigurasi database sumber dan tujuan menggunakan parameter pada tabel berikut.
Setelah mengonfigurasi database sumber dan tujuan, tinjau Limits yang ditampilkan di bagian atas halaman. Melewatkan langkah ini dapat menyebabkan tugas gagal atau menghasilkan ketidakkonsistenan data.
Parameter database sumber
Parameter | Deskripsi |
Task Name | Nama tugas. DTS menghasilkan nama secara otomatis. Tentukan nama deskriptif agar mudah mengidentifikasi tugas. Nama tugas tidak perlu unik. |
Select Existing Connection | Jika database sumber telah terdaftar di DTS, pilih dari daftar drop-down. DTS akan mengisi parameter lainnya secara otomatis. Jika tidak, konfigurasi parameter di bawah secara manual. |
Database Type | Pilih MongoDB. |
Access Method | Pilih jenis koneksi berdasarkan lokasi database sumber. Topik ini menggunakan Public IP Address sebagai contoh. Jika Anda memilih jenis koneksi berbeda, lengkapi persiapan yang diperlukan. |
Instance Region | Pilih wilayah tempat database sumber berada. Jika wilayah tidak tercantum, pilih wilayah terdekat secara geografis. |
Architecture | Pilih Replica Set. |
Migration Method | Pilih metode untuk migrasi data inkremental: Oplog (direkomendasikan) atau ChangeStream. Oplog tersedia jika fitur oplog diaktifkan di sumber. ChangeStream tersedia jika change streams diaktifkan. Jika sumber adalah kluster Amazon DocumentDB yang tidak elastis, Anda harus memilih ChangeStream dan atur parameter Architecture ke Sharded Cluster. Jika Anda memilih Sharded Cluster untuk parameter Architecture, Anda tidak perlu mengonfigurasi parameter Shard account dan Shard password. |
Endpoint Type | Pilih Standalone atau Multi-node. Tersedia saat Access Method adalah Express Connect, VPN Gateway, atau Smart Access Gateway, Public IP Address, atau Cloud Enterprise Network (CEN). |
Domain Name or IP | Nama domain atau alamat IP database sumber. Tersedia saat Endpoint Type adalah Standalone. |
Port Number | Port layanan database sumber. Tersedia saat Endpoint Type adalah Standalone. |
Endpoint | Titik akhir database sumber dalam format |
Authentication Database | Database tempat akun sumber berada. Default: |
Database Account | Akun yang digunakan untuk menghubungkan ke database sumber. Untuk izin yang diperlukan, lihat Izin yang diperlukan. Jika Access Method adalah Self-managed Database on ECS atau Database Gateway, masukkan akun node shard. |
Database Password | Password untuk akun database. |
Encryption | Metode enkripsi koneksi: Non-encrypted, SSL-encrypted, atau Mongo Atlas SSL. Opsi yang tersedia bergantung pada Access Method dan Architecture. SSL-encrypted tidak tersedia saat Architecture adalah Sharded Cluster dan Migration Method adalah Oplog. Jika Architecture adalah Replica Set, Access Method bukan Alibaba Cloud Instance, dan Encryption adalah SSL-encrypted, unggah sertifikat CA untuk memverifikasi koneksi. |
Parameter database tujuan
Parameter | Deskripsi |
Select Existing Connection | Jika instans tujuan telah terdaftar di DTS, pilih dari daftar drop-down. Jika tidak, konfigurasi parameter di bawah secara manual. |
Database Type | Pilih MongoDB. |
Access Method | Pilih Alibaba Cloud Instance. |
Instance Region | Pilih wilayah tempat instans ApsaraDB for MongoDB tujuan berada. |
Replicate Data Across Alibaba Cloud Accounts | Pilih No untuk menggunakan instans di akun saat ini. |
Architecture | Pilih arsitektur instans tujuan. |
Instance ID | Pilih ID instans tujuan. |
Authentication Database | Database tempat akun tujuan berada. Default: |
Database Name | Nama database di instans tujuan tempat objek yang dimigrasikan akan disimpan. |
Database Account | Akun yang digunakan untuk menghubungkan ke instans tujuan. Untuk izin yang diperlukan, lihat Izin yang diperlukan. |
Database Password | Password untuk akun database. |
Encryption | Metode enkripsi koneksi. SSL-encrypted tidak tersedia saat tujuan menggunakan arsitektur sharded cluster. |
Langkah 3: Uji konektivitas
Klik Test Connectivity and Proceed, lalu klik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.
Pastikan blok CIDR server DTS telah ditambahkan ke daftar putih database sumber dan tujuan. Lihat Tambahkan alamat IP server DTS ke daftar putih.
Langkah 4: Konfigurasi objek migrasi
Di halaman Configure Objects, konfigurasi objek migrasi menggunakan parameter berikut.
Parameter | Deskripsi |
Migration Types | Pilih jenis migrasi: Schema Migration, Full Data Migration, dan opsional Incremental Data Migration. Untuk migrasi tanpa downtime, pilih ketiganya. Jika Anda melewatkan Schema Migration, buat database dan koleksi target di tujuan sebelum memulai. Jika Anda melewatkan Incremental Data Migration, jangan menulis ke sumber selama migrasi. |
Processing Mode of Conflicting Tables | Precheck and Report Errors: gagal dalam pemeriksaan awal jika tujuan berisi koleksi dengan nama yang sama seperti sumber. Gunakan pemetaan nama objek untuk mengganti nama koleksi yang dimigrasikan jika koleksi yang ada tidak dapat dihapus. Ignore Errors and Proceed: lewati pemeriksaan awal. DTS tidak memigrasikan catatan dengan primary key yang sama seperti catatan tujuan yang ada. Konsistensi data tidak dijamin. |
Capitalization of object names in destination instance | Kebijakan kapitalisasi untuk nama database dan koleksi di tujuan. Default: DTS default policy. Lihat Kebijakan kapitalisasi untuk nama objek di database tujuan. |
Source Objects | Pilih database atau koleksi yang akan dimigrasikan. Klik ikon |
Selected Objects | Klik kanan objek untuk mengganti namanya di tujuan (pemetaan nama objek), atur mode migrasi inkremental, atau tentukan kondisi WHERE untuk penyaringan data migrasi penuh. Untuk menghapus objek, klik objek tersebut lalu klik ikon |
untuk menambahkannya ke Selected Objects.
.Langkah 5: Konfigurasi pengaturan lanjutan
Klik Next: Advanced Settings dan konfigurasi parameter berikut.
Parameter | Deskripsi |
Dedicated Cluster for Task Scheduling | Secara default, DTS menjadwalkan tugas di kluster bersama. Beli kluster khusus untuk resource terisolasi. Lihat Apa itu kluster khusus DTS? |
Retry Time for Failed Connections | Durasi percobaan ulang untuk kegagalan koneksi. Nilai valid: 10–1.440 menit. Default: 720 menit. Atur minimal 30 menit. Jika tugas berbeda berbagi database sumber atau tujuan yang sama, nilai yang diatur terakhir akan berlaku. |
Retry Time for Other Issues | Durasi percobaan ulang untuk kegagalan operasi DDL atau DML. Nilai valid: 1–1.440 menit. Default: 10 menit. Atur minimal 10 menit. Nilai ini harus kurang dari Retry Time for Failed Connections. |
Enable Throttling for Full Data Migration | Batasi beban baca/tulis di sumber dan tujuan selama migrasi penuh. Konfigurasi QPS ke database sumber, RPS Migrasi Data Penuh, dan kecepatan migrasi data. Tersedia hanya saat Full Data Migration dipilih. |
Only one data type for primary key `_id` in a table of the data to be synchronized | Yes: DTS hanya memigrasikan satu tipe data |
Enable Throttling for Incremental Data Migration | Batasi beban selama migrasi inkremental. Konfigurasi RPS Migrasi Data Inkremental dan kecepatan migrasi data. Tersedia hanya saat Incremental Data Migration dipilih. |
Environment Tag | Tag opsional untuk mengidentifikasi instans. |
Configure ETL | Aktifkan fitur ekstrak, transformasi, dan muat (ETL) untuk mentransformasi data selama migrasi. Lihat Konfigurasi ETL dalam tugas migrasi data atau sinkronisasi data. |
Monitoring and Alerting | Konfigurasi peringatan untuk kegagalan tugas atau latensi migrasi tinggi. Jika diaktifkan, atur ambang batas peringatan dan kontak notifikasi. Lihat Konfigurasi pemantauan dan peringatan. |
Langkah 6: Konfigurasi verifikasi data (opsional)
Klik Next Data Verification untuk menyiapkan tugas verifikasi data. Untuk informasi selengkapnya, lihat Mengonfigurasi tugas verifikasi data.
Langkah 7: Jalankan pemeriksaan awal
Klik Next: Save Task Settings and Precheck.
Untuk melihat pratinjau parameter API untuk konfigurasi tugas ini, arahkan kursor ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.
DTS menjalankan pemeriksaan awal sebelum memulai migrasi. Tugas hanya dimulai setelah lulus pemeriksaan awal.
Jika item pemeriksaan gagal, klik View Details, selesaikan masalahnya, lalu klik Precheck Again.
Jika peringatan dipicu untuk item pemeriksaan yang dapat diabaikan, klik Confirm Alert Details > Ignore > OK > Precheck Again. Mengabaikan peringatan dapat menyebabkan ketidakkonsistenan data.
Langkah 8: Beli dan mulai instans
Tunggu hingga Success Rate mencapai 100%, lalu klik Next: Purchase Instance.
Di halaman Purchase Instance, konfigurasi parameter berikut.
Parameter | Deskripsi |
Resource Group | Kelompok sumber daya untuk instans migrasi. Default: kelompok sumber daya default. Lihat Apa itu manajemen sumber daya? |
Instance Class | Kelas instans menentukan kecepatan migrasi. Pilih berdasarkan volume data dan kebutuhan waktu Anda. Lihat Kelas instans untuk instans migrasi data. |
Baca dan centang kotak untuk menyetujui Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start, lalu klik OK di kotak dialog konfirmasi.