Migrasi set replika MongoDB yang dikelola sendiri dengan DTS - ApsaraDB for MongoDB

Gunakan Data Transmission Service (DTS) untuk memigrasikan set replika MongoDB yang dikelola sendiri ke ApsaraDB for MongoDB. DTS mendukung migrasi data penuh dan migrasi data inkremental, sehingga memungkinkan Anda memindahkan database ke cloud tanpa mengganggu layanan.

Sebagai alternatif, Anda dapat menggunakan tool MongoDB untuk memigrasikan database yang dikelola sendiri ke instans set replika. Untuk solusi lainnya, lihat Migrasi dan sinkronisasi data.

Prasyarat

Database MongoDB yang dikelola sendiri sebagai sumber dan instans ApsaraDB for MongoDB tujuan harus menggunakan versi yang didukung. Untuk daftar versi yang didukung, lihat ikhtisar solusi migrasi.
Instans ApsaraDB for MongoDB tujuan harus memiliki ruang penyimpanan minimal 10% lebih besar daripada database MongoDB yang dikelola sendiri sebagai sumber.

Catatan

Database config adalah database sistem internal. Jangan memigrasikannya kecuali Anda memiliki kebutuhan khusus.
Selama migrasi data penuh, DTS mengonsumsi sumber daya pada database sumber dan tujuan, sehingga meningkatkan beban pada server database. Jika database Anda sedang dalam beban berat atau memiliki spesifikasi rendah, migrasi dapat menyebabkan tekanan tambahan atau bahkan gangguan layanan. Evaluasi dampak potensial dan lakukan migrasi selama jam sepi.
Untuk informasi tentang versi dan mesin penyimpanan yang didukung untuk instans MongoDB, lihat Versi dan mesin penyimpanan. Jika Anda memigrasikan data antar versi atau mesin penyimpanan yang berbeda, pastikan kompatibilitasnya sebelum memulai.
Database admin dan local tidak dapat digunakan sebagai database sumber atau tujuan.
DTS menulis data secara konkuren. Akibatnya, database tujuan mungkin menggunakan ruang penyimpanan 5% hingga 10% lebih banyak daripada database sumber.
Pastikan tidak ada dokumen di database tujuan yang memiliki primary key yang sama (field _id secara default) dengan dokumen di database sumber. Jika tidak, akan terjadi kehilangan data. Jika terdapat dokumen dengan primary key duplikat, hapus dari database tujuan sebelum migrasi, asalkan tidak memengaruhi layanan Anda.

Penagihan

Jenis migrasi	Biaya konfigurasi tautan	Biaya transfer data
Migrasi data penuh	Gratis.	Anda dikenai biaya transfer data saat memigrasikan data keluar dari Alibaba Cloud melalui jaringan publik. Untuk detailnya, lihat Ikhtisar penagihan.
Migrasi data inkremental	Dikenai biaya. Untuk detailnya, lihat Ikhtisar penagihan.

Jenis migrasi

Migrasi data penuh: Memigrasikan semua data historis dari database MongoDB sumber ke database MongoDB tujuan.
Catatan
Mendukung migrasi database, koleksi, dan indeks.
Migrasi data inkremental: Selain migrasi data penuh, mereplikasi pembaruan inkremental dari database MongoDB sumber ke database MongoDB tujuan.
Catatan
- Mendukung replikasi pembuatan dan penghapusan database, koleksi, dan indeks.
- Mendukung replikasi penyisipan, penghapusan, dan pembaruan dokumen.

Persyaratan izin akun database

Sumber data	Migrasi data penuh	Migrasi data inkremental
Database MongoDB yang dikelola sendiri	Izin `read` pada database yang akan dimigrasikan	Izin `read` pada database yang akan dimigrasikan, database `admin`, dan database `local`
ApsaraDB for MongoDB	Izin `readWrite` pada database tujuan	Izin `readWrite` pada database tujuan

Untuk membuat akun database dan memberikan izin:

Untuk instans ApsaraDB for MongoDB, lihat Kelola pengguna database MongoDB di Data Management Service (DMS).
Untuk database MongoDB yang dikelola sendiri, lihat Create User in MongoDB.

Konfigurasi dan jalankan tugas migrasi

Langkah 1: Buka halaman Migrasi Data

Melalui konsol DTS:

Login ke konsol DTS.
Di panel navigasi kiri, klik Data Migration.
Di pojok kiri atas, pilih wilayah tempat instans migrasi berada.

Melalui konsol DMS:

Langkah aktual dapat berbeda tergantung pada mode dan tata letak konsol DMS. Lihat Mode sederhana dan Sesuaikan tata letak dan gaya konsol DMS.

Login ke konsol DMS.
Di bilah navigasi atas, arahkan pointer ke Data + AI > DTS (DTS) > Data Migration.
Dari daftar drop-down di sebelah kanan Data Migration Tasks, pilih wilayah tempat instans migrasi berada.

Langkah 2: Buat tugas dan konfigurasi database sumber dan tujuan

Klik Create Task.
Konfigurasikan database sumber dan tujuan menggunakan parameter pada tabel berikut.

Peringatan

Setelah mengonfigurasi database sumber dan tujuan, tinjau Limits yang ditampilkan di bagian atas halaman. Melewatkan langkah ini dapat menyebabkan tugas gagal atau menghasilkan ketidakkonsistenan data.

Parameter database sumber

Parameter	Deskripsi
Task Name	Nama tugas. DTS menghasilkan nama secara otomatis. Tentukan nama deskriptif agar mudah mengidentifikasi tugas. Nama tugas tidak perlu unik.
Select Existing Connection	Jika database sumber telah terdaftar di DTS, pilih dari daftar drop-down. DTS akan mengisi parameter lainnya secara otomatis. Jika tidak, konfigurasikan parameter di bawah ini secara manual.
Database Type	Pilih MongoDB.
Access Method	Pilih jenis koneksi berdasarkan lokasi database sumber. Topik ini menggunakan Public IP Address sebagai contoh. Jika Anda memilih jenis koneksi berbeda, lengkapi persiapan yang diperlukan.
Instance Region	Pilih wilayah tempat database sumber berada. Jika wilayah tidak tercantum, pilih wilayah terdekat secara geografis.
Architecture	Pilih Replica Set.
Migration Method	Pilih metode untuk memigrasikan data inkremental: Oplog (direkomendasikan) atau ChangeStream. Oplog tersedia jika fitur oplog diaktifkan pada sumber. ChangeStream tersedia jika change streams diaktifkan. Jika sumber adalah kluster Amazon DocumentDB yang tidak elastis, Anda harus memilih ChangeStream dan mengatur parameter Architecture ke Sharded Cluster. Jika Anda memilih Sharded Cluster untuk parameter Architecture, Anda tidak perlu mengonfigurasi parameter Shard account dan Shard password.
Endpoint Type	Pilih Standalone atau Multi-node. Tersedia saat Access Method adalah Express Connect, VPN Gateway, atau Smart Access Gateway, Public IP Address, atau Cloud Enterprise Network (CEN).
Domain Name or IP	Nama domain atau alamat IP database sumber. Tersedia saat Endpoint Type adalah Standalone.
Port Number	Port layanan database sumber. Tersedia saat Endpoint Type adalah Standalone.
Endpoint	Titik akhir database sumber dalam format `<IP>:<Port>`. Tekan Enter untuk menambahkan beberapa titik akhir. Tersedia saat Endpoint Type adalah Multi-node.
Authentication Database	Database tempat akun sumber berada. Default: `admin`.
Database Account	Akun yang digunakan untuk menghubungkan ke database sumber. Untuk izin yang diperlukan, lihat Permissions required. Jika Access Method adalah Self-managed Database on ECS atau Database Gateway, masukkan akun node shard.
Database Password	Password untuk akun database.
Encryption	Metode enkripsi koneksi: Non-encrypted, SSL-encrypted, atau Mongo Atlas SSL. Opsi yang tersedia bergantung pada Access Method dan Architecture. SSL-encrypted tidak tersedia saat Architecture adalah Sharded Cluster dan Migration Method adalah Oplog. Jika Architecture adalah Replica Set, Access Method bukan Alibaba Cloud Instance, dan Encryption adalah SSL-encrypted, unggah sertifikat CA untuk memverifikasi koneksi.

Parameter database tujuan

Parameter	Deskripsi
Select Existing Connection	Jika instans tujuan telah terdaftar di DTS, pilih dari daftar drop-down. Jika tidak, konfigurasikan parameter di bawah ini secara manual.
Database Type	Pilih MongoDB.
Access Method	Pilih Alibaba Cloud Instance.
Instance Region	Pilih wilayah tempat instans ApsaraDB for MongoDB tujuan berada.
Replicate Data Across Alibaba Cloud Accounts	Pilih No untuk menggunakan instans di akun saat ini.
Architecture	Pilih arsitektur instans tujuan.
Instance ID	Pilih ID instans tujuan.
Authentication Database	Database tempat akun tujuan berada. Default: `admin`.
Database Name	Nama database di instans tujuan tempat objek yang dimigrasikan akan disimpan.
Database Account	Akun yang digunakan untuk menghubungkan ke instans tujuan. Untuk izin yang diperlukan, lihat Permissions required.
Database Password	Password untuk akun database.
Encryption	Metode enkripsi koneksi. SSL-encrypted tidak tersedia saat tujuan menggunakan arsitektur sharded cluster.

Langkah 3: Uji konektivitas

Klik Test Connectivity and Proceed, lalu klik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.

Pastikan blok CIDR server DTS telah ditambahkan ke daftar putih database sumber dan tujuan. Lihat Tambahkan alamat IP server DTS ke daftar putih.

Langkah 4: Konfigurasi objek migrasi

Di halaman Configure Objects, konfigurasikan objek migrasi menggunakan parameter berikut.

Parameter	Deskripsi
Migration Types	Pilih jenis migrasi: Schema Migration, Full Data Migration, dan opsional Incremental Data Migration. Untuk migrasi tanpa downtime, pilih ketiganya. Jika Anda melewatkan Schema Migration, buat database dan koleksi target di tujuan sebelum memulai. Jika Anda melewatkan Incremental Data Migration, jangan menulis ke sumber selama migrasi.
Processing Mode of Conflicting Tables	Precheck and Report Errors: gagal dalam pemeriksaan awal jika tujuan berisi koleksi dengan nama yang sama seperti sumber. Gunakan pemetaan nama objek untuk mengganti nama koleksi yang dimigrasikan jika koleksi yang ada tidak dapat dihapus. Ignore Errors and Proceed: melewatkan pemeriksaan awal. DTS tidak memigrasikan catatan dengan primary key yang sama seperti catatan tujuan yang ada. Konsistensi data tidak dijamin.
Capitalization of object names in destination instance	Kebijakan kapitalisasi untuk nama database dan koleksi di tujuan. Default: DTS default policy. Lihat Tentukan kapitalisasi nama objek di instans tujuan.
Source Objects	Pilih database atau koleksi yang akan dimigrasikan. Klik ikon untuk menambahkannya ke Selected Objects.
Selected Objects	Klik kanan objek untuk mengganti namanya di tujuan (pemetaan nama objek), mengatur mode migrasi inkremental, atau menentukan kondisi WHERE untuk penyaringan data migrasi penuh. Untuk menghapus objek, klik objek tersebut lalu klik ikon .

Langkah 5: Konfigurasi pengaturan lanjutan

Klik Next: Advanced Settings dan konfigurasikan parameter berikut.

Parameter	Deskripsi
Dedicated Cluster for Task Scheduling	Secara default, DTS menjadwalkan tugas pada kluster bersama. Beli kluster khusus untuk resource terisolasi. Lihat Apa itu kluster khusus DTS?
Retry Time for Failed Connections	Durasi percobaan ulang untuk kegagalan koneksi. Nilai valid: 10–1.440 menit. Default: 720 menit. Atur minimal 30 menit. Jika tugas berbeda berbagi database sumber atau tujuan yang sama, nilai yang diatur terakhir yang berlaku.
Retry Time for Other Issues	Durasi percobaan ulang untuk kegagalan operasi DDL atau DML. Nilai valid: 1–1.440 menit. Default: 10 menit. Atur minimal 10 menit. Nilai ini harus lebih kecil dari Retry Time for Failed Connections.
Enable Throttling for Full Data Migration	Membatasi beban baca/tulis pada sumber dan tujuan selama migrasi penuh. Konfigurasikan QPS ke database sumber, RPS Migrasi Data Penuh, dan kecepatan migrasi data. Tersedia hanya saat Full Data Migration dipilih.
Only one data type for primary key `_id` in a table of the data to be synchronized	Yes: DTS hanya memigrasikan satu tipe data `_id` per koleksi tanpa memindai semua tipe. No: DTS memindai dan memigrasikan semua tipe data `_id`. Aktifkan ini sesuai data Anda. Konfigurasi salah dapat menyebabkan kehilangan data. Tersedia hanya saat Full Data Migration dipilih.
Enable Throttling for Incremental Data Migration	Membatasi beban selama migrasi inkremental. Konfigurasikan RPS Migrasi Data Inkremental dan kecepatan migrasi data. Tersedia hanya saat Incremental Data Migration dipilih.
Environment Tag	Tag opsional untuk mengidentifikasi instans.
Configure ETL	Aktifkan fitur ekstrak, transformasi, dan muat (ETL) untuk mentransformasi data selama migrasi. Lihat Konfigurasi ETL dalam tugas migrasi data atau sinkronisasi data.
Monitoring and Alerting	Konfigurasikan peringatan untuk kegagalan tugas atau latensi migrasi tinggi. Jika diaktifkan, atur ambang batas peringatan dan kontak notifikasi. Lihat Konfigurasi pemantauan dan peringatan.

Langkah 6: Konfigurasi verifikasi data (opsional)

Klik Next Data Verification untuk menyiapkan tugas verifikasi data. Untuk informasi selengkapnya, lihat Mengonfigurasi tugas verifikasi data.

Langkah 7: Jalankan pemeriksaan awal

Klik Next: Save Task Settings and Precheck.

Untuk melihat pratinjau parameter API untuk konfigurasi tugas ini, arahkan pointer ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.

DTS menjalankan pemeriksaan awal sebelum memulai migrasi. Tugas hanya dimulai setelah lulus pemeriksaan awal.

Jika item pemeriksaan gagal, klik View Details, selesaikan masalahnya, lalu klik Precheck Again.
Jika peringatan dipicu untuk item pemeriksaan yang dapat diabaikan, klik Confirm Alert Details > Ignore > OK > Precheck Again. Mengabaikan peringatan dapat menyebabkan ketidakkonsistenan data.

Langkah 8: Beli dan mulai instans

Tunggu hingga Success Rate mencapai 100%, lalu klik Next: Purchase Instance.
Di halaman Purchase Instance, konfigurasikan parameter berikut.

Parameter	Deskripsi
Resource Group	Kelompok sumber daya untuk instans migrasi. Default: kelompok sumber daya default. Lihat Apa itu Resource Management?
Instance Class	Kelas instans menentukan kecepatan migrasi. Pilih berdasarkan volume data dan kebutuhan waktu Anda. Lihat Kelas instans untuk instans migrasi data.

Baca dan centang kotak untuk menyetujui Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start, lalu klik OK di kotak dialog konfirmasi.

Informasi lebih lanjut

Cara menghubungkan ke instans set replika ApsaraDB for MongoDB