Topik ini menjelaskan cara menggunakan Data Transmission Service (DTS) untuk melakukan migrasi data penuh dari instans ApsaraDB for MongoDB mandiri ke instans ApsaraDB for MongoDB dengan arsitektur apa pun.
Database sumber dan tujuan yang didukung
Database sumber (arsitektur mandiri) | Database tujuan (semua arsitektur) |
ApsaraDB for MongoDB | ApsaraDB for MongoDB |
Database yang dikelola sendiri pada instance ECS | Database yang dikelola sendiri pada instance ECS |
Database yang dikelola sendiri yang terhubung melalui jalur sewa, Gateway VPN, atau Gerbang Akses Cerdas | Database yang dikelola sendiri yang terhubung melalui jalur sewa, Gateway VPN, atau Gerbang Akses Cerdas |
Database yang dikelola sendiri dengan alamat IP publik | Database yang dikelola sendiri dengan alamat IP publik |
Topik ini menggunakan contoh instans Cloud Database MongoDB Edition mandiri dan instans Cloud Database MongoDB Edition dengan arsitektur lainnya untuk menunjukkan proses konfigurasi. Proses untuk sumber data lainnya serupa.
Prasyarat
Instans sumber ApsaraDB for MongoDB mandiri dan instans tujuan ApsaraDB for MongoDB telah dibuat. Untuk informasi lebih lanjut tentang cara membuat instans tersebut, lihat Buat instans mandiri, Buat instans set replika, dan Buat instans kluster sharded.
CatatanUntuk daftar versi yang didukung, lihat gambaran umum solusi migrasi.
Ruang penyimpanan instans tujuan MongoDB harus setidaknya 10% lebih besar daripada ruang penyimpanan yang digunakan oleh instans sumber MongoDB.
Jika instans tujuan ApsaraDB for MongoDB adalah instans kluster sharded, Anda harus membuat database dan koleksi yang diperlukan untuk sharding di instans tujuan ApsaraDB for MongoDB, mengonfigurasi sharding data, mengaktifkan balancer, dan melakukan pre-sharding jika diperlukan. Untuk informasi lebih lanjut, lihat cara mengoptimalkan kinerja shard melalui sharding data dan cara mengelola distribusi data yang tidak merata dalam arsitektur kluster sharded MongoDB.
CatatanMengonfigurasi sharding data mencegah semua data dimigrasikan ke satu shard saja, sehingga memastikan kinerja kluster. Mengaktifkan balancer dan melakukan pre-sharding mencegah kesenjangan data.
Perhatian
Kategori | Deskripsi |
Batasan database sumber |
|
Batasan lainnya |
|
Kasus khusus | Jika database sumber adalah database MongoDB yang dikelola sendiri, failover primer/sekunder pada database sumber selama migrasi menyebabkan tugas migrasi gagal. |
Penagihan
Jenis migrasi | Biaya konfigurasi instans | Biaya lalu lintas internet |
Migrasi skema dan migrasi data penuh | Gratis. | Ketika parameter Access Method database tujuan diatur ke Public IP Address, Anda akan dikenakan biaya lalu lintas internet. Untuk informasi lebih lanjut, lihat Gambaran umum penagihan. |
Jenis migrasi
Jenis migrasi | Deskripsi |
Migrasi skema | Migrasikan struktur objek migrasi di Cloud Database MongoDB Edition sumber ke Cloud Database MongoDB Edition tujuan. Catatan Objek yang mendukung migrasi skema adalah DATABASE, KOLEKSI, dan INDEKS. |
Migrasi penuh | Migrasikan semua data historis objek migrasi di Cloud Database MongoDB Edition sumber ke Cloud Database MongoDB Edition tujuan. Catatan Migrasi penuh mendukung data dalam objek DATABASE dan KOLEKSI. |
Izin yang diperlukan untuk akun database
Database | Migrasi skema | Migrasi penuh |
Sumber Cloud Database MongoDB Edition | Izin baca pada database yang akan dimigrasikan dan database config. | |
Tujuan Cloud Database MongoDB Edisi | Izin dbAdminAnyDatabase, izin readWrite pada database tujuan, dan izin baca pada database local. | |
Untuk informasi lebih lanjut tentang cara membuat dan memberikan izin kepada akun database untuk Cloud Database MongoDB Edition sumber dan tujuan, lihat Mengelola Pengguna Database MongoDB dengan DMS.
Prosedur
Gunakan salah satu metode berikut untuk membuka halaman Migrasi Data dan pilih wilayah tempat instans migrasi data berada.
Konsol DTS
Masuk ke Konsol DTS.
Di panel navigasi sebelah kiri, klik Data Migration.
Di pojok kiri atas halaman, pilih wilayah tempat instans migrasi data berada.
Konsol DMS
CatatanOperasi aktual mungkin berbeda tergantung pada mode dan tata letak konsol DMS. Untuk informasi lebih lanjut, lihat Mode sederhana dan Menyesuaikan tata letak dan gaya konsol DMS.
Masuk ke Konsol DMS.
Di bilah navigasi atas, arahkan kursor ke .
Dari daftar drop-down di sebelah kanan Data Migration Tasks, pilih wilayah tempat instans sinkronisasi data berada.
Klik Create Task untuk membuka halaman konfigurasi tugas.
Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter-parameter tersebut.
PeringatanSetelah Anda mengonfigurasi database sumber dan tujuan, kami sarankan Anda membaca Limits yang ditampilkan di bagian atas halaman. Jika tidak, tugas mungkin gagal atau terjadi inkonsistensi data.
Kategori
Konfigurasi
Deskripsi
Tidak ada
Task Name
Nama tugas DTS. DTS secara otomatis menghasilkan nama tugas. Kami menyarankan Anda menentukan nama yang informatif agar mudah mengidentifikasi tugas tersebut. Anda tidak perlu menentukan nama tugas yang unik.
Source Database
Select Existing Connection
Jika Anda menggunakan instans database yang telah didaftarkan ke DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi lebih lanjut, lihat Kelola koneksi database.
CatatanDi konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance.
Jika Anda gagal mendaftarkan instans ke DTS, atau tidak perlu menggunakan instans yang telah didaftarkan ke DTS, Anda harus mengonfigurasi informasi database berikut.
Database Type
Pilih MongoDB.
Connection Type
Pilih Cloud Instance.
Instance Region
Pilih wilayah tempat instans ApsaraDB for MongoDB sumber berada.
Replicate Data Across Alibaba Cloud Accounts
Dalam contoh ini, digunakan instans database dari akun Alibaba Cloud saat ini. Pilih No.
Architecture
Untuk instans MongoDB mandiri, pilih Replica Set.
Replica Set: Mencapai ketersediaan tinggi dan pemisahan baca/tulis dengan menerapkan beberapa node. Untuk informasi lebih lanjut, lihat Arsitektur set replika.
Sharded Cluster: Menyediakan tiga komponen: Mongos, shard, dan Configserver. Anda dapat memilih jumlah dan konfigurasi Mongos serta shard. Untuk informasi lebih lanjut, lihat Arsitektur kluster sharded.
Migration Method
Ketika database sumber adalah instans MongoDB mandiri, migrasi inkremental tidak didukung. Pertahankan pengaturan default, Oplog.
Instance ID
Pilih ID instans ApsaraDB for MongoDB sumber.
Authentication Database
Masukkan nama database tempat akun database instans ApsaraDB for MongoDB sumber berada. Jika belum diubah, default-nya adalah admin.
Database Account
Masukkan akun database Cloud Database MongoDB Edition sumber. Untuk persyaratan izin, lihat Izin yang diperlukan untuk akun database.
Database Password
Kata sandi yang digunakan untuk mengakses instans database.
Encryption
Menentukan apakah akan mengenkripsi koneksi ke database sumber. Anda dapat memilih Non-encrypted, SSL-encrypted, atau Mongo Atlas SSL berdasarkan kebutuhan bisnis Anda. Opsi yang tersedia untuk parameter Encryption ditentukan oleh nilai yang dipilih untuk parameter Access Method dan Architecture. Opsi yang ditampilkan di konsol DTS berlaku.
CatatanJika parameter Architecture diatur ke Sharded Cluster, dan parameter Migration Method diatur ke Oplog untuk database ApsaraDB for MongoDB, parameter Enkripsi SSL-encrypted tidak tersedia.
Jika database sumber adalah database MongoDB yang dikelola sendiri yang menggunakan arsitektur Replica Set, parameter Access Method tidak diatur ke Alibaba Cloud Instance, dan parameter Enkripsi diatur ke SSL-encrypted, Anda dapat mengunggah sertifikat otoritas sertifikasi (CA) untuk memverifikasi koneksi ke database sumber.
Destination Database
Select Existing Connection
Jika Anda menggunakan instans database yang telah didaftarkan ke DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi lebih lanjut, lihat Kelola koneksi database.
CatatanDi konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance.
Jika Anda gagal mendaftarkan instans ke DTS, atau tidak perlu menggunakan instans yang telah didaftarkan ke DTS, Anda harus mengonfigurasi informasi database berikut.
Database Type
Pilih MongoDB.
Connection Type
Pilih Cloud Instance.
Instance Region
Pilih wilayah tempat Cloud Database MongoDB Edition tujuan berada.
Replicate Data Across Alibaba Cloud Accounts
Dalam contoh ini, digunakan instans database dari akun Alibaba Cloud saat ini. Pilih No.
Architecture
Pilih arsitektur berdasarkan kebutuhan bisnis Anda. Nilai yang valid:
Replica Set: Mencapai ketersediaan tinggi dan pemisahan baca/tulis dengan menerapkan beberapa node. Untuk informasi lebih lanjut, lihat Arsitektur set replika.
Sharded Cluster: Menyediakan tiga komponen: Mongos, shard, dan Configserver. Anda dapat memilih jumlah dan konfigurasi Mongos serta shard. Untuk informasi lebih lanjut, lihat Arsitektur kluster sharded.
Instance ID
Pilih ID instans target ApsaraDB for MongoDB.
Authentication Database
Masukkan nama database tempat akun database Cloud Database MongoDB Edition tujuan berada. Jika belum diubah, default-nya adalah admin.
Database Account
Masukkan akun database ApsaraDB for MongoDB tujuan. Untuk persyaratan izin, lihat Izin yang diperlukan untuk akun database.
Database Password
Kata sandi yang digunakan untuk mengakses instans database.
Encryption
Menentukan apakah akan mengenkripsi koneksi ke database tujuan. Anda dapat memilih Non-encrypted, SSL-encrypted, atau Mongo Atlas SSL berdasarkan kebutuhan bisnis Anda. Opsi yang tersedia untuk parameter Encryption ditentukan oleh nilai yang dipilih untuk parameter Access Method dan Architecture. Opsi yang ditampilkan di konsol DTS berlaku.
CatatanJika database tujuan adalah instans ApsaraDB for MongoDB dan parameter Architecture diatur ke Sharded Cluster, parameter Enkripsi SSL-encrypted tidak tersedia.
Jika database tujuan adalah database MongoDB yang dikelola sendiri yang menggunakan arsitektur Replica Set, parameter Access Method tidak diatur ke Alibaba Cloud Instance, dan parameter Enkripsi diatur ke SSL-encrypted, Anda dapat mengunggah sertifikat CA untuk memverifikasi koneksi ke database tujuan.
Di bagian bawah halaman, klik Test Connectivity and Proceed.
CatatanPastikan blok CIDR server DTS dapat ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan guna mengizinkan akses dari server DTS. Untuk informasi selengkapnya, lihat Tambahkan alamat IP server DTS ke daftar putih.
Jika database sumber atau tujuan adalah database yang dikelola sendiri dan Access Method-nya tidak diatur ke Alibaba Cloud Instance, klik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.
Konfigurasikan objek yang akan dimigrasikan.
Di halaman Configure Objects, konfigurasikan objek yang ingin Anda migrasikan.
Konfigurasi
Deskripsi
Migration Types
Pilih Schema Migration dan Full Data Migration.
CatatanDalam skenario ini, DTS tidak mendukung migrasi data inkremental. Untuk memastikan konsistensi data, kami menyarankan Anda tidak menulis data ke database sumber selama migrasi data.
Untuk informasi lebih lanjut, lihat Jenis migrasi.
Processing Mode of Conflicting Tables
Precheck and Report Errors: memeriksa apakah database tujuan berisi koleksi yang memiliki nama yang sama dengan koleksi di database sumber. Jika database sumber dan tujuan tidak berisi koleksi dengan nama identik, pemeriksaan awal berhasil. Jika tidak, kesalahan dikembalikan selama pemeriksaan awal dan tugas migrasi data tidak dapat dimulai.
CatatanJika database sumber dan tujuan berisi koleksi dengan nama identik dan koleksi di database tujuan tidak dapat dihapus atau diganti namanya, Anda dapat menggunakan fitur pemetaan nama objek untuk mengganti nama koleksi yang dimigrasikan ke database tujuan. Untuk informasi lebih lanjut, lihat Memetakan nama objek.
Ignore Errors and Proceed: melewati pemeriksaan awal untuk nama koleksi identik di database sumber dan tujuan.
PeringatanJika Anda memilih Ignore Errors and Proceed, konsistensi data tidak dijamin dan bisnis Anda mungkin terpapar risiko potensial.
DTS tidak memigrasikan catatan data yang memiliki kunci primer yang sama dengan catatan data di database tujuan.
Data mungkin gagal diinisialisasi, hanya kolom tertentu yang dimigrasikan, atau tugas migrasi data gagal.
Capitalization of Object Names in Destination Instance
Anda dapat mengonfigurasi kebijakan case-sensitivity untuk nama database dan koleksi yang dimigrasikan di instans tujuan. Secara default, DTS Default Policy dipilih. Anda juga dapat memilih untuk menyelaraskan dengan kebijakan default database sumber atau tujuan. Untuk informasi lebih lanjut, lihat Case-sensitivity untuk nama objek di database tujuan.
Source Objects
Pilih satu atau beberapa objek dari bagian Source Objects. Klik ikon
untuk menambahkan objek ke bagian Selected Objects. CatatanAnda dapat memilih objek untuk dimigrasikan di tingkat database atau koleksi.
Selected Objects
Untuk menentukan nama objek yang akan dimigrasikan di instans tujuan atau menentukan objek untuk menerima data di instans tujuan, klik kanan objek di bagian Selected Objects. Untuk informasi selengkapnya, lihat Memetakan nama objek.
Untuk menghapus satu atau beberapa objek yang dipilih untuk migrasi, klik objek di bagian Selected Objects lalu klik ikon
untuk memindahkan objek ke bagian Source Objects.
CatatanUntuk memfilter data, klik kanan tabel yang akan dimigrasikan di kotak Selected Objects dan konfigurasikan pengaturan di kotak dialog yang muncul. Pemfilteran data didukung selama migrasi data penuh. Untuk informasi lebih lanjut, lihat Atur kondisi filter.
Jika Anda menggunakan fitur pemetaan nama objek untuk menentukan database atau koleksi tujuan, migrasi objek lain yang bergantung pada objek yang dipetakan mungkin gagal.
Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.
Konfigurasi
Deskripsi
Dedicated Cluster for Task Scheduling
Secara default, DTS menjadwalkan tugas migrasi data ke kluster bersama jika Anda tidak menentukan kluster khusus. Jika Anda ingin meningkatkan stabilitas tugas migrasi data, beli kluster khusus. Untuk informasi lebih lanjut, lihat Apa itu kluster khusus DTS.
Retry Time for Failed Connections
Rentang waktu ulang coba untuk koneksi yang gagal. Jika database sumber atau tujuan gagal terhubung setelah tugas migrasi data dimulai, DTS segera mencoba menghubungkan kembali dalam rentang waktu ulang coba. Nilai yang valid: 10 hingga 1.440. Satuan: menit. Nilai default: 720. Kami menyarankan Anda mengatur parameter ini ke nilai lebih dari 30. Jika DTS berhasil terhubung kembali ke database sumber dan tujuan dalam rentang waktu ulang coba yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal.
CatatanJika Anda menentukan rentang waktu ulang coba yang berbeda untuk beberapa tugas migrasi data yang berbagi database sumber atau tujuan yang sama, nilai yang ditentukan terakhir yang berlaku.
Saat DTS mencoba menghubungkan kembali, Anda dikenakan biaya untuk instans DTS. Kami menyarankan Anda menentukan rentang waktu ulang coba berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepaskan instans DTS sesegera mungkin setelah database sumber dan instans tujuan dilepaskan.
Retry Time for Other Issues
Rentang waktu ulang coba untuk masalah lain. Misalnya, jika operasi DDL atau DML gagal dilakukan setelah tugas migrasi data dimulai, DTS segera mencoba mengulang operasi tersebut dalam rentang waktu ulang coba. Nilai yang valid: 1 hingga 1.440. Satuan: menit. Nilai default: 10. Kami menyarankan Anda mengatur parameter ini ke nilai lebih dari 10. Jika operasi yang gagal berhasil dilakukan dalam rentang waktu ulang coba yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal.
PentingNilai parameter Retry Time for Other Issues harus lebih kecil daripada nilai parameter Retry Time for Failed Connections.
Enable Throttling for Full Data Migration
Menentukan apakah akan mengaktifkan pembatasan untuk migrasi data penuh. Selama migrasi data penuh, DTS menggunakan sumber daya baca dan tulis dari database sumber dan tujuan. Hal ini dapat meningkatkan beban server database. Anda dapat mengaktifkan pembatasan untuk migrasi data penuh berdasarkan kebutuhan bisnis Anda. Untuk mengonfigurasi pembatasan, Anda harus mengonfigurasi parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s). Hal ini mengurangi beban server database tujuan.
CatatanAnda dapat mengonfigurasi parameter ini hanya jika Anda memilih Full Data Migration untuk parameter Migration Types.
Only one data type for primary key _id in a table of the data to be synchronized
Menentukan apakah tipe data kunci primer
_idbersifat unik dalam koleksi yang akan dimigrasikan.PentingAktifkan parameter ini berdasarkan kebutuhan bisnis Anda. Jika tidak, kehilangan data mungkin terjadi.
Parameter ini hanya diperlukan jika Anda memilih Full Data Migration untuk parameter Migration Types.
Nilai yang valid:
Yes: Tipe data bersifat unik. Selama migrasi penuh, DTS tidak memindai tipe data kunci primer di database sumber. DTS hanya memigrasikan satu tipe data kunci primer dalam koleksi yang akan dimigrasikan.
No: Tipe data tidak bersifat unik. Selama migrasi penuh, DTS memindai tipe data kunci primer di database sumber dan memigrasikan data dari semua tipe data.
Environment Tag
Anda dapat memilih tag lingkungan untuk mengidentifikasi instans jika diperlukan. Dalam contoh ini, tidak ada tag yang dipilih.
Configure ETL
Menentukan apakah akan mengaktifkan fitur ekstrak, transformasi, muat (ETL). Untuk informasi lebih lanjut, lihat Apa itu ETL? Nilai yang valid:
Yes: mengonfigurasi fitur ETL. Anda dapat memasukkan pernyataan pemrosesan data di editor kode. Untuk informasi lebih lanjut, lihat Konfigurasi ETL dalam tugas migrasi data atau tugas sinkronisasi data.
No: tidak mengonfigurasi fitur ETL.
Monitoring and Alerting
Menentukan apakah akan mengonfigurasi peringatan untuk tugas migrasi data. Jika tugas gagal atau latensi migrasi melebihi ambang batas yang ditentukan, kontak peringatan akan menerima notifikasi. Nilai yang valid:
No: tidak mengonfigurasi peringatan.
Yes: mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan pengaturan notifikasi peringatan. Untuk informasi lebih lanjut, lihat bagian Konfigurasi pemantauan dan peringatan saat membuat tugas DTS dalam topik Konfigurasi pemantauan dan peringatan.
Klik Next Step: Data Verification untuk mengonfigurasi tugas verifikasi data.
Untuk informasi lebih lanjut tentang cara menggunakan fitur verifikasi data, lihat Konfigurasi tugas verifikasi data.
Simpan pengaturan tugas dan jalankan pemeriksaan awal.
Untuk melihat parameter yang harus ditentukan saat Anda memanggil operasi API terkait untuk mengonfigurasi tugas DTS, arahkan kursor ke Next: Save Task Settings and Precheck lalu klik Preview OpenAPI parameters.
Jika Anda tidak perlu melihat atau telah melihat parameter tersebut, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
CatatanSebelum Anda dapat memulai tugas migrasi data, DTS melakukan pemeriksaan awal. Anda hanya dapat memulai tugas migrasi data setelah tugas tersebut lulus pemeriksaan awal.
Jika tugas gagal lulus pemeriksaan awal, klik View Details di sebelah setiap item yang gagal. Setelah Anda menganalisis penyebab berdasarkan hasil pemeriksaan, atasi masalah tersebut. Kemudian, jalankan pemeriksaan awal lagi.
Jika peringatan dipicu untuk suatu item selama pemeriksaan awal:
Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan atasi masalah tersebut. Kemudian, jalankan pemeriksaan awal lagi.
Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog Lihat Detail, klik Ignore. Di pesan yang muncul, klik OK. Kemudian, klik Precheck Again untuk menjalankan pemeriksaan awal lagi. Jika Anda mengabaikan item peringatan, inkonsistensi data mungkin terjadi, dan bisnis Anda mungkin terpapar risiko potensial.
Beli instance.
Tunggu hingga Success Rate menjadi 100%. Lalu, klik Next: Purchase Instance.
Di halaman Purchase Instance, konfigurasikan parameter Kelas Instans untuk instans migrasi data. Tabel berikut menjelaskan parameter-parameter tersebut.
Bagian
Parameter
Deskripsi
New Instance Class
Resource Group
Grup sumber daya tempat instans migrasi data berada. Nilai default: default resource group. Untuk informasi lebih lanjut, lihat Apa itu Manajemen Sumber Daya?
Instance Class
DTS menyediakan kelas instans yang berbeda dalam kecepatan migrasi. Anda dapat memilih kelas instans berdasarkan skenario bisnis Anda. Untuk informasi lebih lanjut, lihat Kelas instans untuk instans migrasi data.
Baca dan setujui Data Transmission Service (Pay-as-you-go) Service Terms dengan memilih kotak centang.
Klik Buy and Start. Di pesan yang muncul, klik OK.
Anda dapat melihat progres tugas di halaman Data Migration.
CatatanJika tugas migrasi data tidak dapat digunakan untuk memigrasikan data inkremental, tugas tersebut akan berhenti secara otomatis. Completed ditampilkan di bagian Status .
Jika tugas migrasi data dapat digunakan untuk memigrasikan data inkremental, tugas tersebut tidak berhenti secara otomatis. Tugas migrasi data inkremental tidak pernah berhenti atau selesai. Running ditampilkan di bagian Status.