Data Transmission Service:Migrasi data dari instans ApsaraDB for MongoDB ke instans Lindorm

Langkah 1: Buka halaman Migrasi Data

Gunakan salah satu metode berikut:

Langkah 2: Konfigurasi database sumber dan tujuan

Klik Create Task, lalu konfigurasikan parameter yang dijelaskan dalam tabel berikut.

Parameter database sumber

Parameter database tujuan

Langkah 3: Uji konektivitas dan lanjutkan

Klik Test Connectivity and Proceed di bagian bawah halaman.

DTS harus dapat mengakses database sumber dan tujuan. Pastikan blok CIDR server DTS telah ditambahkan ke pengaturan keamanan kedua database. Lihat Tambahkan blok CIDR server DTS. Jika sumber atau tujuan adalah database yang dikelola sendiri dan tidak diakses melalui Alibaba Cloud Instance, klik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.

Langkah 4: Konfigurasi objek yang akan dimigrasikan

Di halaman Configure Objects, atur parameter berikut.

Jenis migrasi dan objek

Parameter	Deskripsi
Migration Types	Pilih Full Data Migration untuk migrasi satu kali. Pilih kedua opsi Full Data Migration dan Incremental Data Migration untuk menjaga sinkronisasi antara sumber dan tujuan selama migrasi serta meminimalkan downtime.
Processing Mode of Conflicting Tables	Tidak perlu dikonfigurasi.
Capitalization of Object Names in Destination Instance	Kebijakan kapitalisasi untuk nama database dan koleksi di instans tujuan. Nilai default: DTS default policy. Lihat Specify the capitalization of object names in the destination instance.
Source Objects	Pilih koleksi yang akan dimigrasikan, lalu klik untuk memindahkannya ke Selected Objects.

Konfigurasi objek yang dipilih

Untuk setiap koleksi di Selected Objects, konfigurasikan nama skema, nama tabel, dan pemetaan kolom.

Contoh berikut menunjukkan bagaimana dokumen MongoDB sumber dipetakan ke baris tabel lebar Lindorm:

Dokumen sumber (ApsaraDB for MongoDB)

{
  "_id": "62cd344c85c1ea6a2a9f****",
  "person": {
    "name": "neo",
    "age": "26",
    "sex": "male"
  }
}

Baris tabel tujuan (Lindorm)

Untuk mengonfigurasi nama skema, nama tabel, dan pemetaan kolom:

1. Edit nama skema:

   1. Di Selected Objects, klik kanan database yang berisi koleksi.

   2. Di kotak dialog Edit Schema, masukkan nama database yang akan digunakan di instans Lindorm di bidang Schema Name.

   3. (Opsional) Di Select DDL and DML Operations to Be Synchronized, pilih operasi yang akan dimigrasikan selama migrasi data inkremental.

   4. Klik OK.

2. Edit nama tabel:

   1. Di Selected Objects, klik kanan koleksi.

   2. Di kotak dialog Edit Table Name, masukkan nama tabel yang akan digunakan di instans Lindorm di bidang Table Name.

   3. (Opsional) Tentukan kondisi filter. Lihat Tentukan kondisi filter.

   4. (Opsional) Di Select DDL and DML Operations to Be Synchronized, pilih operasi yang akan dimigrasikan selama migrasi data inkremental.

3. Petakan bidang sumber ke kolom tujuan: DTS secara otomatis memetakan setiap bidang di koleksi sumber menggunakan ekspresi bson_value() dan menetapkannya ke kolom. Di ekspresi bson_value(), nama bidang di dalam "" adalah nama bidang di instans MongoDB sumber. Misalnya, bson_value("age") memetakan bidang age. (Opsional) Klik ikon di samping kolom untuk menghapus bidang yang tidak perlu dimigrasikan. Periksa bahwa ekspresi bson_value() sesuai dengan kolom tujuan yang diperlukan:

   1. Di ekspresi bson_value() di kolom Assign Value, periksa nama bidang dari MongoDB.

      Bidang di dalam "" adalah nama bidang di MongoDB. Misalnya, jika ekspresinya adalah bson_value("age"), ekspresi ini memetakan bidang age di MongoDB.

   2. (Opsional) Klik ikon di samping kolom untuk menghapus bidang yang tidak perlu dimigrasikan.

      Catatan

      Untuk menghapus bidang yang tidak perlu dimigrasikan, klik di baris bidang tersebut.

   3. Konfigurasikan bidang yang akan dimigrasikan.

      Lakukan langkah berikut berdasarkan apakah ekspresi bson_value() memenuhi kebutuhan Anda.

      Bidang yang ekspresinya memenuhi kebutuhan

      1. Masukkan Column Name untuk tabel tujuan.

         Catatan

         • Untuk tabel yang dibuat dengan SQL: gunakan nama kolom yang didefinisikan di tabel.

         • Untuk tabel yang dibuat dengan API Apache HBase: gunakan ROW untuk kolom kunci primer, dan format Keluarga kolom:Nama kolom (misalnya, person:name) untuk kolom lainnya. Buat pemetaan kolom terlebih dahulu. Lihat Tambahkan pemetaan kolom untuk tabel API Apache HBase.

      2. Pilih Type untuk tipe data kolom.

         Penting

         Tipe data kolom tujuan harus kompatibel dengan tipe bidang sumber.

      3. (Opsional) Atur Length dan Precision.

      4. Ulangi langkah ini untuk memetakan semua bidang yang diperlukan.

      Bidang yang ekspresinya tidak memenuhi kebutuhan

      Catatan

      Misalnya, bidang yang memiliki struktur hierarkis (struktur induk-anak).

      1. Klik ikon di samping kolom.

      2. Klik + Add Column.

      3. Atur Column Name, Type, Length, dan Precision.

      4. Di kotak teks di bawah Assign Value, masukkan ekspresi bson_value(). Untuk informasi lebih lanjut, lihat Contoh penugasan nilai.

         Penting

         • Selalu tetapkan kolom kunci primer sebagai bson_value("_id").

         • Untuk bidang bersarang, tentukan bidang dan sub-bidang dalam ekspresi — misalnya, bson_value("person","name"). Menggunakan hanya bson_value("person") menyebabkan kehilangan data untuk sub-bidang.

      5. Ulangi untuk setiap bidang.

4. Klik OK.

Langkah 5: Konfigurasi pengaturan lanjutan

Klik Next: Advanced Settings dan konfigurasikan parameter berikut.

Langkah 6: Jalankan pemeriksaan awal dan simpan pengaturan

Klik Next: Save Task Settings and Precheck.

Untuk melihat parameter API untuk konfigurasi tugas ini sebelum menyimpan, arahkan pointer ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.

DTS menjalankan pemeriksaan awal sebelum memulai migrasi. Atasi kegagalan pemeriksaan awal:

• Untuk item yang gagal: klik View Details, perbaiki masalah, lalu klik Precheck Again.

• Untuk item peringatan:

  • Jika peringatan tidak dapat diabaikan, perbaiki masalah dan jalankan pemeriksaan awal lagi.

  • Jika peringatan dapat diabaikan, klik Confirm Alert Details > Ignore > OK, lalu klik Precheck Again. Mengabaikan peringatan dapat menyebabkan inkonsistensi data.

Langkah 7: Beli dan mulai instans

1. Tunggu hingga Success Rate mencapai 100%, lalu klik Next: Purchase Instance.

2. Di halaman Purchase Instance, konfigurasikan parameter berikut:

   Parameter	Deskripsi
   Resource Group	Kelompok sumber daya untuk instans migrasi data. Default: default resource group. Lihat Apa itu Resource Management?
   Instance Class	Tier throughput migrasi. Kelas yang lebih tinggi memberikan migrasi lebih cepat. Lihat Kelas instans migrasi data.

3. Baca Data Transmission Service (Pay-as-you-go) Service Terms dan centang kotaknya.

4. Klik Buy and Start, lalu klik OK di dialog konfirmasi.

Verifikasi status migrasi

Di halaman Data Migration, periksa status tugas:

• Full data migration only: Tugas berhenti otomatis saat selesai. Status berubah menjadi Completed.

• Full + incremental data migration: Migrasi inkremental berjalan terus-menerus tanpa berhenti. Status menunjukkan Running. Hentikan atau lepas tugas secara manual saat Anda siap melakukan cut over ke database tujuan.

Batasan database sumber

• Server sumber harus memiliki bandwidth keluar yang cukup. Bandwidth yang tidak mencukupi mengurangi kecepatan migrasi.

• Koleksi harus memiliki kendala PRIMARY KEY atau UNIQUE, dan semua bidang harus unik. Jika tidak, catatan duplikat mungkin muncul di tujuan.

• DTS tidak dapat memigrasikan data dari database admin, config, atau local.

• DTS tidak dapat terhubung ke MongoDB melalui titik akhir SRV.

• Jika Anda memilih koleksi sebagai objek migrasi dan mengganti namanya, satu tugas dapat memigrasikan hingga 1.000 koleksi. Melebihi batas ini menyebabkan error permintaan. Bagi migrasi menjadi beberapa tugas.

Batasan migrasi data penuh

• Jangan lakukan perubahan skema pada database atau koleksi selama migrasi data penuh, termasuk pembaruan pada tipe array. Perubahan skema menyebabkan kegagalan tugas atau inkonsistensi data.

• Jangan menulis data ke database sumber jika Anda hanya menjalankan migrasi data penuh. Menulis ke sumber menyebabkan inkonsistensi data.

• Operasi INSERT konkuren selama migrasi penuh menyebabkan fragmentasi di koleksi tujuan. Ruang penyimpanan yang digunakan oleh koleksi tujuan akan lebih besar daripada di sumber.

Batasan migrasi data inkremental

• Hanya operasi INSERT, UPDATE, dan DELETE pada dokumen yang dimigrasikan. Untuk operasi UPDATE, hanya update dari $set yang dimigrasikan.

• Fitur oplog harus diaktifkan dan log operasi disimpan minimal selama 7 hari, ATAU change streams harus diaktifkan dan DTS harus dapat berlangganan perubahan dari 7 hari terakhir. Jika persyaratan ini tidak terpenuhi, DTS mungkin gagal memperoleh log operasi dan tugas mungkin gagal. Dalam kasus luar biasa, inkonsistensi atau kehilangan data dapat terjadi.

• Gunakan fitur oplog untuk memperoleh perubahan data jika memungkinkan. Gunakan change streams hanya jika sumber menjalankan MongoDB V4.0 atau lebih baru.

• Informasi transaksi tidak dipertahankan. Transaksi dikonversi menjadi satu catatan.

• DTS menghitung latensi migrasi berdasarkan timestamp catatan terbaru yang dimigrasikan di tujuan dan timestamp saat ini di sumber. Jika tidak ada pembaruan di sumber dalam periode panjang, nilai latensi mungkin tidak akurat. Untuk memperbarui latensi, tulis pembaruan ke sumber.

Batasan kluster sharded

• Bidang _id harus unik di semua shard. Nilai _id duplikat menyebabkan inkonsistensi data.

• Jumlah node Mongos tidak boleh melebihi 10.

• Jangan jalankan perintah berikut pada objek yang sedang dimigrasikan saat tugas berjalan: shardCollection, reshardCollection, unshardCollection, moveCollection, movePrimary. Perintah ini mengubah distribusi data dan menyebabkan inkonsistensi data.

• Jika Balancer aktif di kluster sharded sumber, hal ini dapat menyebabkan latensi migrasi.

Batasan tujuan Lindorm

• Instans Lindorm tujuan tidak boleh berisi koleksi dengan kolom bernama _id atau _value. Jika kolom tersebut ada, tugas gagal.

• Data yang dimigrasikan harus mematuhi Batasan permintaan data.

• Presisi FLOAT default 38 digit; presisi DOUBLE default 308 digit. DTS menggunakan ROUND(COLUMN,PRECISION) untuk mengambil nilai-nilai ini. Verifikasi bahwa pengaturan presisi memenuhi kebutuhan bisnis Anda sebelum memulai migrasi.

• Jika sumber berisi indeks TTL, inkonsistensi data dapat terjadi setelah migrasi.

Batasan Azure Cosmos DB dan Amazon DocumentDB

• Untuk kluster Azure Cosmos DB for MongoDB dan kluster elastic Amazon DocumentDB: hanya migrasi data penuh yang didukung.

• Untuk kluster Amazon DocumentDB inelastic: aktifkan change streams dan atur Migration Method ke ChangeStream dan Architecture ke Sharded Cluster.

Catatan operasional lainnya

• Evaluasi dampak migrasi terhadap kinerja database sumber dan tujuan sebelum memulai. Jalankan migrasi selama jam sepi jika memungkinkan. Migrasi data penuh menggunakan sumber daya baca dan tulis di kedua database dan dapat meningkatkan beban server.

• Jika tugas DTS gagal, dukungan teknis DTS berusaha memulihkannya dalam waktu 8 jam. Selama pemulihan, tugas mungkin dimulai ulang dan parameter mungkin dimodifikasi. Hanya parameter tugas DTS yang dimodifikasi — parameter database tidak diubah. Parameter yang mungkin dimodifikasi termasuk yang dijelaskan di Modifikasi parameter instans DTS.