Data Transmission Service:Migrasi\ dari\ ApsaraDB\ for\ MongoDB\ ke\ AnalyticDB\ for\ MySQL\ 3\.0

Cara kerja

MongoDB adalah database berbasis dokumen, sedangkan AnalyticDB for MySQL V3.0 adalah database analitik relasional. Sebelum mengonfigurasi migrasi, pahami cara memetakan konsep MongoDB ke konsep database relasional:

DTS membaca data dari instans sumber ApsaraDB for MongoDB, memetakan setiap bidang BSON ke kolom tujuan menggunakan ekspresi bson_value(), lalu menulis data tersebut ke tabel target di AnalyticDB for MySQL V3.0.

Prasyarat

Sebelum memulai, pastikan Anda telah memiliki:

• (Hanya untuk sumber klaster sharded) Titik akhir semua node shard dengan username dan password yang konsisten di seluruh node shard. Untuk detailnya, lihat Ajukan titik akhir untuk komponen shard atau ConfigServer.

• Klaster tujuan AnalyticDB for MySQL V3.0 dengan ruang penyimpanan tersedia lebih besar daripada ukuran total data instans sumber. Untuk detailnya, lihat Buat klaster.

  Kami merekomendasikan agar ruang penyimpanan tersedia di database tujuan minimal 10% lebih besar daripada ukuran total data di database sumber.

• Database dan tabel dengan kolom kunci primer yang telah dibuat di klaster tujuan. Untuk detailnya, lihat CREATE DATABASE dan CREATE TABLE.

• Fitur multi-pernyataan diaktifkan pada klaster tujuan dengan menjalankan perintah berikut:

  Fitur multi-pernyataan memerlukan AnalyticDB for MySQL V3.1.9.3 atau versi lebih baru. Untuk memeriksa dan memperbarui versi minor, lihat Perbarui versi minor klaster.

  SET ADB_CONFIG ALLOW_MULTI_QUERIES=true;

Persyaratan desain tabel tujuan:

• Kolom kunci primer harus terdiri dari satu kolom saja (kunci primer komposit tidak didukung). Tetapkan kolom kunci primer sebagai bson_value("_id").

• Tipe data di tabel tujuan harus kompatibel dengan data sumber. Misalnya, jika bidang _id MongoDB bertipe ObjectId, kolom yang sesuai di AnalyticDB for MySQL harus bertipe VARCHAR.

• Jangan memberi nama kolom apa pun dengan _id atau _value. Nama-nama ini menyebabkan tugas migrasi gagal.

Penagihan

Jenis migrasi

Untuk menjaga kontinuitas layanan selama migrasi, pilih kedua opsi Full Data Migration dan Incremental Data Migration. Jika hanya memilih migrasi data penuh, hentikan penulisan ke database sumber selama migrasi untuk mencegah ketidakkonsistenan data.

Izin akun database yang diperlukan

Untuk detail tentang pengelolaan akun MongoDB, lihat Manajemen akun. Untuk detail tentang akun AnalyticDB for MySQL, lihat Buat akun database.

Catatan penggunaan

Masalah pemblokiran — selesaikan sebelum memulai migrasi:

• Hanya koleksi yang dapat dipilih sebagai objek migrasi. Pemilihan tingkat database tidak didukung.

• Jika Anda memilih koleksi sebagai objek yang akan dimigrasikan dan ingin memodifikasi koleksi di database tujuan, seperti mengganti nama koleksi, satu tugas mendukung hingga 1.000 koleksi. Untuk koleksi lebih banyak, buat beberapa tugas.

• DTS tidak dapat terhubung ke MongoDB melalui titik akhir SRV.

• DTS tidak dapat melakukan migrasi data dari database admin atau local.

• Anda dapat menggunakan DTS untuk melakukan migrasi data penuh dari database MongoDB standalone, klaster Azure Cosmos DB for MongoDB, atau klaster elastis Amazon DocumentDB.

• Untuk sumber klaster sharded: bidang _id di setiap koleksi harus unik; jumlah node Mongos tidak boleh melebihi 10; instans tidak boleh berisi dokumen yatim. Untuk detail tentang dokumen yatim, lihat dokumentasi MongoDB dan FAQ DTS.

• Jika penggunaan disk klaster tujuan melebihi 80%, tugas DTS tertunda dan mengembalikan error. Perkirakan ruang penyimpanan yang diperlukan sebelum memulai.

• Jika tipe data di klaster tujuan tidak kompatibel dengan data sumber, tugas migrasi gagal.

• Jika klaster tujuan sedang melakukan backup saat tugas DTS berjalan, tugas migrasi gagal.

• Informasi transaksi tidak dipertahankan. Transaksi dikonversi menjadi catatan individual di tujuan.

Incremental data migration requirements:

• Fitur oplog harus diaktifkan pada database sumber, dan entri oplog harus disimpan selama minimal tujuh hari. Atau, change streams harus diaktifkan dan DTS harus dapat berlangganan perubahan data selama tujuh hari terakhir. Jika DTS tidak dapat memperoleh log operasi, tugas gagal. Dalam kasus luar biasa, ketidakkonsistenan atau kehilangan data dapat terjadi, dan skenario ini tidak dicakup oleh perjanjian tingkat layanan (SLA) DTS.

• Gunakan metode oplog bila memungkinkan. Metode ini memiliki latensi lebih rendah dibanding change streams.

• Change streams hanya didukung ketika database sumber menjalankan MongoDB V4.0 atau versi lebih baru.

• Untuk klaster Amazon DocumentDB non-elastis, Anda harus menggunakan change streams: atur Migration Method ke ChangeStreamChange Streams dan Architecture ke Sharded Cluster.

Batasan operasional selama migrasi:

• Selama migrasi data penuh, jangan memodifikasi skema atau koleksi (termasuk pembaruan tipe array). Perubahan skema menyebabkan tugas gagal atau menghasilkan ketidakkonsistenan data.

• Jika database sumber adalah klaster sharded dan Balancer sedang aktif melakukan penyeimbangan ulang data, latensi migrasi inkremental dapat meningkat.

• DTS menggunakan resource baca dan tulis di kedua database sumber dan tujuan. Jalankan migrasi selama jam sepi untuk meminimalkan dampak pada workload produksi.

• Selama migrasi data penuh, operasi INSERT konkuren menyebabkan fragmentasi di koleksi tujuan. Setelah migrasi, jejak penyimpanan di tujuan mungkin lebih besar daripada di sumber.

Presisi float dan double:

DTS mengambil nilai FLOAT dan DOUBLE menggunakan ROUND(COLUMN, PRECISION). Presisi default adalah 38 digit untuk FLOAT dan 308 digit untuk DOUBLE. Pastikan pengaturan ini memenuhi kebutuhan bisnis Anda sebelum memulai.

Perilaku tugas gagal:

• DTS secara otomatis mencoba ulang tugas yang gagal hingga tujuh hari. Sebelum beralih workload ke tujuan, hentikan atau lepas tugas yang gagal, atau cabut izin tulis dari akun DTS. Jika tidak, data sumber dapat menimpa data tujuan setelah tugas dilanjutkan.

• Jika tugas DTS gagal, dukungan teknis DTS berusaha memulihkannya dalam waktu delapan jam. Selama pemulihan, tugas mungkin dimulai ulang dan parameter tugas (bukan parameter database) dapat dimodifikasi.

Pengukuran latensi migrasi:

DTS menghitung latensi migrasi inkremental berdasarkan stempel waktu catatan terbaru yang dimigrasikan di tujuan dibandingkan dengan stempel waktu saat ini di sumber. Jika tidak ada pembaruan di sumber dalam periode yang lama, latensi yang dilaporkan mungkin tidak akurat. Lakukan operasi update di sumber untuk memperbarui pembacaan latensi.

Buat tugas migrasi

Langkah 4: Konfigurasi objek yang akan dimigrasikan

Di halaman Configure Objects, atur parameter berikut:

Parameter	Deskripsi
Migration Types	Pilih Full Data Migration untuk hanya memigrasikan data historis. Pilih kedua opsi Full Data Migration dan Incremental Data Migration untuk menjaga sinkronisasi tujuan selama migrasi. Jika hanya memilih migrasi data penuh, jangan menulis ke sumber selama migrasi.
DDL and DML Operations to Be Synchronized	Operasi DDL dan DML yang akan dimigrasikan di tingkat instans selama migrasi data inkremental. Untuk mengonfigurasi operasi di tingkat koleksi, klik kanan koleksi di Selected Objects dan pilih operasi yang akan dimigrasikan.
Merge Tables	No (default): Migrasikan setiap koleksi ke tabelnya sendiri. Yesalert notification settings: Gabungkan beberapa koleksi sumber ke satu tabel tujuan. DTS menambahkan kolom __dts_data_source untuk mengidentifikasi sumber data. Lihat Aktifkan fitur penggabungan multi-tabel. Jika Anda memilih Yes, semua tabel sumber yang dipilih dalam tugas digabung menjadi satu tabel tujuan. Buat tugas terpisah untuk koleksi yang tidak boleh digabung.
Processing Mode of Conflicting Tables	Precheck and Report Errors: Gagal dalam pemeriksaan awal jika tujuan berisi koleksi dengan nama yang sama seperti sumber. Gunakan pemetaan nama objek untuk mengganti nama koleksi yang dimigrasikan jika diperlukan. Lihat Map object names. Ignore Errors and Proceed: Melewati pemeriksaan awal terkait nama koleksi duplikat. DTS melewati catatan yang memiliki kunci utama yang sama dengan catatan yang sudah ada di tujuan, yang dapat menyebabkan ketidaksesuaian data.
Source Objects	Pilih satu atau beberapa koleksi dari Source Objects, lalu klik untuk menambahkannya ke Selected Objects.

Konfigurasi bagian Selected Objects:

1. Ganti nama database (skema) tujuan:

   1. Di Selected Objects, klik kanan database sumber.

   2. Atur Schema Name ke nama database di klaster tujuan AnalyticDB for MySQL V3.0.

   3. (Opsional) Pilih operasi DDL dan DML yang akan dimigrasikan selama migrasi data inkremental.

   4. Klik OK.

2. Ganti nama tabel tujuan:

   1. Di Selected Objects, klik kanan koleksi.

   2. Atur Table Name ke nama tabel di klaster tujuan.

   3. (Opsional) Atur kondisi filter untuk migrasi data penuh. Lihat Tentukan kondisi filter.

   4. (Opsional) Pilih operasi DDL dan DML untuk migrasi data inkremental.

3. Petakan bidang sumber ke kolom tujuan: DTS secara otomatis menghasilkan ekspresi bson_value() untuk setiap bidang. Tinjau dan sesuaikan pemetaan untuk setiap kolom. Untuk setiap kolom: Jika suatu bidang memerlukan ekspresi berbeda (misalnya, subfield bersarang):

   1. Klik di sebelah kolom, lalu klik + Add Column.

   2. Atur Column Name, Type, Length, dan Precision.

   3. Masukkan ekspresi bson_value() di kolom Assign Value. Lihat bagian Contoh pemetaan bidang sebagai referensi.

   4. Ulangi untuk setiap bidang.

   Penting

   Tetapkan kolom kunci primer sebagai bson_value("_id"). Gunakan ekspresi bson_value() bersarang untuk subfield: bson_value("parent", "child"). Menggunakan bson_value("parent") saja tidak menangkap perubahan inkremental pada subfield.

4. Klik OK.

Pemetaan tipe data

Contoh pemetaan bidang

Contoh ini menunjukkan cara memetakan bidang dari dokumen MongoDB dengan objek bersarang ke kolom di tabel AnalyticDB for MySQL V3.0.

{
  "_id": "62cd344c85c1ea6a2a9f****",
  "person": {
    "name": "neo",
    "age": 26,
    "sex": "male"
  }
}

Langkah selanjutnya

Setelah status tugas migrasi menunjukkan Running dan latensi migrasi inkremental mendekati 0, klaster tujuan AnalyticDB for MySQL V3.0 Anda telah tersinkronisasi dengan sumber. Alihkan workload Anda ke klaster tujuan dan hentikan tugas DTS.