Data Transmission Service：Migrasi data dari instans ApsaraDB untuk MongoDB ke instans ApsaraDB RDS untuk MySQL

Prasyarat

• Jika database sumber adalah klaster sharded ApsaraDB untuk MongoDB, Anda harus mengajukan titik akhir untuk semua node shard. Node shard dalam instans klaster sharded harus berbagi kata sandi akun dan titik akhir yang sama. Untuk informasi lebih lanjut tentang cara mengajukan titik akhir, lihat Ajukan Titik Akhir untuk Shard.

• Instans tujuan ApsaraDB RDS untuk MySQL telah dibuat. Ruang penyimpanan yang tersedia pada instans ini lebih besar daripada total ukuran data di database sumber. Untuk informasi lebih lanjut, lihat Buat Instans ApsaraDB RDS untuk MySQL.

  Catatan

  Ruang penyimpanan yang tersedia di database tujuan direkomendasikan 10% lebih besar daripada total ukuran data di database sumber.

• Sebuah database dan tabel dengan kolom kunci utama telah dibuat di instans tujuan ApsaraDB RDS untuk MySQL untuk menerima data. Untuk informasi lebih lanjut, lihat Kelola Database.

  Penting

  • Pastikan bahwa tipe data tabel tujuan kompatibel dengan data di instans ApsaraDB untuk MongoDB. Sebagai contoh, jika bidang _id dari instans ApsaraDB untuk MongoDB adalah tipe ObjectId, tipe data instans ApsaraDB RDS untuk MySQL harus varchar.

  • Hindari menamai kolom tabel tujuan di instans ApsaraDB RDS untuk MySQL sebagai _id atau _value.

Catatan penggunaan

Penagihan

Tipe migrasi

Izin yang diperlukan untuk akun database

Prosedur

1. Gunakan salah satu metode berikut untuk pergi ke halaman Migrasi Data dan pilih wilayah tempat instans migrasi data berada.

Konsol DTS

1. Masuk ke Konsol DTS.

2. Di bilah navigasi di sebelah kiri, klik Data Migration.

3. Di sudut kiri atas halaman, pilih wilayah tempat instans migrasi data berada.

Konsol DMS

Catatan

Operasi aktual mungkin bervariasi berdasarkan mode dan tata letak Konsol DMS. Untuk informasi lebih lanjut, lihat Mode Sederhana dan Sesuaikan Tata Letak dan Gaya Konsol DMS.

1. Masuk ke Konsol DMS.

2. Di bilah navigasi atas, gerakkan penunjuk mouse ke Data Development > DTS (DTS) > Data Migration .

3. Dari daftar drop-down di sebelah kanan Data Migration Tasks, pilih wilayah tempat instans migrasi data berada.

2. Klik Create Task untuk pergi ke halaman konfigurasi tugas.

3. Opsional. Klik New Configuration Page di sudut kanan atas halaman.

Catatan

• Lewati langkah ini jika tombol Back to Previous Version ditampilkan di sudut kanan atas halaman.

• Parameter spesifik di versi baru dan sebelumnya dari halaman konfigurasi mungkin berbeda. Kami sarankan Anda menggunakan versi baru dari halaman konfigurasi.

4. Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter.

   Kategori	Konfigurasi	Deskripsi
   N/A	Task Name	Nama tugas DTS. DTS secara otomatis menghasilkan nama tugas. Kami sarankan Anda menentukan nama deskriptif yang memudahkan identifikasi tugas. Anda tidak perlu menentukan nama tugas yang unik.
   Source Database	Select Existing Connection	Jika Anda menggunakan instans database yang terdaftar dengan DTS, pilih instans dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi lebih lanjut, lihat Kelola koneksi database. Catatan Di Konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance. Jika Anda gagal mendaftarkan instans dengan DTS, atau Anda tidak perlu menggunakan instans yang terdaftar dengan DTS, Anda harus mengonfigurasi informasi database berikut.
   	Database Type	Tipe database sumber. Pilih MongoDB.
   	Access Method	Metode akses database sumber. Pilih Alibaba Cloud Instance.
   	Instance Region	Wilayah tempat instans sumber ApsaraDB untuk MongoDB berada.
   	Replicate Data Across Alibaba Cloud Accounts	Dalam contoh ini, instans database dari akun Alibaba Cloud saat ini digunakan. Pilih No.
   	Architecture	Arsitektur instans sumber ApsaraDB untuk MongoDB. Dalam contoh ini, Replica Set dipilih. Catatan Jika database sumber adalah instans klaster sharded ApsaraDB untuk MongoDB Sharded Cluster, Anda harus menentukan Shard account dan Shard password.
   	Migration Method	Metode yang digunakan untuk memigrasikan data inkremental dari database sumber. Pilih metode berdasarkan kebutuhan bisnis Anda. Nilai valid: Oplog (direkomendasikan): Opsi ini tersedia jika fitur oplog diaktifkan untuk database sumber. Catatan Secara default, fitur oplog diaktifkan untuk database MongoDB yang dikelola sendiri dan instans ApsaraDB untuk MongoDB. Fitur ini memungkinkan Anda memigrasikan data inkremental dengan latensi rendah karena kecepatan penarikan log yang cepat. Oleh karena itu, kami merekomendasikan Anda memilih Oplog untuk parameter Metode Migrasi. ChangeStream: Opsi ini tersedia jika aliran perubahan diaktifkan untuk database sumber. Untuk informasi lebih lanjut, lihat Aliran Perubahan. Catatan Jika database sumber adalah klaster inelastis Amazon DocumentDB, Anda hanya dapat mengatur parameter Metode Migrasi ke ChangeStream. Jika Anda memilih Sharded Cluster untuk parameter Architecture, Anda tidak perlu mengonfigurasi parameter Shard account dan Shard password.
   	Instance ID	ID instans sumber ApsaraDB untuk MongoDB.
   	Authentication Database	Nama database otentikasi yang menyimpan akun dan kata sandi database dari instans sumber ApsaraDB untuk MongoDB. Jika Anda tidak mengubah nama sebelumnya, nilai default admin digunakan.
   	Database Account	Akun database dari instans sumber ApsaraDB untuk MongoDB. Untuk informasi lebih lanjut tentang izin yang diperlukan untuk akun tersebut, lihat bagian Izin yang diperlukan untuk akun database dari topik ini.
   	Database Password	Kata sandi yang digunakan untuk mengakses database.
   	Encryption	Menentukan apakah akan mengenkripsi koneksi ke database sumber. Anda dapat memilih Non-encrypted, SSL-encrypted, atau Mongo Atlas SSL berdasarkan kebutuhan bisnis Anda. Opsi yang tersedia untuk parameter Encryption ditentukan oleh nilai yang dipilih untuk parameter Access Method dan Architecture. Opsi yang ditampilkan di Konsol DTS berlaku. Catatan Jika parameter Architecture diatur ke Sharded Cluster, dan parameter Migration Method diatur ke Oplog untuk database ApsaraDB untuk MongoDB, parameter Enkripsi SSL-encrypted tidak tersedia. Jika database sumber adalah database MongoDB yang dikelola sendiri yang menggunakan arsitektur Replica Set, parameter Access Method tidak diatur ke Alibaba Cloud Instance, dan parameter Enkripsi diatur ke SSL-encrypted, Anda dapat mengunggah sertifikat otoritas sertifikasi (CA) untuk memverifikasi koneksi ke database sumber.
   Destination Database	Select Existing Connection	Jika Anda menggunakan instans database yang terdaftar dengan DTS, pilih instans dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi lebih lanjut, lihat Kelola koneksi database. Catatan Di Konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance. Jika Anda gagal mendaftarkan instans dengan DTS, atau Anda tidak perlu menggunakan instans yang terdaftar dengan DTS, Anda harus mengonfigurasi informasi database berikut.
   	Database Type	Tipe database tujuan. Pilih MySQL.
   	Access Method	Metode akses database tujuan. Pilih Alibaba Cloud Instance.
   	Instance Region	Wilayah tempat instans tujuan ApsaraDB RDS untuk MySQL berada.
   	Replicate Data Across Alibaba Cloud Accounts	Dalam contoh ini, instans database dari akun Alibaba Cloud saat ini digunakan. Pilih No.
   	RDS Instance ID	ID instans tujuan ApsaraDB RDS untuk MySQL.
   	Database Account	Akun database dari instans tujuan ApsaraDB RDS untuk MySQL. Untuk informasi tentang izin yang diperlukan untuk akun tersebut, lihat bagian Izin yang diperlukan untuk akun database dari topik ini.
   	Database Password	Kata sandi yang digunakan untuk mengakses instans database.
   	Encryption	Menentukan apakah akan mengenkripsi koneksi ke instans database sumber. Pilih Non-encrypted atau SSL-encrypted berdasarkan kebutuhan bisnis Anda. Jika Anda ingin mengatur parameter ini ke SSL-encrypted, Anda harus mengaktifkan enkripsi SSL untuk instans ApsaraDB RDS untuk MySQL sebelum mengonfigurasi tugas DTS. Untuk informasi lebih lanjut, lihat Gunakan sertifikat cloud untuk mengaktifkan enkripsi SSL.

5. Di bagian bawah halaman, klik Test Connectivity and Proceed.

   Catatan

   • Pastikan bahwa blok CIDR server DTS dapat ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan untuk mengizinkan akses dari server DTS. Untuk informasi lebih lanjut, lihat Tambahkan Blok CIDR Server DTS.

   • Jika database sumber atau tujuan adalah database yang dikelola sendiri dan Access Method-nya tidak diatur ke Alibaba Cloud Instance, klik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.

6. Konfigurasikan objek yang akan dimigrasikan.

   1. Di halaman Configure Objects, konfigurasikan objek yang ingin Anda migrasikan.

      Konfigurasi	Deskripsi
      Migration Types	Untuk melakukan hanya migrasi data penuh, pilih hanya Full Data Migration. Untuk memastikan kontinuitas layanan selama migrasi data, pilih Full Data Migration dan Incremental Data Migration. Catatan Jika Anda tidak memilih Incremental Data Migration, kami sarankan Anda tidak menulis data ke database sumber selama migrasi data. Hal ini memastikan konsistensi data antara database sumber dan tujuan.
      Processing Mode of Conflicting Tables	Precheck and Report Errors: memeriksa apakah database tujuan berisi koleksi yang memiliki nama yang sama dengan koleksi di database sumber. Jika database sumber dan tujuan tidak berisi koleksi dengan nama identik, pracheck dilewati. Jika tidak, kesalahan dikembalikan selama pracheck dan tugas migrasi data tidak dapat dimulai. Catatan Jika database sumber dan tujuan berisi koleksi dengan nama identik dan koleksi di database tujuan tidak dapat dihapus atau diganti namanya, Anda dapat menggunakan fitur pemetaan nama objek untuk mengganti nama koleksi yang dimigrasikan ke database tujuan. Untuk informasi lebih lanjut, lihat Peta nama objek. Ignore Errors and Proceed: melewati pracheck untuk nama koleksi identik di database sumber dan tujuan. Peringatan Jika Anda memilih Ignore Errors and Proceed, konsistensi data tidak dijamin dan bisnis Anda mungkin terpapar risiko potensial. DTS tidak memigrasikan catatan data yang memiliki kunci utama yang sama dengan catatan data di database tujuan. Data mungkin gagal diinisialisasi, hanya kolom tertentu yang dimigrasikan, atau tugas migrasi data gagal.
      Capitalization of Object Names in Destination Instance	Penulisan kapital nama database, nama tabel, dan nama kolom di instans tujuan. Secara default, DTS default policy dipilih. Anda dapat memilih opsi lain untuk memastikan bahwa penulisan kapital nama objek konsisten dengan database sumber atau tujuan. Untuk informasi lebih lanjut, lihat Tentukan penulisan kapital nama objek di instans tujuan.
      Source Objects	Pilih satu atau lebih objek dari bagian Source Objects. Klik ikon untuk menambahkan objek ke bagian Selected Objects. Catatan Anda dapat memilih koleksi sebagai objek yang akan dimigrasikan.
      Selected Objects	Ubah nama database. Di bagian Selected Objects, klik kanan database tempat koleksi yang akan dimigrasikan berada. Ubah nilai Database Name menjadi nama skema yang digunakan untuk menerima data di instans tujuan ApsaraDB RDS untuk MySQL. Klik OK. Ubah nama tabel. Di bagian Selected Objects, klik kanan koleksi tempat koleksi yang akan dimigrasikan berada. Ubah nilai Table Name menjadi nama tabel yang digunakan untuk menerima data di instans tujuan ApsaraDB RDS untuk MySQL. Opsional: Anda dapat menentukan kondisi untuk menyaring data. Untuk informasi lebih lanjut, lihat Tentukan kondisi filter. Opsional: Di bagian Select DDL and DML Operations to Be Synchronized, Anda dapat memilih operasi yang ingin dimigrasikan selama migrasi data inkremental. Tentukan bidang yang akan dimigrasikan dari instans sumber ApsaraDB untuk MongoDB. Secara default, DTS memetakan data koleksi yang akan dimigrasikan dan mengonfigurasi ekspresi di kolom Assign Value. Anda harus memeriksa apakah ekspresi tersebut memenuhi kebutuhan Anda dan menentukan parameter Column Name, Type, Length, dan Precision. Penting Anda harus menetapkan bson_value("_id") ke kolom kunci utama tabel tujuan. Anda harus menentukan bidang dan subbidang setiap kolom dalam ekspresi bson_value() yang sesuai berdasarkan hubungan hierarki. Jika tidak, kehilangan data mungkin terjadi atau tugas mungkin gagal. Dalam ekspresi bson_value() pada kolom Assign Value, lihat nama bidang baris data di instans ApsaraDB untuk MongoDB. Bidang dalam "" adalah nama bidang di instans ApsaraDB untuk MongoDB. Sebagai contoh, jika ekspresinya adalah bson_value("age"), age adalah nama baris data di instans ApsaraDB untuk MongoDB. Opsional: Anda dapat menghapus bidang yang tidak perlu dimigrasikan. Catatan Klik ikon setelah baris data untuk menghapus bidang yang tidak perlu dimigrasikan. Tentukan bidang yang akan dimigrasikan. Lakukan salah satu prosedur berikut berdasarkan apakah ekspresi bson_value() memenuhi kebutuhan Anda. Ekspresi memenuhi persyaratan bidang Konfigurasikan parameter Column Name. Catatan Masukkan nama kolom dalam tabel yang digunakan untuk menerima data di instans tujuan ApsaraDB RDS untuk MySQL. Pilih tipe data Type untuk setiap kolom. Penting Pastikan bahwa tipe data tabel tujuan kompatibel dengan data di instans sumber ApsaraDB untuk MongoDB. Untuk informasi lebih lanjut tentang pemetaan tipe data, lihat bagian Pemetaan Tipe Data dari topik ini. Opsional: Tentukan panjang data length dan precision untuk setiap kolom. Ulangi langkah-langkah sebelumnya untuk memetakan kolom tabel sumber ke kolom tabel tujuan. Ekspresi tidak memenuhi persyaratan bidang Catatan Sebagai contoh, bidang dengan hubungan hierarki seperti struktur induk-anak. Di kolom Actions, klik ikon setelah baris data tersebut. Klik + Add Column. Konfigurasikan parameter Column Name, Type, Length, dan Precision. Masukkan ekspresi bson_value() di bidang Assign Value. Untuk informasi lebih lanjut, lihat bagian Contoh Penetapan Nilai dari topik ini. Ulangi langkah-langkah sebelumnya untuk memetakan kolom tabel sumber ke kolom tabel tujuan. Klik OK.

   2. Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.

      Konfigurasi	Deskripsi
      Dedicated Cluster for Task Scheduling	Secara default, DTS menjadwalkan tugas migrasi data ke klaster bersama jika Anda tidak menentukan klaster khusus. Jika Anda ingin meningkatkan stabilitas tugas migrasi data, belilah klaster khusus. Untuk informasi lebih lanjut, lihat Apa itu Klaster Khusus DTS?.
      Retry Time for Failed Connections	Rentang waktu ulang untuk koneksi gagal. Jika database sumber atau tujuan gagal terhubung setelah tugas migrasi data dimulai, DTS segera mencoba kembali koneksi dalam rentang waktu ulang. Nilai valid: 10 hingga 1.440. Unit: menit. Nilai default: 720. Kami sarankan Anda mengatur parameter ini ke nilai lebih besar dari 30. Jika DTS tersambung kembali ke database sumber dan tujuan dalam rentang waktu ulang yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal. Catatan Jika Anda menentukan rentang waktu ulang yang berbeda untuk beberapa tugas migrasi data yang berbagi database sumber atau tujuan yang sama, nilai yang ditentukan terakhir akan berlaku. Saat DTS mencoba kembali koneksi, Anda akan dikenakan biaya untuk instans DTS. Kami sarankan Anda menentukan rentang waktu ulang berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepaskan instans DTS secepat mungkin setelah database sumber dan instans tujuan dilepaskan.
      Retry Time for Other Issues	Rentang waktu ulang untuk masalah lainnya. Sebagai contoh, jika operasi DDL atau DML gagal dilakukan setelah tugas migrasi data dimulai, DTS segera mencoba kembali operasi dalam rentang waktu ulang. Nilai valid: 1 hingga 1440. Unit: menit. Nilai default: 10. Kami sarankan Anda mengatur parameter ini ke nilai lebih besar dari 10. Jika operasi gagal berhasil dilakukan dalam rentang waktu ulang yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal. Penting Nilai parameter Retry Time for Other Issues harus lebih kecil dari nilai parameter Retry Time for Failed Connections.
      Enable Throttling for Full Data Migration	Menentukan apakah akan mengaktifkan pembatasan untuk migrasi data penuh. Selama migrasi data penuh, DTS menggunakan sumber daya baca dan tulis dari database sumber dan tujuan. Hal ini dapat meningkatkan beban server database. Anda dapat mengaktifkan pembatasan untuk migrasi data penuh berdasarkan kebutuhan bisnis Anda. Untuk mengonfigurasi pembatasan, Anda harus mengonfigurasi parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s). Ini mengurangi beban server database tujuan. Catatan Anda hanya dapat mengonfigurasi parameter ini jika Anda memilih Full Data Migration untuk parameter Migration Types.
      Only one data type for primary key _id in a table of the data to be synchronized	Apakah tipe data kunci utama _id unik dalam koleksi yang sama dari data yang akan dimigrasikan. Catatan Ini hanya dapat dikonfigurasi ketika Migration Types diatur ke Full Data Migration. Yes: Unik. Selama fase migrasi penuh, DTS tidak akan memindai tipe data kunci utama dalam data yang akan dimigrasikan dari database sumber. No: Tidak unik. Selama fase migrasi penuh, DTS akan memindai tipe data kunci utama dari data yang dimigrasikan pada database sumber.
      Enable Throttling for Incremental Data Migration	Menentukan apakah akan mengaktifkan pembatasan untuk migrasi data inkremental. Untuk mengonfigurasi pembatasan, Anda harus mengonfigurasi parameter RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s). Ini mengurangi beban server database tujuan. Catatan Anda hanya dapat mengonfigurasi parameter ini jika Anda memilih Incremental Data Migration untuk parameter Migration Types.
      Environment Tag	Anda dapat memilih tag lingkungan untuk mengidentifikasi instans berdasarkan situasi aktual Anda. Dalam contoh ini, tidak ada tag lingkungan yang dipilih.
      Configure ETL	Menentukan apakah akan mengaktifkan fitur ekstraksi, transformasi, dan pemuatan (ETL). Untuk informasi lebih lanjut, lihat Apa itu ETL? Nilai valid: Yes: mengonfigurasi fitur ETL. Anda dapat memasukkan pernyataan pemrosesan data di editor kode. Untuk informasi lebih lanjut, lihat Konfigurasikan ETL dalam Tugas Migrasi Data atau Tugas Sinkronisasi Data. No: tidak mengonfigurasi fitur ETL.
      Monitoring and Alerting	Menentukan apakah akan mengonfigurasi peringatan untuk tugas migrasi data. Jika tugas gagal atau latensi migrasi melebihi ambang batas yang ditentukan, kontak peringatan menerima notifikasi. Nilai valid: No: tidak mengonfigurasi peringatan. Yes: mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan pengaturan notifikasi peringatan. Untuk informasi lebih lanjut, lihat bagian Konfigurasikan Pemantauan dan Peringatan saat Membuat Tugas DTS dari topik Konfigurasikan Pemantauan dan Peringatan.

7. Simpan pengaturan tugas dan jalankan pracheck.

   • Untuk melihat parameter yang harus ditentukan saat Anda memanggil operasi API terkait untuk mengonfigurasi tugas DTS, gerakkan penunjuk mouse ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.

   • Jika Anda tidak perlu melihat atau telah melihat parameter, klik Next: Save Task Settings and Precheck di bagian bawah halaman.

   Catatan

   • Sebelum Anda dapat memulai tugas migrasi data, DTS melakukan pracheck. Anda hanya dapat memulai tugas migrasi data setelah tugas lulus pracheck.

   • Jika tugas gagal lulus pracheck, klik View Details di sebelah setiap item yang gagal. Setelah Anda menganalisis penyebab berdasarkan hasil pemeriksaan, atasi masalah tersebut. Kemudian, jalankan pracheck lagi.

   • Jika peringatan dipicu untuk suatu item selama pracheck:

     • Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan atasi masalah tersebut. Kemudian, jalankan pracheck lagi.

     • Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog Lihat Detail, klik Ignore. Di pesan yang muncul, klik OK. Kemudian, klik Precheck Again untuk menjalankan pracheck lagi. Jika Anda mengabaikan item peringatan, ketidaksesuaian data mungkin terjadi, dan bisnis Anda mungkin terpapar risiko potensial.

8. Beli instans.

   1. Tunggu hingga Success Rate menjadi 100%. Kemudian, klik Next: Purchase Instance.

   2. Di halaman Purchase Instance, konfigurasikan parameter Kelas Instans untuk instans migrasi data. Tabel berikut menjelaskan parameter.

      Bagian	Parameter	Deskripsi
      New Instance Class	Resource Group	Grup sumber daya tempat instans migrasi data berada. Nilai default: default resource group. Untuk informasi lebih lanjut, lihat Apa itu Resource Management?
      	Instance Class	DTS menyediakan kelas instans yang bervariasi dalam kecepatan migrasi. Anda dapat memilih kelas instans berdasarkan skenario bisnis Anda. Untuk informasi lebih lanjut, lihat Kelas instans tugas migrasi data.

   3. Baca dan setujui Data Transmission Service (Pay-as-you-go) Service Terms dengan memilih kotak centang.

   4. Klik Buy and Start. Di pesan yang muncul, klik OK.

   5. Anda dapat melihat kemajuan tugas di halaman Migrasi Data.

Pemetaan Tipe Data

Contoh Penetapan Nilai

{
  "_id":"62cd344c85c1ea6a2a9f****",
  "person":{
    "name":"neo",
    "age":26,
    "sex":"male"
  }
}