Data Transmission Service:Migrasi ApsaraDB for MongoDB ke Lindorm

Prasyarat

• Hanya tugas migrasi dalam wilayah Jerman (Frankfurt) yang didukung.

• Instans sumber ApsaraDB for MongoDB harus berupa replica set atau kluster sharded.

  Penting

  Jika sumbernya adalah kluster sharded ApsaraDB for MongoDB, Anda harus mengajukan titik akhir untuk setiap node shard dan memastikan bahwa semua node shard menggunakan akun dan kata sandi yang sama. Untuk petunjuknya, lihat Ajukan titik akhir untuk shard.

• Anda telah membuat instans Lindorm target yang menggunakan mesin tabel lebar. Untuk petunjuknya, lihat Buat instans.

  Catatan

  Kami menyarankan menyediakan kapasitas penyimpanan instans target minimal 10% lebih besar daripada kapasitas yang digunakan oleh instans sumber.

• Anda telah membuat tabel lebar di instans Lindorm sesuai kebutuhan bisnis Anda. Untuk petunjuknya, lihat Hubungkan ke dan gunakan mesin tabel lebar dengan Lindorm-cli atau Akses mesin tabel lebar dengan Lindorm Shell.

  Catatan

  • Objek yang Anda buat harus mematuhi Konvensi penamaan dan batasan.

  • Jika tabel lebar di Lindorm dibuat menggunakan HBase, kami menyarankan Anda menambahkan pemetaan kolom ke tabel agar kolom-kolomnya menjadi kolom reguler. Untuk informasi selengkapnya, lihat Tambahkan pemetaan kolom ke tabel HBase.

Batasan

Penagihan

Tipe migrasi

Izin akun database

Prosedur

Prosedur ini menggunakan tabel lebar, yang dibuat di Lindorm dengan Lindorm SQL, sebagai contoh database tujuan.

1. Buka halaman daftar tugas migrasi untuk wilayah tujuan menggunakan salah satu metode berikut.

   Dari Konsol DTS

   1. Login ke Konsol Data Transmission Service (DTS).

   2. Di panel navigasi kiri, klik Data Migration.

   3. Di pojok kiri atas halaman, pilih wilayah tempat instans migrasi berada.

   Dari Konsol DMS

   Catatan

   Operasi aktual dapat berbeda tergantung pada mode dan tata letak Konsol DMS. Untuk informasi selengkapnya, lihat Konsol mode sederhana dan Sesuaikan tata letak dan gaya Konsol DMS.

   1. Login ke Konsol Data Management (DMS).

   2. Di bilah menu atas, pilih Data + AI > Data Transmission (DTS) > Data Migration.

   3. Di sebelah kanan Data Migration Tasks, pilih wilayah tempat instans migrasi berada.

2. Klik Create Task untuk membuka halaman konfigurasi tugas.

3. Konfigurasikan database sumber dan tujuan.

   Bagian	Parameter	Deskripsi
   N/A	Task Name	DTS secara otomatis menghasilkan nama tugas. Kami menyarankan Anda menentukan nama deskriptif untuk memudahkan identifikasi. Nama tersebut tidak harus unik.
   Source Database	Select Existing Connection	Untuk menggunakan instans database yang telah ditambahkan ke sistem (dibuat atau disimpan), pilih instans database yang diinginkan dari daftar drop-down. Informasi database di bawah ini akan dikonfigurasi secara otomatis. Catatan Di Konsol DMS, parameter ini bernama Select a DMS database instance.. Jika Anda belum mendaftarkan instans database ke sistem, atau tidak perlu menggunakan instans terdaftar, konfigurasikan informasi database secara manual di bawah ini.
   	Database Type	Pilih MongoDB.
   	Connection Type	Pilih Alibaba Cloud Instance.
   	Instance Region	Pilih wilayah tempat instans sumber ApsaraDB for MongoDB berada.
   	Replicate Data Across Alibaba Cloud Accounts	Dalam contoh ini, data dimigrasikan dalam akun Alibaba Cloud yang sama. Pilih No.
   	Architecture	Dalam contoh ini, Replica Set dipilih. Catatan Jika Anda mengatur Architecture ke Sharded Cluster, Anda juga harus menentukan Shard account dan Shard password.
   	Migration Method	Pilih metode untuk migrasi data inkremental berdasarkan kebutuhan Anda. Oplog (Direkomendasikan): Opsi ini tersedia jika oplog diaktifkan untuk database sumber. Catatan Oplog diaktifkan secara default baik untuk database MongoDB yang dikelola sendiri maupun instans ApsaraDB for MongoDB. Metode ini menawarkan latensi lebih rendah untuk migrasi data inkremental karena log ditarik lebih cepat. Oleh karena itu, kami menyarankan memilih Oplog. ChangeStream: Opsi ini tersedia jika Change Streams diaktifkan untuk database sumber. Catatan Jika database sumber adalah instans Amazon DocumentDB (kluster non-elastis), Anda hanya dapat memilih ChangeStream. Jika Anda mengatur Architecture ke Sharded Cluster untuk database sumber, Anda tidak perlu memasukkan Shard account atau Shard password.
   	Instance ID	Pilih ID instans sumber ApsaraDB for MongoDB.
   	Authentication Database	Masukkan nama database tempat akun database sumber ApsaraDB for MongoDB berada. Nilai default-nya adalah admin.
   	Database Account	Masukkan akun database instans sumber ApsaraDB for MongoDB.
   	Database Password	Masukkan password yang sesuai dengan akun database tersebut.
   	Encryption	DTS mendukung tiga metode koneksi: Non-encrypted, SSL-encrypted, dan Mongo Atlas SSL. Opsi untuk Encryption bervariasi berdasarkan Access Method dan Architecture yang dipilih. Opsi yang ditampilkan di konsol berlaku. Catatan Database MongoDB dengan Architecture Sharded Cluster dan Migration Method Oplog tidak mendukung SSL-encrypted. Jika sumbernya adalah database MongoDB yang dikelola sendiri (Access Method bukan Alibaba Cloud Instance) dengan arsitektur Replica Set, dan Anda memilih SSL-encrypted, DTS juga memungkinkan Anda mengunggah sertifikat CA untuk memverifikasi koneksi.
   Destination Database	Select Existing Connection	Untuk menggunakan instans database yang telah ditambahkan ke sistem (dibuat atau disimpan), pilih instans database yang diinginkan dari daftar drop-down. Informasi database di bawah ini akan dikonfigurasi secara otomatis. Catatan Di Konsol DMS, parameter ini bernama Select a DMS database instance.. Jika Anda belum mendaftarkan instans database ke sistem, atau tidak perlu menggunakan instans terdaftar, konfigurasikan informasi database secara manual di bawah ini.
   	Database Type	Pilih Lindorm.
   	Connection Type	Pilih Alibaba Cloud Instance.
   	Instance Region	Pilih wilayah tempat instans Lindorm tujuan berada.
   	Instance ID	Pilih ID instans Lindorm tujuan.
   	Database Account	Masukkan akun database instans Lindorm tujuan.
   	Database Password	Masukkan password yang sesuai dengan akun database tersebut.

4. Setelah menyelesaikan konfigurasi, klik Test Connectivity and Proceed di bagian bawah halaman.

   Catatan

   • Pastikan segmen alamat IP layanan DTS telah ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan untuk mengizinkan akses dari server DTS. Untuk informasi selengkapnya, lihat Tambahkan alamat IP server DTS ke daftar putih.

   • Jika database sumber atau tujuan adalah database yang dikelola sendiri (Access Method bukan Alibaba Cloud Instance), Anda juga harus mengklik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers yang muncul.

5. Konfigurasikan objek tugas.

   1. Di halaman Configure Objects, konfigurasikan objek yang ingin Anda migrasikan.

      Parameter	Deskripsi
      Migration Types	Jika Anda hanya perlu melakukan migrasi penuh, pilih Full Data Migration. Untuk melakukan migrasi tanpa downtime, pilih Full Data Migration dan Incremental Data Migration. Catatan Jika Anda tidak memilih Incremental Data Migration, jangan menulis data baru ke instans sumber selama migrasi data untuk memastikan konsistensi data.
      Processing Mode of Conflicting Tables	Anda dapat mempertahankan pengaturan default.
      Capitalization of Object Names in Destination Instance	Anda dapat mengonfigurasi kebijakan sensitivitas huruf besar/kecil untuk nama objek yang dimigrasikan, seperti database dan koleksi, di instans tujuan. Secara default, DTS default policy dipilih. Anda juga dapat memilih untuk menjaga konsistensi sensitivitas huruf besar/kecil sesuai kebijakan default database sumber atau tujuan. Untuk informasi selengkapnya, lihat Sensitivitas huruf besar/kecil nama objek di database tujuan.
      Source Objects	Di panel Source Objects, klik koleksi yang ingin Anda migrasikan dan klik ikon untuk memindahkannya ke panel Selected Objects.
      Selected Objects	Jika tabel lebar tujuan dibuat menggunakan Lindorm SQL, Anda harus menambahkan kolom baru untuk migrasi data. DTS tidak akan memigrasikan kolom yang tidak dikonfigurasi. Edit pemetaan nama database. Di panel Selected Objects, klik kanan database yang berisi koleksi yang akan dimigrasikan. Ubah Schema Name menjadi nama database tujuan di Lindorm. Opsional: Di bagian Select DDL and DML Operations to Be Synchronized, pilih operasi untuk migrasi inkremental. Klik OK. Edit pemetaan nama tabel. Di panel Selected Objects, klik kanan koleksi yang akan dimigrasikan. Ubah Table Name menjadi nama tabel tujuan di Lindorm. Opsional: Tentukan kondisi filter. Untuk informasi selengkapnya, lihat Atur kondisi filter. Opsional: Di bagian Select DDL and DML Operations to Be Synchronized, pilih operasi untuk migrasi inkremental. Konfigurasikan field yang akan dimigrasikan dari MongoDB. Secara default, DTS memetakan data koleksi yang akan dimigrasikan dan mengonfigurasi ekspresi di kolom Parameter Value. Anda perlu memeriksa apakah ekspresi tersebut memenuhi kebutuhan Anda dan mengonfigurasi parameter seperti Column Name, Type, Length, dan Precision. Di kolom Parameter Value, lihat nama field untuk baris di MongoDB dalam ekspresi bson_value(). String dalam "" menentukan nama field di MongoDB. Misalnya, jika ekspresinya adalah bson_value("age"), data di baris ini sesuai dengan field age di MongoDB. Opsional: Hapus field yang tidak ingin Anda migrasikan. Catatan Untuk menghapus field yang tidak ingin Anda migrasikan, klik ikon di baris field tersebut. Konfigurasikan field yang akan dimigrasikan. Ambil tindakan lebih lanjut berdasarkan apakah ekspresi bson_value() memenuhi kebutuhan Anda. Ekspresi yang cocok Masukkan Column Name. Catatan Masukkan nama kolom tujuan di tabel Lindorm. Jika tabel tujuan dibuat menggunakan SQL, atur Column Name menjadi nama kolom tujuan di tabel Lindorm. Jika tabel tujuan dibuat menggunakan API HBase dan Anda perlu menambahkan kolom baru, Anda harus menambahkan pemetaan kolom sebelum mengubah nama kolom. Untuk informasi selengkapnya, lihat Contoh menambahkan pemetaan kolom untuk tabel yang dibuat dengan memanggil API Apache HBase. Atur Column Name berdasarkan aturan berikut: Jika kolom adalah kunci primer, atur namanya menjadi ROW. Jika kolom bukan kunci primer, gunakan format keluarga kolom:nama kolom. Contoh: person:name. Pilih Type data untuk kolom tersebut. Penting Pastikan tipe data tabel tujuan kompatibel dengan tipe data di database MongoDB sumber. Opsional: Konfigurasikan Length dan Precision data kolom. Ulangi langkah-langkah di atas untuk memetakan setiap field yang diperlukan. Ekspresi kustom Catatan Misalnya, field dengan hubungan hierarkis (struktur induk-anak). Di kolom Actions, klik ikon di baris field tersebut. Klik + Add Column. Konfigurasikan Column Name, Type, Length, dan Precision. Di kotak teks di bawah Parameter Value, masukkan ekspresi bson_value(). Untuk informasi selengkapnya, lihat Contoh Konfigurasi Nilai. Penting Kolom kunci primer tabel tujuan harus diberi nilai bson_value("_id"). Saat mengonfigurasi ekspresi bson_value(), Anda harus menentukan path ke subfield tingkat terendah. Jika tidak, kehilangan data atau kegagalan tugas dapat terjadi. Ulangi langkah-langkah di atas untuk memetakan setiap field yang diperlukan. Klik OK.

   2. Klik Next: Advanced Settings untuk mengonfigurasi parameter lanjutan.

      Parameter	Deskripsi
      Dedicated Cluster for Task Scheduling	Secara default, DTS menjadwalkan tugas pada kluster bersama. Anda tidak perlu memilihnya. Jika Anda menginginkan tugas yang lebih stabil, Anda dapat membeli kluster khusus untuk menjalankan tugas migrasi DTS.
      Retry Time for Failed Connections	Setelah tugas migrasi dimulai, jika koneksi ke database sumber atau tujuan gagal, DTS melaporkan error dan segera mulai mencoba menghubungkan kembali. Durasi coba ulang default adalah 720 menit. Anda dapat menyesuaikan waktu coba ulang ke nilai antara 10 hingga 1440 menit. Kami menyarankan Anda mengatur durasi lebih dari 30 menit. Jika DTS berhasil terhubung kembali ke database sumber dan tujuan dalam durasi yang ditentukan, tugas migrasi akan dilanjutkan secara otomatis. Jika tidak, tugas akan gagal. Catatan Untuk beberapa instans DTS yang berbagi sumber atau tujuan yang sama, waktu coba ulang jaringan ditentukan oleh pengaturan tugas yang terakhir dibuat. Karena Anda dikenai biaya untuk tugas selama periode coba ulang koneksi, kami menyarankan Anda menyesuaikan waktu coba ulang berdasarkan kebutuhan bisnis Anda, atau segera merilis instans DTS setelah instans database sumber dan tujuan dirilis.
      Retry Time for Other Issues	Setelah tugas migrasi dimulai, jika terjadi masalah non-konektivitas, seperti pengecualian eksekusi DDL atau DML, di database sumber atau tujuan, DTS melaporkan error dan segera mulai mencoba mengulang operasi tersebut. Durasi coba ulang default adalah 10 menit. Anda dapat menyesuaikan waktu coba ulang ke nilai antara 1 hingga 1440 menit. Kami menyarankan Anda mengatur durasi lebih dari 10 menit. Jika operasi terkait berhasil dalam durasi coba ulang yang ditentukan, tugas migrasi akan dilanjutkan secara otomatis. Jika tidak, tugas akan gagal. Penting Nilai Retry Time for Other Issues harus kurang dari nilai Retry Time for Failed Connections.
      Enable Throttling for Full Data Migration	Selama migrasi penuh, DTS mengonsumsi sumber daya baca dan tulis di database sumber dan tujuan, yang dapat meningkatkan beban database. Jika diperlukan, Anda dapat mengaktifkan pembatasan kecepatan untuk tugas migrasi penuh. Anda dapat mengatur Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s) untuk mengurangi beban pada database tujuan. Catatan Item konfigurasi ini hanya tersedia jika Anda memilih Full Data Migration untuk Migration Types. Anda juga dapat menyesuaikan kecepatan migrasi penuh setelah instans migrasi berjalan.
      Only one data type for primary key _id in a table of the data to be synchronized	Dalam data yang akan dimigrasikan, apakah tipe data kunci primer _id seragam dalam satu koleksi? Penting Pilih opsi berdasarkan kebutuhan Anda. Jika tidak, kehilangan data dapat terjadi. Parameter ini hanya tersedia jika Anda memilih Full Data Migration untuk Migration Types. Yes: Tipe data unik. Selama migrasi data penuh, DTS tidak memindai tipe data kunci primer di data sumber. Untuk satu koleksi, DTS hanya memigrasikan data yang sesuai dengan satu tipe data kunci primer. No: Tipe data tidak unik. Selama migrasi data penuh, DTS memindai tipe data kunci primer di data sumber dan memigrasikan semua data.
      Enable Throttling for Incremental Data Migration	Jika diperlukan, Anda juga dapat memilih untuk mengatur batas kecepatan untuk tugas migrasi inkremental. Anda dapat mengatur RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s) untuk mengurangi beban pada database tujuan. Catatan Item konfigurasi ini hanya tersedia jika Anda memilih Incremental Data Migration untuk Migration Types. Anda juga dapat menyesuaikan kecepatan migrasi inkremental setelah instans migrasi berjalan.
      Environment Tag	Anda dapat memilih tag lingkungan untuk mengidentifikasi instans berdasarkan kebutuhan bisnis Anda. Dalam contoh ini, Anda tidak perlu memilih tag.
      Configure ETL	Berdasarkan kebutuhan bisnis Anda, pilih apakah akan mengonfigurasi fitur ETL untuk memproses data. Yes: Mengonfigurasi fitur ETL. Anda juga harus memasukkan pernyataan pemrosesan data di kotak teks. No: Tidak mengonfigurasi fitur ETL. Catatan Jika tabel tujuan dibuat menggunakan API HBase, perhatikan hal berikut: Sintaksis ETL mencakup kolom yang akan dikonfigurasi dan kolom yang akan dikecualikan. Selama migrasi, semua field tingkat atas dokumen MongoDB yang dikonfigurasi ETL-nya disimpan di keluarga kolom default f tabel HBase. Contoh berikut menunjukkan cara menulis semua elemen kecuali elemen tingkat atas _id dan name sebagai kolom dinamis ke tabel tujuan. Untuk informasi selengkapnya, lihat Contoh mengonfigurasi tugas ETL untuk tabel yang dibuat dengan memanggil API Apache HBase. script:e_expand_bson_value("*", "_id,name") Jika Anda perlu menggunakan fitur kolom baru dan ETL secara bersamaan, pastikan tidak ada data duplikat di instans Lindorm. Kolom yang tidak dikonfigurasi baik dengan fitur kolom baru maupun ETL tidak akan dimigrasikan ke database tujuan.
      Monitoring and Alerting	Pilih apakah akan mengatur peringatan dan menerima pemberitahuan peringatan berdasarkan kebutuhan bisnis Anda. No: Tidak mengatur peringatan. Yes: Konfigurasikan peringatan dengan mengatur ambang batas peringatan dan pemberitahuan peringatan. Jika migrasi gagal atau latensi melebihi ambang batas, sistem akan mengirim pemberitahuan peringatan.

6. Simpan tugas dan jalankan pemeriksaan awal.

   • Untuk melihat parameter konfigurasi instans ini saat memanggil operasi API, arahkan pointer ke tombol Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters di balon yang muncul.

   • Jika Anda tidak perlu melihat atau telah selesai melihat parameter API, klik Next: Save Task Settings and Precheck di bagian bawah halaman.

   Catatan

   • Sebelum tugas migrasi dimulai, DTS melakukan pemeriksaan awal. Tugas hanya akan dimulai setelah lulus pemeriksaan awal.

   • Jika pemeriksaan awal gagal, klik View Details di sebelah item pemeriksaan yang gagal, perbaiki masalah berdasarkan petunjuk, lalu jalankan pemeriksaan awal lagi.

   • Jika peringatan dilaporkan selama pemeriksaan awal:

     • Untuk item pemeriksaan yang tidak dapat diabaikan, klik View Details di sebelah item yang gagal, perbaiki masalah berdasarkan petunjuk, lalu jalankan pemeriksaan awal lagi.

     • Untuk item pemeriksaan yang dapat diabaikan, Anda dapat mengklik Confirm Alert Details, Ignore, OK, dan Precheck Again untuk melewati item peringatan dan menjalankan pemeriksaan awal lagi. Jika Anda memilih untuk mengabaikan peringatan, hal ini dapat menyebabkan masalah seperti ketidakkonsistenan data dan menimbulkan risiko bagi bisnis Anda.

7. Beli instans.

   1. Saat Success Rate mencapai 100%, klik Next: Purchase Instance.

   2. Di halaman Purchase, pilih spesifikasi link untuk instans migrasi data. Untuk informasi selengkapnya, lihat tabel berikut.

      Kategori	Parameter	Deskripsi
      New Instance Class	Resource Group Settings	Pilih kelompok sumber daya tempat instans tersebut berada. Nilai default-nya adalah kelompok sumber daya default. Untuk informasi selengkapnya, lihat Apa itu Resource Management?
      	Instance Class	DTS menyediakan spesifikasi migrasi dengan tingkat kinerja berbeda. Spesifikasi link memengaruhi kecepatan migrasi. Anda dapat memilih spesifikasi berdasarkan skenario bisnis Anda. Untuk informasi selengkapnya, lihat Spesifikasi link migrasi data.

   3. Setelah konfigurasi selesai, baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Klik Buy and Start. Di kotak dialog OK yang muncul, klik OK.

      Anda dapat melihat progres tugas migrasi di halaman daftar Data Migration Tasks.

      Catatan

      • Jika tugas migrasi tidak mencakup migrasi inkremental, tugas akan berhenti secara otomatis setelah migrasi penuh selesai. Setelah tugas berhenti, Status-nya berubah menjadi Completed.

      • Jika tugas migrasi mencakup migrasi inkremental, tugas tidak akan berhenti secara otomatis. Tugas migrasi inkremental akan terus berjalan. Selama tugas migrasi inkremental berjalan, Status tugas adalah Running.

Pemetaan kolom tabel HBase

1. Tambahkan pemetaan kolom ke tabel HBase.

   ALTER TABLE test MAP DYNAMIC COLUMN f:_mongo_id_ HSTRING/HINT/..., person:name HSTRING, person:age HINT;

2. Buat indeks sekunder pada tabel HBase.

   CREATE INDEX idx ON test(f:_mongo_id_);

Migrasi tabel HBase (ETL)

{
  "_id" : 0,
  "person" : {
    "name" : "cindy0",
    "age" : 0,
    "student" : true
  }
}

script:e_expand_bson_value("*", "_id")

Contoh konfigurasi penugasan

{
  "_id":"62cd344c85c1ea6a2a9f****",
  "person":{
    "name":"neo",
    "age":"26",
    "sex":"male"
  }
}