全部产品
Search
文档中心

Data Transmission Service:Sinkronkan data dari instans ApsaraDB for MongoDB ke instans Lindorm

更新时间:Jul 06, 2025

Topik ini menjelaskan cara menyinkronkan data dari instans replika set atau klaster sharded ApsaraDB for MongoDB ke instans Lindorm menggunakan Data Transmission Service (DTS). Lindorm adalah solusi yang stabil, hemat biaya, dan mudah digunakan. Lindorm menawarkan fitur fleksibel dan andal untuk menyimpan berbagai jenis data seperti metadata, pesanan, tagihan, profil, serta informasi jejaring sosial dengan konkurensi tinggi dan latensi rendah.

Prasyarat

Catatan penggunaan

Kategori

Deskripsi

Batas pada database sumber

  • Persyaratan bandwidth: Server tempat database sumber diterapkan harus memiliki bandwidth keluar yang cukup. Jika tidak, kecepatan sinkronisasi data akan terpengaruh.

  • Koleksi yang akan disinkronkan harus memiliki kendala PRIMARY KEY atau UNIQUE dan semua bidang harus unik. Jika tidak, database tujuan mungkin mengandung catatan data duplikat.

  • Jika database sumber adalah instans klaster sharded ApsaraDB for MongoDB, bidang _id dalam koleksi yang akan disinkronkan harus unik. Jika tidak, ketidaksesuaian data mungkin terjadi.

  • Jika database sumber adalah instans klaster sharded ApsaraDB for MongoDB, jumlah node Mongos dalam instans tidak boleh melebihi 10.

  • Jika Anda memilih koleksi sebagai objek yang akan disinkronkan dan Anda perlu mengedit koleksi di database tujuan, seperti mengganti nama koleksi, hingga 1.000 koleksi dapat disinkronkan dalam satu tugas sinkronisasi data. Jika Anda menjalankan tugas untuk menyinkronkan lebih dari 1.000 koleksi, kesalahan permintaan terjadi. Dalam hal ini, kami sarankan Anda mengonfigurasi beberapa tugas untuk menyinkronkan koleksi secara batch, atau mengonfigurasi tugas untuk menyinkronkan seluruh database.

  • Ukuran entri data tunggal yang akan disinkronkan dari database sumber tidak boleh melebihi 16 MB. Jika tidak, tugas gagal.

  • Database sumber tidak bisa menjadi klaster Azure Cosmos DB for MongoDB atau klaster elastis Amazon DocumentDB.

  • Fitur oplog harus diaktifkan untuk database sumber dan harus menyimpan data log setidaknya selama tujuh hari. Sebagai alternatif, aliran perubahan harus diaktifkan untuk memastikan bahwa DTS dapat berlangganan perubahan data di database sumber dalam tujuh hari terakhir. Jika tidak, DTS mungkin gagal mendapatkan perubahan data di database sumber dan sinkronisasi data gagal. Dalam beberapa keadaan, ketidaksesuaian data atau kehilangan data mungkin terjadi. Masalah yang timbul dalam keadaan seperti itu tidak dicakup oleh perjanjian tingkat layanan (SLA) DTS.

    Penting
    • Kami sarankan Anda menggunakan oplog untuk mencatat perubahan data di database sumber.

    • Hanya MongoDB 4.0 dan versi lebih baru yang memungkinkan Anda menggunakan aliran perubahan untuk mendapatkan perubahan data di database sumber. Sinkronisasi dua arah tidak didukung saat Anda menggunakan aliran perubahan untuk mendapatkan perubahan data di database sumber.

    • Jika database sumber adalah klaster non-elastis Amazon DocumentDB, Anda harus mengaktifkan aliran perubahan dan mengatur parameter Migration Method ke ChangeStream dan parameter Architecture ke Sharded Cluster.

  • Batas pada operasi yang akan dilakukan pada database sumber:

    • Selama sinkronisasi data penuh, jangan ubah skema database atau koleksi atau data tipe ARRAY. Jika tidak, tugas sinkronisasi data gagal, atau ketidaksesuaian data terjadi antara database sumber dan tujuan.

    • Jika Anda hanya melakukan sinkronisasi data penuh, jangan tulis data ke database sumber selama sinkronisasi data.

    • Jika instans MongoDB sumber menggunakan arsitektur klaster sharded, jangan jalankan perintah yang mengubah distribusi data objek yang akan disinkronkan selama tugas sinkronisasi. Perintah ini termasuk shardCollection, reshardCollection, unshardCollection, moveCollection, dan movePrimary. Jika tidak, ketidaksesuaian data mungkin terjadi.

  • Anda tidak dapat menyinkronkan koleksi yang berisi indeks time to live (TTL). Jika database sumber berisi indeks TTL, ketidaksesuaian data mungkin terjadi antara database sumber dan tujuan setelah sinkronisasi.

  • Pastikan instans klaster sharded ApsaraDB for MongoDB sumber tidak mengandung dokumen yatim piatu. Jika tidak, ketidaksesuaian data mungkin terjadi dan tugas mungkin gagal. Untuk informasi lebih lanjut, lihat dokumentasi MongoDB dan bagian Bagaimana cara menghapus dokumen yatim piatu dari database MongoDB yang diterapkan dalam arsitektur klaster sharded? dari topik FAQ.

  • Jika database sumber adalah instans MongoDB yang menggunakan arsitektur klaster sharded dan balancer dari database sumber menyeimbangkan data, latensi mungkin terjadi di instans tersebut.

  • DTS tidak dapat terhubung ke database MongoDB melalui titik akhir SRV.

Batas lainnya

  • Hanya tugas sinkronisasi dalam wilayah Jerman (Frankfurt) yang didukung.

  • DTS tidak dapat menyinkronkan data dari database admin atau local.

  • Instans Lindorm tujuan tidak boleh berisi koleksi yang memiliki kolom _id atau _value. Jika tidak, tugas sinkronisasi data gagal.

  • Untuk menyinkronkan operasi UPDATE atau DELETE selama sinkronisasi data inkremental, perhatikan batasan berikut:

    • Jika tabel lebar dibuat dengan menjalankan pernyataan SQL Lindorm, Anda harus menambahkan kolom kunci non-primer bernama _mongo_id_ saat Anda membuat tabel. Tipe data kolom ditentukan oleh kolom _id di instans ApsaraDB for MongoDB sumber. Selain itu, Anda harus membuat indeks sekunder pada kolom kunci non-primer.

    • Jika tabel lebar dibuat dengan memanggil API Apache HBase, Anda harus menambahkan kolom kunci non-primer bernama _mongo_id_ yang keluarga kolomnya adalah f saat Anda membuat tabel. Tipe data kolom ditentukan oleh kolom _id di instans ApsaraDB for MongoDB sumber. Selain itu, Anda harus membuat indeks sekunder pada kolom kunci non-primer. Jika Anda ingin menambahkan kolom tambahan dan menggunakan fitur ekstraksi, transformasi, dan pemuatan (ETL), pastikan instans Lindorm tidak mengandung data duplikat.

  • Informasi transaksi tidak dipertahankan. Saat transaksi disinkronkan ke database tujuan, transaksi dikonversi menjadi catatan tunggal.

  • Data yang akan disinkronkan di instans Lindorm harus memenuhi persyaratan yang ditentukan dalam Batas pada permintaan data. Jika tidak, tugas gagal.

  • Sebelum Anda menyinkronkan data, evaluasi dampak sinkronisasi data terhadap kinerja database sumber dan tujuan. Kami sarankan Anda menyinkronkan data selama jam-jam sepi. Selama sinkronisasi data penuh, DTS menggunakan sumber daya baca dan tulis dari database sumber dan tujuan. Hal ini dapat meningkatkan beban pada server database.

  • Selama sinkronisasi data penuh, operasi INSERT bersamaan menyebabkan fragmentasi dalam koleksi database tujuan. Setelah sinkronisasi data penuh selesai, penggunaan penyimpanan koleksi di database tujuan lebih besar daripada koleksi di database sumber.

  • Pastikan pengaturan presisi untuk kolom tipe FLOAT atau DOUBLE memenuhi kebutuhan bisnis Anda. DTS menggunakan fungsi ROUND(COLUMN,PRECISION) untuk mengambil nilai dari kolom tipe FLOAT atau DOUBLE. Jika Anda tidak menentukan presisi, DTS menetapkan presisi untuk kolom tipe FLOAT menjadi 38 digit dan presisi untuk kolom tipe DOUBLE menjadi 308 digit.

  • DTS mencoba melanjutkan tugas sinkronisasi data yang gagal dalam tujuh hari terakhir. Sebelum Anda beralih beban kerja Anda ke database tujuan, Anda harus menghentikan atau melepaskan tugas yang gagal. Anda juga dapat mengeksekusi pernyataan REVOKE untuk mencabut izin tulis dari akun yang digunakan oleh DTS untuk mengakses database tujuan. Jika tidak, data di database sumber menimpa data di instans tujuan setelah tugas dilanjutkan secara otomatis.

  • DTS menghitung latensi sinkronisasi data inkremental berdasarkan cap waktu data yang disinkronkan terbaru di database tujuan dan cap waktu saat ini di database sumber. Jika tidak ada operasi pembaruan yang dilakukan pada database sumber untuk periode waktu yang lama, latensi sinkronisasi mungkin tidak akurat. Jika latensi tugas sinkronisasi data terlalu tinggi, Anda dapat melakukan operasi pembaruan pada database sumber untuk memperbarui latensi.

  • Jika instans gagal berjalan, personel dukungan teknis DTS akan mencoba memulihkan instans dalam waktu 8 jam. Selama proses pemulihan, instans mungkin di-restart atau parameter mungkin disesuaikan.

    Catatan

    Saat parameter disesuaikan, hanya parameter instans DTS yang dimodifikasi. Parameter database tidak dimodifikasi. Parameter yang mungkin dimodifikasi termasuk tetapi tidak terbatas pada parameter dalam Ubah parameter instans.

Penagihan

Jenis Sinkronisasi

Biaya Konfigurasi Tugas

Sinkronisasi Data Penuh

Gratis.

Sinkronisasi Data Inkremental

Dikenakan biaya. Untuk informasi lebih lanjut, lihat Ikhtisar Penagihan.

Jenis Sinkronisasi

Jenis Sinkronisasi

Deskripsi

Sinkronisasi Data Penuh

DTS menyinkronkan semua data yang ada dari objek yang dipilih dari instans sumber ApsaraDB for MongoDB ke instans tujuan Lindorm.

Catatan

DTS mendukung sinkronisasi data penuh untuk jenis objek berikut: database dan koleksi.

Sinkronisasi Data Inkremental

DTS menyinkronkan data inkremental dari instans sumber ApsaraDB for MongoDB ke instans tujuan Lindorm.

Catatan
  • Hanya operasi insert, update, dan delete dokumen pada koleksi yang didukung.

  • Saat tugas DTS menyinkronkan data inkremental file, hanya perintah $set yang dapat dijalankan secara sinkron.

Izin yang diperlukan untuk akun database

Tipe Database

Izin yang Diperlukan

Pembuatan dan Otorisasi Akun

Sumber Instans ApsaraDB for MongoDB

Izin baca pada database sumber, admin, dan lokal.

Kelola izin pengguna database MongoDB

Instans Lindorm tujuan

Izin baca dan tulis pada namespace di instans Lindorm tujuan.

Manajemen izin untuk kontrol akses

Prosedur

  1. Gunakan salah satu metode berikut untuk pergi ke halaman Sinkronisasi Data dan pilih wilayah tempat instans sinkronisasi data berada.

    Konsol DTS

    1. Masuk ke Konsol DTS.

    2. Di bilah navigasi sebelah kiri, klik Data Synchronization.

    3. Di sudut kiri atas halaman, pilih wilayah tempat tugas sinkronisasi data berada.

    Konsol DMS

    Catatan

    Operasi aktual dapat bervariasi tergantung pada mode dan tata letak Konsol DMS. Untuk informasi lebih lanjut, lihat Mode Sederhana dan Sesuaikan Tata Letak dan Gaya Konsol DMS.

    1. Masuk ke Konsol DMS.

    2. Di bilah navigasi atas, gerakkan penunjuk mouse ke Data + AI dan pilih DTS (DTS) > Data Synchronization.

    3. Dari daftar drop-down di sebelah kanan Data Synchronization Tasks, pilih wilayah tempat instans sinkronisasi data berada.

  2. Klik Create Task untuk pergi ke halaman konfigurasi tugas.

  3. Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter.

    Kategori

    Parameter

    Deskripsi

    N/A

    Task Name

    Nama tugas DTS. DTS secara otomatis menghasilkan nama tugas. Kami sarankan Anda menentukan nama deskriptif yang memudahkan identifikasi tugas. Anda tidak perlu menentukan nama tugas yang unik.

    Source Database

    Select Existing Connection

    • Jika Anda menggunakan instans database yang terdaftar dengan DTS, pilih instans dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi lebih lanjut, lihat Kelola koneksi database.

      Catatan

      Di Konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance.

    • Jika Anda gagal mendaftarkan instans dengan DTS, atau Anda tidak perlu menggunakan instans yang terdaftar dengan DTS, Anda harus mengonfigurasi informasi database berikut.

    Database Type

    Tipe database sumber. Pilih MongoDB.

    Access Method

    Metode akses database sumber. Pilih Alibaba Cloud Instance.

    Instance Region

    Wilayah tempat instans sumber ApsaraDB for MongoDB berada.

    Replicate Data Across Alibaba Cloud Accounts

    Menentukan apakah data disinkronkan di seluruh akun Alibaba Cloud. Dalam contoh ini, No dipilih.

    Architecture

    Arsitektur tempat instans sumber diterapkan. Dalam contoh ini, Replica Set dipilih.

    Catatan

    Jika instans sumber ApsaraDB for MongoDB diterapkan dalam arsitektur Sharded Cluster, Anda harus mengonfigurasi parameter Shard account dan Shard password.

    Migration Method

    Metode yang digunakan untuk menyinkronkan data inkremental dari database sumber. Pilih metode berdasarkan kebutuhan bisnis Anda. Nilai valid:

    • Oplog (direkomendasikan):

      Opsi ini tersedia jika fitur oplog diaktifkan untuk database sumber.

      Catatan

      Secara default, fitur oplog diaktifkan untuk database MongoDB yang dikelola sendiri dan instans ApsaraDB for MongoDB. Fitur ini memungkinkan Anda menyinkronkan data inkremental dengan latensi rendah karena kecepatan penarikan log yang cepat. Oleh karena itu, kami sarankan Anda memilih Oplog untuk parameter Metode Migrasi.

    • ChangeStream:

      Opsi ini tersedia jika aliran perubahan diaktifkan untuk database sumber. Untuk informasi lebih lanjut, lihat Aliran Perubahan.

      Catatan
      • Jika database sumber adalah klaster inelastis Amazon DocumentDB, Anda hanya dapat menetapkan parameter Metode Migrasi ke ChangeStream.

      • Jika Anda memilih Sharded Cluster untuk parameter Architecture, Anda tidak perlu mengonfigurasi parameter Shard account dan Shard password.

    Instance ID

    ID instans sumber ApsaraDB for MongoDB.

    Authentication Database

    Nama database otentikasi yang menyimpan akun dan kata sandi database dari instans sumber ApsaraDB for MongoDB. Jika Anda tidak mengubah nama sebelumnya, nilai defaultnya adalah admin.

    Database Account

    Akun database dari instans sumber ApsaraDB for MongoDB. Untuk informasi lebih lanjut tentang izin yang diperlukan, lihat bagian Izin yang diperlukan untuk akun database dari topik ini.

    Database Password

    Kata sandi yang digunakan untuk mengakses database.

    Encryption

    Menentukan apakah akan mengenkripsi koneksi ke database sumber. Anda dapat memilih Non-encrypted, SSL-encrypted, atau Mongo Atlas SSL berdasarkan kebutuhan bisnis Anda. Opsi yang tersedia untuk parameter Encryption ditentukan oleh nilai yang dipilih untuk parameter Access Method dan Architecture. Opsi yang ditampilkan di Konsol DTS berlaku.

    Catatan
    • Jika parameter Architecture diatur ke Sharded Cluster, dan parameter Migration Method diatur ke Oplog untuk database ApsaraDB for MongoDB, parameter Enkripsi SSL-encrypted tidak tersedia.

    • Jika database sumber adalah database MongoDB yang dikelola sendiri yang menggunakan arsitektur Replica Set, parameter Access Method tidak diatur ke Alibaba Cloud Instance, dan parameter Enkripsi diatur ke SSL-encrypted, Anda dapat mengunggah sertifikat otoritas sertifikasi (CA) untuk memverifikasi koneksi ke database sumber.

    Destination Database

    Select Existing Connection

    • Jika Anda menggunakan instans database yang terdaftar dengan DTS, pilih instans dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi lebih lanjut, lihat Kelola koneksi database.

      Catatan

      Di Konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance.

    • Jika Anda gagal mendaftarkan instans dengan DTS, atau Anda tidak perlu menggunakan instans yang terdaftar dengan DTS, Anda harus mengonfigurasi informasi database berikut.

    Database Type

    Tipe database tujuan. Pilih Lindorm.

    Access Method

    Metode akses database tujuan. Pilih Alibaba Cloud Instance.

    Instance Region

    Wilayah tempat instans tujuan Lindorm berada.

    Instance ID

    ID instans tujuan Lindorm.

    Database Account

    Akun database dari instans tujuan Lindorm. Untuk informasi lebih lanjut tentang izin yang diperlukan untuk akun tersebut, lihat bagian Izin yang diperlukan untuk akun database dari topik ini.

    Database Password

    Kata sandi yang digunakan untuk mengakses database.

  4. Klik Test Connectivity and Proceed di bagian bawah halaman.

    Catatan
    • Pastikan blok CIDR server DTS dapat ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan untuk mengizinkan akses dari server DTS. Untuk informasi lebih lanjut, lihat Tambahkan Blok CIDR Server DTS.

    • Jika database sumber atau tujuan adalah database yang dikelola sendiri dan parameter Access Method tidak diatur ke Alibaba Cloud Instance, klik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.

  5. Konfigurasikan objek yang akan disinkronkan.

    1. Di langkah Configure Objects, konfigurasikan objek yang ingin disinkronkan.

      Parameter

      Deskripsi

      Synchronization Types

      Secara default, Incremental Data Synchronization dipilih. Anda hanya dapat memilih Full Data Synchronization. Anda tidak dapat memilih Schema Synchronization. Setelah pra-pemeriksaan selesai, DTS menyinkronkan data historis objek yang dipilih dari database sumber ke database tujuan. Data historis menjadi dasar untuk sinkronisasi inkremental selanjutnya.

      Processing Mode of Conflicting Tables

      Simpan pengaturan default.

      Capitalization of Object Names in Destination Instance

      Kapitalisasi nama database dan koleksi di instans tujuan. Secara default, DTS default policy dipilih. Anda dapat memilih opsi lain untuk memastikan bahwa kapitalisasi nama objek konsisten dengan kapitalisasi default nama objek di database sumber atau tujuan. Untuk informasi lebih lanjut, lihat Tentukan kapitalisasi nama objek di instans tujuan.

      Source Objects

      Pilih satu atau lebih objek dari bagian Source Objects dan klik ikon 向右 untuk menambahkan objek ke bagian Selected Objects.

      Catatan

      Anda dapat memilih koleksi sebagai objek yang akan disinkronkan.

      Selected Objects

      Jika tabel lebar di database tujuan dibuat dengan menjalankan pernyataan SQL, Anda harus menambahkan kolom tambahan ke tabel lebar berdasarkan objek yang akan disinkronkan dari database sumber. Kolom yang ada di database sumber tetapi tidak ditambahkan ke tabel lebar tidak akan disinkronkan ke database tujuan.

      1. Edit nama database.

        1. Di bagian Selected Objects, klik kanan database yang berisi koleksi yang akan disinkronkan.

        2. Di kotak dialog Edit Skema, masukkan nama database yang ingin Anda gunakan di instans Lindorm di bidang Schema Name.

          image.png

        3. Opsional. Pilih operasi yang ingin Anda sinkronkan selama sinkronisasi data inkremental di bagian Select DML Operations to Be Synchronized.

        4. Klik OK.

      2. Edit nama tabel.

        1. Di bagian Selected Objects, klik kanan koleksi yang ingin Anda sinkronkan.

        2. Di kotak dialog Edit Nama Tabel, masukkan nama tabel yang ingin Anda gunakan di instans Lindorm di bidang Table Name.

          image.png

        3. Opsional. Anda dapat menentukan kondisi untuk memfilter data. Untuk informasi lebih lanjut, lihat Tentukan kondisi filter.

        4. Opsional. Pilih operasi yang ingin Anda sinkronkan selama sinkronisasi data inkremental di bagian Select DML Operations to Be Synchronized.

      3. Tentukan bidang yang akan disinkronkan dari instans sumber ApsaraDB for MongoDB.

        Secara default, DTS memetakan data koleksi yang akan disinkronkan dan mengonfigurasi ekspresi di kolom Assign Value. Anda harus memeriksa apakah ekspresi tersebut memenuhi kebutuhan Anda dan menentukan parameter Column Name, Type, Length, dan Precision.

        1. Dalam ekspresi bson_value() di kolom Assign Value, lihat nama bidang baris data di instans ApsaraDB for MongoDB.

          Bidang dalam "" adalah nama bidang di instans ApsaraDB for MongoDB. Sebagai contoh, jika ekspresinya adalah bson_value("age"), age adalah nama bidang baris data di instans ApsaraDB for MongoDB.

        2. Opsional: Anda dapat menghapus bidang yang tidak perlu disinkronkan.

          Catatan

          Klik ikon image setelah baris data untuk menghapus bidang yang tidak perlu disinkronkan.

        3. Tentukan bidang yang akan disinkronkan.

          Lakukan salah satu prosedur berikut berdasarkan apakah ekspresi bson_value() memenuhi kebutuhan Anda.

          Ekspresi memenuhi persyaratan bidang

          1. Konfigurasikan parameter Column Name.

            Catatan

            Masukkan nama kolom di tabel yang digunakan untuk menerima data di instans tujuan Lindorm.

            • Jika tabel tujuan dibuat dengan menjalankan pernyataan SQL, tentukan nama kolom ini sebagai nilai parameter Column Name.

            • Jika tabel tujuan dibuat dengan memanggil API Apache HBase dan kolom tambahan diperlukan, Anda harus membuat pemetaan kolom sebelum mengedit nama kolom. Untuk informasi lebih lanjut, lihat bagian Contoh menambahkan pemetaan kolom untuk tabel yang dibuat dengan memanggil API Apache HBase dari topik ini. Perhatikan aturan berikut saat menentukan parameter Column Name:

              • Jika kolom adalah kunci primer, tentukan ROW sebagai nama kolom.

              • Jika kolom bukan kunci primer, tentukan parameter Nama Kolom dalam format Keluarga Kolom:Nama Kolom. Contoh: person:name.

          2. Pilih tipe data Type untuk setiap kolom.

            Penting

            Pastikan bahwa tipe data tabel tujuan kompatibel dengan data di instans sumber ApsaraDB for MongoDB.

          3. Opsional: Tentukan panjang data length dan precision untuk setiap kolom.

          4. Ulangi langkah-langkah sebelumnya untuk memetakan kolom tabel sumber ke kolom tabel tujuan.

          Ekspresi tidak memenuhi persyaratan bidang

          Catatan

          Sebagai contoh, bidang dengan hubungan hierarkis seperti struktur induk-anak.

          1. Di kolom Actions, klik ikon image setelah baris data.

          2. Klik + New Column.image

          3. Konfigurasikan parameter Column Name, Type, Length, dan Precision.

          4. Masukkan ekspresi bson_value() di bidang Assign Value. Untuk informasi lebih lanjut, lihat bagian Contoh Penetapan Nilai dari topik ini.

            Penting
            • Anda harus menetapkan bson_value("_id") ke kolom kunci primer tabel tujuan.

            • Anda harus menentukan bidang dan sub-bidang setiap kolom dalam ekspresi bson_value() yang sesuai berdasarkan hubungan hierarkis. Jika tidak, kehilangan data mungkin terjadi atau tugas mungkin gagal.

          5. Ulangi langkah-langkah sebelumnya untuk memetakan kolom tabel sumber ke kolom tabel tujuan.

      4. Klik OK.

    2. Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.

      Parameter

      Deskripsi

      Dedicated Cluster for Task Scheduling

      Secara default, DTS menjadwalkan tugas ke klaster bersama jika Anda tidak menentukan klaster khusus. Jika Anda ingin meningkatkan stabilitas instans sinkronisasi data, belilah klaster khusus. Untuk informasi lebih lanjut, lihat Apa Itu Klaster Khusus DTS?

      Retry Time for Failed Connections

      Rentang waktu ulang untuk koneksi gagal. Jika database sumber atau tujuan gagal terhubung setelah tugas sinkronisasi data dimulai, DTS segera mencoba kembali koneksi dalam rentang waktu tersebut. Nilai valid: 10 hingga 1440. Unit: menit. Nilai default: 720. Kami sarankan menetapkan parameter ini ke nilai lebih besar dari 30. Jika DTS berhasil menyambung kembali ke database sumber dan tujuan dalam rentang waktu yang ditentukan, DTS melanjutkan tugas sinkronisasi data. Jika tidak, tugas sinkronisasi data gagal.

      Catatan
      • Jika Anda menentukan rentang waktu ulang yang berbeda untuk beberapa tugas sinkronisasi data yang memiliki database sumber atau tujuan yang sama, rentang waktu ulang terpendek yang berlaku.

      • Saat DTS mencoba kembali koneksi, Anda akan dikenakan biaya untuk instans DTS. Kami sarankan menentukan rentang waktu ulang berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepaskan instans DTS sesegera mungkin setelah instans sumber dan tujuan dilepaskan.

      Retry Time for Other Issues

      Rentang waktu ulang untuk masalah lain. Sebagai contoh, jika operasi DDL atau DML gagal dilakukan setelah tugas sinkronisasi data dimulai, DTS segera mencoba kembali operasi dalam rentang waktu tersebut. Nilai valid: 1 hingga 1440. Unit: menit. Nilai default: 10. Kami sarankan menetapkan parameter ini ke nilai lebih besar dari 10. Jika operasi gagal berhasil dilakukan dalam rentang waktu yang ditentukan, DTS melanjutkan tugas sinkronisasi data. Jika tidak, tugas sinkronisasi data gagal.

      Penting

      Nilai parameter Retry Time for Other Issues harus lebih kecil dari nilai parameter Retry Time for Failed Connections.

      Enable Throttling for Full Data Synchronization

      Selama sinkronisasi data penuh, DTS menggunakan sumber daya baca dan tulis dari database sumber dan tujuan. Hal ini dapat meningkatkan beban pada server database. Anda dapat mengonfigurasi parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s) untuk tugas sinkronisasi data penuh guna mengurangi beban pada server database tujuan.

      Catatan

      Anda hanya dapat mengonfigurasi parameter ini jika Full Data Synchronization dipilih untuk parameter Synchronization Types.

      Only one data type for primary key _id in a table of the data to be synchronized

      Apakah tipe data untuk kunci primer _id dalam koleksi data yang akan disinkronkan unik. Nilai valid:

      Catatan
      • Tentukan parameter ini berdasarkan kebutuhan bisnis Anda. Jika tidak, data mungkin hilang.

      • Parameter ini hanya ditampilkan jika Full Data Synchronization dipilih untuk parameter Synchronization Types.

      • Yes: Tipe data unik. Selama sinkronisasi data penuh, DTS tidak memindai tipe data untuk kunci primer _id dari data yang akan disinkronkan dari database sumber. DTS hanya menyinkronkan data kunci primer untuk satu tipe data dalam satu koleksi.

      • No: Tipe data tidak unik. Selama sinkronisasi data penuh, DTS memindai tipe data untuk kunci primer _id dari data yang akan disinkronkan dari database sumber dan menyinkronkan semua data yang akan disinkronkan.

      Enable Throttling for Incremental Data Synchronization

      Menentukan apakah akan mengaktifkan pembatasan untuk sinkronisasi data inkremental. Anda dapat mengaktifkan pembatasan untuk sinkronisasi data inkremental berdasarkan kebutuhan bisnis Anda. Untuk mengonfigurasi pembatasan, Anda harus mengonfigurasi parameter RPS of Incremental Data Synchronization dan Data synchronization speed for incremental synchronization (MB/s). Ini mengurangi beban pada server database tujuan.

      Environment Tag

      Tag lingkungan yang digunakan untuk mengidentifikasi instans DTS. Anda dapat memilih tag lingkungan berdasarkan kebutuhan bisnis Anda. Dalam contoh ini, Anda tidak perlu mengonfigurasi parameter ini.

      Configure ETL

      Menentukan apakah akan mengaktifkan fitur ekstraksi, transformasi, dan pemuatan (ETL). Untuk informasi lebih lanjut, lihat Apa Itu ETL? Nilai valid:

      Catatan

      Jika tabel tujuan di instans Lindorm dibuat dengan memanggil API Apache HBase, perhatikan hal-hal berikut:

      • Anda harus menentukan kolom yang akan disinkronkan dan yang tidak akan disinkronkan dalam skrip ETL. Secara default, bidang tingkat atas dokumen yang ditentukan dalam tugas ETL disimpan dalam keluarga kolom f tabel yang dibuat dengan memanggil API Apache HBase selama sinkronisasi data. Kode berikut menunjukkan cara menulis baris data kolom selain _id dan name sebagai kolom dinamis ke tabel tujuan. Untuk informasi lebih lanjut, lihat bagian Contoh Mengonfigurasi Tugas ETL untuk Tabel yang Dibuat dengan Memanggil API Apache HBase dari topik ini.

        script:e_expand_bson_value("*", "_id,name")
      • Jika Anda ingin menambahkan kolom tambahan dan menggunakan fitur ETL, pastikan instans Lindorm tidak mengandung data duplikat.

      • DTS tidak menyinkronkan kolom tambahan atau kolom yang tidak termasuk dalam tugas ETL ke database tujuan.

      Monitoring and Alerting

      Menentukan apakah akan mengonfigurasi peringatan untuk instans sinkronisasi data. Jika tugas gagal atau latensi sinkronisasi melebihi ambang batas yang ditentukan, kontak peringatan akan menerima notifikasi. Nilai valid:

      • No: tidak mengaktifkan peringatan.

      • Yes: mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan pengaturan notifikasi peringatan. Untuk informasi lebih lanjut, lihat bagian "Konfigurasikan Pemantauan dan Peringatan Saat Anda Membuat Tugas DTS" dari topik Konfigurasikan Pemantauan dan Peringatan.

  6. Simpan pengaturan tugas dan jalankan pra-pemeriksaan.

    • Untuk melihat parameter yang harus ditentukan saat Anda memanggil operasi API terkait untuk mengonfigurasi tugas DTS, gerakkan penunjuk mouse ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.

    • Jika Anda tidak perlu melihat atau telah melihat parameter, klik Next: Save Task Settings and Precheck di bagian bawah halaman.

    Catatan
    • Sebelum Anda dapat memulai tugas sinkronisasi data, DTS melakukan pra-pemeriksaan. Anda hanya dapat memulai tugas sinkronisasi data setelah tugas lulus pra-pemeriksaan.

    • Jika tugas sinkronisasi data gagal pra-pemeriksaan, klik View Details di sebelah setiap item yang gagal. Setelah Anda menganalisis penyebab berdasarkan hasil pemeriksaan, perbaiki masalah tersebut. Kemudian, jalankan kembali pra-pemeriksaan.

    • Jika peringatan dipicu untuk suatu item selama pra-pemeriksaan:

      • Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan perbaiki masalah tersebut. Kemudian, jalankan pra-pemeriksaan lagi.

      • Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog Lihat Detail, klik Ignore. Di pesan yang muncul, klik OK. Kemudian, klik Precheck Again untuk menjalankan pra-pemeriksaan lagi. Jika Anda mengabaikan item peringatan, ketidaksesuaian data mungkin terjadi, dan bisnis Anda mungkin terpapar risiko potensial.

  7. Beli instans.

    1. Tunggu hingga Success Rate menjadi 100%. Kemudian, klik Next: Purchase Instance.

    2. Di halaman buy, konfigurasikan parameter Metode Penagihan dan Kelas Instans untuk tugas sinkronisasi data. Tabel berikut menjelaskan parameter.

      Bagian

      Parameter

      Deskripsi

      New Instance Class

      Metode Penagihan

      • Langganan: Anda membayar langganan saat membuat instans sinkronisasi data. Metode penagihan berlangganan lebih hemat biaya daripada metode penagihan bayar sesuai pemakaian untuk penggunaan jangka panjang.

      • Bayar sesuai pemakaian: Instans bayar sesuai pemakaian ditagih per jam. Metode penagihan bayar sesuai pemakaian cocok untuk penggunaan jangka pendek. Jika Anda tidak lagi memerlukan instans sinkronisasi data bayar sesuai pemakaian, Anda dapat melepaskan instans untuk mengurangi biaya.

      Pengaturan Grup Sumber Daya

      Grup sumber daya tempat instans sinkronisasi data termasuk. Nilai default: default resource group. Untuk informasi lebih lanjut, lihat Apa itu Manajemen Sumber Daya?

      Kelas Instans

      DTS menyediakan kelas instans yang bervariasi dalam kecepatan sinkronisasi. Anda dapat memilih kelas instans berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Kelas instans tugas sinkronisasi data.

      Durasi Langganan

      Jika Anda memilih metode penagihan berlangganan, tentukan durasi langganan dan jumlah instans sinkronisasi data yang ingin Anda buat. Durasi langganan bisa satu hingga sembilan bulan, satu tahun, dua tahun, tiga tahun, atau lima tahun.

      Catatan

      Parameter ini hanya tersedia jika Anda memilih metode penagihan Subscription.

    3. Baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.

    4. Klik Buy and Start. Di kotak dialog yang muncul, klik OK.

      Anda dapat melihat kemajuan tugas di daftar tugas.

Contoh menambahkan pemetaan kolom untuk tabel yang dibuat dengan memanggil API Apache HBase

Dalam contoh ini, SQL Shell digunakan.

Catatan

Versi mesin instans Lindorm harus 2.4.0 atau lebih baru.

  1. Buat pemetaan kolom untuk tabel yang dibuat dengan memanggil API Apache HBase:

    ALTER TABLE test MAP DYNAMIC COLUMN f:_mongo_id_ HSTRING/HINT/..., person:name HSTRING, person:age HINT;
  2. Buat indeks sekunder untuk tabel yang dibuat dengan memanggil API Apache HBase:

    CREATE INDEX idx ON test(f:_mongo_id_);

Contoh mengonfigurasi tugas ETL untuk tabel yang dibuat dengan memanggil API Apache HBase

Dokumen di instans sumber ApsaraDB for MongoDB

{
  "_id" : 0,
  "person" : {
    "name" : "cindy0",
    "age" : 0,
    "student" : true
  }
}

Sintaks ETL

script:e_expand_bson_value("*", "_id")

Hasil Sinkronisasi

迁移结果

Contoh Penetapan Nilai

Struktur data instans sumber ApsaraDB for MongoDB

{
  "_id":"62cd344c85c1ea6a2a9f****",
  "person":{
    "name":"neo",
    "age":"26",
    "sex":"male"
  }
}

Skema tabel tujuan di instans Lindorm.

Nama Kolom

Kategori

id

STRING

person_name

STRING

person_age

INT

Konfigurasi kolom tambahan

Penting

Anda harus menentukan bidang dan sub-bidang setiap kolom dalam ekspresi bson_value() yang sesuai berdasarkan hubungan hierarkis. Jika tidak, kehilangan data mungkin terjadi atau tugas mungkin gagal. Sebagai contoh, jika Anda hanya menentukan bidang person dari kolom sumber menggunakan ekspresi bson_value("person"), DTS tidak dapat menulis data inkremental di sub-bidang bidang person, seperti name, age, dan sex, ke kolom tujuan.

Nama Kolom

Kategori

Nilai

id

STRING

bson_value("_id")

person_name

STRING

bson_value("person","name")

person_age

BIGINT

bson_value("person","age")