Data Transmission Service:Konfigurasi verifikasi data

Catatan penggunaan

• DTS tidak mendukung verifikasi data inkremental untuk instans database dalam jaringan klasik.

• DTS tidak mendukung verifikasi data untuk instans yang memiliki fitur multi-table merging diaktifkan.

• DTS tidak mendukung verifikasi data untuk instans dengan status Status Completed.

• DTS tidak memverifikasi tabel yang memiliki lebih dari 10.000 baris dan tidak memiliki primary key atau unique index.

• Jika data tidak memiliki batasan primary key maupun unique constraint, DTS tidak melakukan verifikasi data inkremental.

• Jika Anda me-restart instans sinkronisasi atau migrasi—misalnya dengan menjeda lalu menjalankannya kembali—tugas verifikasi penuh dalam instans tersebut akan dimulai ulang.

• DTS tidak memverifikasi tabel tujuan yang kosong.

• Sebelum menjalankan tugas verifikasi, evaluasi performa database sumber dan tujuan. Lakukan verifikasi data pada jam sepi, misalnya saat Beban CPU database sumber dan tujuan berada di bawah 30%. Selama verifikasi data, DTS mengonsumsi sumber daya baca dari kedua database tersebut, yang dapat meningkatkan beban database. Jika database memiliki performa buruk, spesifikasi rendah, atau workload berat, peningkatan beban ini dapat menyebabkan layanan menjadi tidak tersedia.

• Saat Anda mengonfigurasi tugas verifikasi data dalam instans sinkronisasi atau migrasi data, pilihan Anda untuk Synchronization Types atau Migration Types menentukan opsi yang tersedia untuk Data Verification Mode.

  Misalnya, jika Anda hanya memilih Incremental Data Migration untuk Migration Types, satu-satunya opsi yang tersedia untuk Data Verification Mode adalah Incremental Data Verification.

• Tugas verifikasi data inkremental hanya memverifikasi data yang berubah selama tugas inkremental. Tugas ini tidak memverifikasi data yang diubah secara manual di database tujuan.

• DTS tidak mendukung verifikasi inkremental untuk tugas verifikasi data yang dikonfigurasi dari daftar tugas verifikasi data.

• Saat Anda memverifikasi jumlah data kecil menggunakan metode Full field validation by row sampling, persentase sampling yang ditentukan tidak berlaku. Nilainya secara default adalah 100%.

• Jika Anda memilih metode Full field validation by row sampling untuk verifikasi data pada instans MongoDB, persentase sampling tetap pada 100% dan tidak dapat diubah.

• Jika Anda memilih Full field validation by row sampling untuk Full Data Verification, jangan gunakan fitur ETL secara bersamaan. Jika tidak, data yang dimodifikasi oleh fitur ETL akan ditandai sebagai tidak konsisten.

• DTS tidak mendukung verifikasi data untuk materialized views.

• Selama tugas verifikasi penuh, jika satu tabel berisi lebih dari 100.000 baris data yang tidak konsisten, DTS akan menghentikan verifikasi tabel tersebut. Kurangi jumlah data yang tidak konsisten, lalu verifikasi kembali tabel tersebut.

• Jika suatu objek berisi kolom tersembunyi (hidden columns), hal ini dapat memengaruhi hasil verifikasi skema.

• Anda dikenai biaya untuk tugas validasi inkremental bahkan saat tugas tersebut dijeda.

Wilayah yang didukung

Untuk informasi lebih lanjut mengenai wilayah yang didukung, lihat daftar wilayah yang didukung.

Tautan yang didukung

Konfigurasi tugas verifikasi data

1. Buka halaman daftar tugas verifikasi data. Pilih salah satu metode berikut.

   Konsol DTS (cepat)

   1. Buka halaman Data Verification.

   2. Opsional: Di pojok kiri atas halaman, pilih wilayah instans verifikasi.

   Konsol DTS (standar)

   1. Login ke Konsol Data Transmission Service (DTS).

   2. Di panel navigasi kiri, klik Data Verification.

   3. Opsional: Di pojok kiri atas halaman, pilih wilayah instans verifikasi.

   Konsol DMS

   Catatan

   Langkah-langkah aktual dapat berbeda tergantung pada mode dan tata letak konsol DMS. Untuk informasi lebih lanjut, lihat Konsol mode sederhana dan Menyesuaikan tata letak dan gaya antarmuka DMS.

   1. Login ke Konsol Data Management Service (DMS).

   2. Di bilah menu atas, pilih Data + AI > Data Transmission (DTS) > Data Verification.

   3. Opsional: Di sebelah kanan Verification Task, pilih wilayah instans verifikasi.

2. Navigasi ke halaman konfigurasi tugas verifikasi data dengan menggunakan salah satu metode berikut:

   • Jika Anda telah membeli tugas verifikasi data (pembelian sebelum konfigurasi), temukan tugas tersebut dan klik Configure Task di kolom Actions.

     Untuk mempelajari cara membeli tugas verifikasi data, lihat Membeli tugas verifikasi data.

   • Jika Anda belum membeli tugas verifikasi data (konfigurasi sebelum pembelian), klik Create Task.

3. Konfigurasikan database sumber dan tujuan. Untuk detailnya, lihat Ikhtisar solusi sinkronisasi data atau Ikhtisar solusi migrasi data.

   Catatan

   • Anda tidak dapat mengubah Instance Region untuk tugas yang telah dibeli sebelumnya.

   • Jika database sumber adalah kluster sharded MongoDB, Anda tidak perlu memberikan Shard account atau Shard password.

4. Setelah menyelesaikan konfigurasi, klik Test Connectivity and Proceed di bagian bawah halaman.

   Catatan

   • Pastikan segmen alamat IP layanan DTS telah ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan agar server DTS dapat mengaksesnya. Untuk informasi lebih lanjut, lihat Menambahkan alamat IP server DTS ke daftar putih.

   • Jika database sumber atau tujuan adalah database yang dikelola sendiri (metode Access Method bukan Alibaba Cloud Instance), Anda juga harus mengklik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers yang muncul.

5. Atur Data Verification Mode.

   Pilih metode verifikasi data. Jika Anda memilih Full Data Verification, Anda juga harus mengonfigurasi parameter yang dijelaskan dalam tabel berikut.

   Catatan

   • Full Data Verification: Memverifikasi seluruh data objek yang ditentukan.

   • Schema Verification: Memverifikasi skema database dan tabel objek yang ditentukan.

   • DTS tidak mendukung verifikasi inkremental untuk tugas verifikasi data yang dikonfigurasi dari daftar tugas verifikasi data.

   Parameter	Deskripsi
   Full Data Verification	Full field validation by row sampling: Tentukan persentase sampling untuk memverifikasi semua bidang dari baris yang disampling. Nilainya harus berupa bilangan bulat antara 10 hingga 100. Verify based on the number of table rows: Memverifikasi jumlah baris dari tugas data penuh. Konten data aktual tidak diverifikasi. Catatan Mode Verify based on the number of table rows tidak dikenai biaya. Mode Full field validation by row sampling dikenai biaya berdasarkan jumlah data yang diverifikasi.
   Full Data Verification Time Rule	Saat ini, hanya Start Now yang didukung.
   Timeout Settings for Full Data Verification	No: Tugas verifikasi data penuh tidak dipaksa dihentikan saat timeout. Yes: Tentukan periode timeout untuk tugas verifikasi data penuh. Penghitung waktu dimulai setelah tugas dijalankan. Jika tugas tidak selesai dalam periode yang ditentukan, tugas tersebut akan dipaksa dihentikan. Nilainya harus berupa bilangan bulat antara 1 hingga 72.
   Full calibration reference	Default: Menggunakan gabungan database sumber dan tujuan sebagai acuan untuk memverifikasi konsistensi data. Source Database: Menggunakan database sumber sebagai acuan untuk memverifikasi konsistensi data. Data tambahan di database tujuan tidak diverifikasi. Destination Database: Menggunakan database tujuan sebagai acuan untuk memverifikasi konsistensi data. Data tambahan di database sumber tidak diverifikasi.
   Maximum number of rows of data read per second by full verification (RPS)	Verifikasi data penuh mengonsumsi sumber daya baca dari database. Untuk mengurangi beban pada database, Anda dapat mengatur pembatasan laju untuk tugas verifikasi data penuh, seperti jumlah maksimum baris per detik (RPS) dan throughput baca maksimum dalam megabyte per detik (MBps). Catatan Nilai 0 menunjukkan tidak ada batasan. Jika baik Maximum number of rows of data read per second by full verification (RPS) maupun Maximum amount of data read per second by full verification (MBps) diatur ke 0, tidak ada pembatasan laju yang diterapkan.
   Maximum amount of data read per second by full verification (MBps)

6. Atur Verification Objects.

   1. Pilih objek yang akan diverifikasi di database sumber.

      Di kotak Source Objects, pilih objek yang akan diverifikasi lalu klik untuk memindahkannya ke kotak Selected Objects.

      Catatan

      Anda hanya dapat mengatur Table Name dan Column Name untuk tabel tujuan jika Anda mengatur granularitas objek verifikasi ke tingkat tabel.

   2. Atur objek yang akan diverifikasi di database tujuan.

      1. Di kotak Selected Objects, klik kanan skema yang telah Anda pindahkan.

      2. Di kotak dialog Edit Schema, atur Schema Name untuk database tujuan lalu klik OK.

      3. Di kotak Selected Objects, klik kanan tabel yang telah Anda pindahkan.

      4. Di kotak dialog Edit Table, atur Table Name untuk tabel tujuan.

      5. Opsional: Di bagian Column, atur nama kolom tujuan di kolom Column Name.

         Catatan

         Anda juga dapat menghapus centang pada kotak centang Sync All Columns dan memilih kolom tertentu yang akan diverifikasi.

      6. Setelah menyelesaikan pengaturan, klik OK.

   3. Opsional: Konfigurasikan peringatan verifikasi.

      Jika Anda memilih Full Data Verification untuk parameter Data Verification Mode, Anda juga dapat mengonfigurasi Full Data Verification Alert.

      Catatan

      Anda juga dapat mengatur atau memodifikasi peringatan verifikasi data setelah instans DTS berjalan.

      Parameter	Deskripsi
      Full Data Verification Alert	No: Tidak ada peringatan yang dikonfigurasi. Yes: Pilih dan konfigurasikan salah satu aturan peringatan berikut: Memicu peringatan jika tugas verifikasi data penuh gagal. Memicu peringatan jika jumlah catatan yang tidak konsisten dari tugas verifikasi data penuh lebih besar dari atau sama dengan ambang batas yang ditentukan.

      Penting

      Untuk menerima notifikasi atas peringatan yang dikonfigurasi, Anda juga harus berlangganan di CloudMonitor. Untuk informasi lebih lanjut, lihat Mengonfigurasi aturan peringatan untuk tugas DTS di CloudMonitor.

7. Klik Next: Advanced Settings.

   Konfigurasi	Deskripsi
   Dedicated Cluster for Task Scheduling	Secara default, DTS menjadwalkan tugas pada kluster bersama, sehingga tidak diperlukan pemilihan. Anda dapat membeli klaster khusus untuk menjalankan tugas DTS. Untuk informasi lebih lanjut, lihat Apa itu klaster khusus DTS?.
   Retry Time for Failed Connections	Setelah tugas sinkronisasi dimulai, jika koneksi ke database sumber atau tujuan gagal, DTS melaporkan error dan segera mulai mencoba koneksi ulang. Durasi percobaan ulang default adalah 720 menit. Anda juga dapat menentukan durasi kustom antara 10 hingga 1.440 menit. Kami menyarankan Anda mengatur durasi minimal 30 menit. Jika DTS berhasil terhubung kembali ke database dalam durasi yang ditentukan, tugas sinkronisasi akan dilanjutkan secara otomatis. Jika tidak, tugas tersebut gagal. Catatan Jika Anda memiliki beberapa instans DTS (misalnya, Instans A dan Instans B) yang berbagi sumber atau tujuan yang sama, dan Anda mengatur waktu percobaan ulang jaringan menjadi 30 menit untuk Instans A dan 60 menit untuk Instans B, durasi yang lebih pendek yaitu 30 menit akan digunakan untuk keduanya. Karena DTS mengenakan biaya berdasarkan waktu proses tugas selama periode percobaan ulang koneksi, kami menyarankan Anda menyesuaikan durasi percobaan ulang sesuai kebutuhan bisnis atau segera menghentikan instans DTS setelah instans database sumber dan tujuan dilepas.
   Retry Time for Other Issues	Setelah tugas sinkronisasi dimulai, jika terjadi masalah non-koneksi lainnya pada database sumber atau tujuan (seperti eksepsi eksekusi DDL atau DML), DTS melaporkan error dan segera memulai operasi percobaan ulang berkelanjutan. Durasi percobaan ulang default adalah 10 menit. Anda juga dapat menyesuaikan durasi percobaan ulang dalam rentang 1 hingga 1.440 menit. Kami menyarankan Anda mengatur durasi minimal 10 menit. Jika operasi terkait berhasil dalam durasi percobaan ulang yang ditetapkan, tugas sinkronisasi akan dilanjutkan secara otomatis. Jika tidak, tugas tersebut gagal. Penting Nilai untuk Retry Time for Other Issues harus lebih kecil daripada nilai untuk Retry Time for Failed Connections.
   Environment Tag	Parameter ini opsional. Anda dapat memilih tag lingkungan untuk mengidentifikasi instans berdasarkan kebutuhan bisnis Anda.

8. Simpan tugas dan jalankan pemeriksaan awal.

   • Untuk melihat parameter konfigurasi instans ini saat memanggil operasi API, arahkan pointer ke tombol Next: Save Task Settings and Precheck lalu klik Preview OpenAPI parameters pada balon yang muncul.

   • Jika Anda tidak perlu melihat atau telah selesai melihat parameter API, klik Next: Save Task Settings and Precheck di bagian bawah halaman.

   Catatan

   • DTS menjalankan pemeriksaan awal sebelum tugas verifikasi data dimulai. Tugas hanya akan dimulai setelah lulus pemeriksaan awal ini.

   • Jika pemeriksaan awal gagal, klik View Details di sebelah item pemeriksaan yang gagal, perbaiki masalah berdasarkan prompt, lalu jalankan kembali pemeriksaan awal.

   • Jika peringatan dilaporkan selama pemeriksaan awal:

     • Untuk item pemeriksaan yang tidak dapat diabaikan, klik View Details di sebelah item yang gagal, perbaiki masalah berdasarkan prompt, lalu jalankan kembali pemeriksaan awal.

     • Untuk item pemeriksaan yang dapat diabaikan, Anda dapat mengklik Confirm Alert Details, Ignore, OK, dan Precheck Again untuk melewati item peringatan dan menjalankan kembali pemeriksaan awal. Jika Anda memilih untuk mengabaikan peringatan, hal ini dapat menyebabkan masalah seperti ketidakkonsistenan data dan menimbulkan risiko bagi bisnis Anda.

9. Lihat progres tugas verifikasi data.

   • Untuk tugas yang telah dibeli sebelumnya: Saat Success Rate mencapai 100%, klik Back.

   • Untuk tugas yang dikonfigurasi sebelum pembelian: Saat Success Rate mencapai 100%, klik Next: Purchase Instance, baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms, klik Buy and Start, lalu klik OK.

Konfigurasi verifikasi data

1. Buka halaman Data Verification.

   • Untuk instans DTS baru: Untuk membuka halaman ini, lihat topik konfigurasi terkait di Ikhtisar solusi sinkronisasi data atau Ikhtisar solusi migrasi data.

   • Untuk instans DTS yang sudah ada:

     1. Buka daftar tugas sinkronisasi atau migrasi.

     2. Klik ID instans target.

     3. Di halaman Basic Information atau Task Management, klik Create Verification Task.

2. Konfigurasikan Data Verification Mode.

   Catatan

   • Full Data Verification: Memverifikasi data dalam tugas data penuh. Jika instans tidak mencakup tugas inkremental, verifikasi dimulai setelah instans dibuat dan data penuh ditulis. Jika instans mencakup tugas inkremental, verifikasi dimulai setelah instans dibuat dan latensi replikasi turun ke nol untuk pertama kalinya.

   • Incremental Data Verification: Memverifikasi data dalam tugas inkremental. Verifikasi dimulai setelah instans dibuat dan latensi replikasi turun ke nol untuk pertama kalinya.

   • Schema Verification: Memverifikasi skema objek yang dipilih. Jika instans tidak mencakup tugas inkremental, verifikasi dimulai setelah instans dibuat dan skema tabel serta data penuh ditulis. Jika instans mencakup tugas inkremental, verifikasi dimulai setelah instans dibuat dan latensi replikasi turun ke nol untuk pertama kalinya.

   Verifikasi data penuh

   Jika Anda memilih Full Data Verification, Anda juga harus mengonfigurasi parameter yang dijelaskan dalam tabel berikut.

   Parameter	Deskripsi
   Full Data Verification	Full field validation by row sampling: Tentukan persentase sampling untuk memverifikasi semua bidang dari baris yang disampling. Nilainya harus berupa bilangan bulat antara 10 hingga 100. Verify based on the number of table rows: Memverifikasi jumlah baris dari tugas data penuh. Konten data aktual tidak diverifikasi. Catatan Mode Verify based on the number of table rows tidak dikenai biaya. Mode Full field validation by row sampling dikenai biaya berdasarkan jumlah data yang diverifikasi.
   Full Data Verification Time Rule	Saat ini, hanya Start Now yang didukung.
   Timeout Settings for Full Data Verification	No: Tugas verifikasi data penuh tidak dipaksa dihentikan saat timeout. Yes: Tentukan periode timeout untuk tugas verifikasi data penuh. Penghitung waktu dimulai setelah tugas dijalankan. Jika tugas tidak selesai dalam periode yang ditentukan, tugas tersebut akan dipaksa dihentikan. Nilainya harus berupa bilangan bulat antara 1 hingga 72.
   Full calibration reference	Default: Menggunakan gabungan database sumber dan tujuan sebagai acuan untuk memverifikasi konsistensi data. Source Database: Menggunakan database sumber sebagai acuan untuk memverifikasi konsistensi data. Data tambahan di database tujuan tidak diverifikasi. Destination Database: Menggunakan database tujuan sebagai acuan untuk memverifikasi konsistensi data. Data tambahan di database sumber tidak diverifikasi.
   Maximum number of rows of data read per second by full verification (RPS)	Verifikasi data penuh mengonsumsi sumber daya baca dari database. Untuk mengurangi beban pada database, Anda dapat mengatur pembatasan laju untuk tugas verifikasi data penuh, seperti jumlah maksimum baris per detik (RPS) dan throughput baca maksimum dalam megabyte per detik (MBps). Catatan Nilai 0 menunjukkan tidak ada batasan. Jika baik Maximum number of rows of data read per second by full verification (RPS) maupun Maximum amount of data read per second by full verification (MBps) diatur ke 0, tidak ada pembatasan laju yang diterapkan.
   Maximum amount of data read per second by full verification (MBps)

   Verifikasi data inkremental

   Jika Anda memilih Incremental Data Verification, Anda juga harus mengonfigurasi parameter yang dijelaskan dalam tabel berikut.

   Parameter	Deskripsi
   Incremental Verification Benchmark	Anda dapat memilih operasi DML yang akan diverifikasi.

3. Tentukan Verification Objects.

   Di kotak Selected Objects, pilih objek yang akan dikecualikan dari verifikasi lalu klik ikon untuk menghapusnya.

   Catatan

   Secara default, DTS menambahkan objek yang dipilih untuk sinkronisasi atau migrasi ke kotak Selected Objects.

4. Konfigurasikan peringatan verifikasi.

   Konfigurasikan parameter berikut sesuai kebutuhan.

   Catatan

   Anda juga dapat mengatur atau memodifikasi peringatan verifikasi data setelah instans DTS berjalan.

   Parameter	Deskripsi
   Full Data Verification Alert	No: Tidak ada peringatan yang dikonfigurasi. Yes: Pilih dan konfigurasikan salah satu aturan peringatan berikut: Memicu peringatan jika tugas verifikasi data penuh gagal. Memicu peringatan jika jumlah catatan yang tidak konsisten dari tugas verifikasi data penuh lebih besar dari atau sama dengan ambang batas yang ditentukan.
   Incremental Data Verification Alert	No: Tidak ada peringatan yang dikonfigurasi. Yes: Pilih dan konfigurasikan salah satu aturan peringatan berikut: Memicu peringatan jika tugas verifikasi data inkremental gagal. Memicu peringatan jika jumlah catatan yang tidak konsisten mencapai atau melebihi ambang batas yang ditentukan dalam sejumlah periode statistik berturut-turut. Memicu peringatan jika latensi data mencapai atau melebihi ambang batas yang ditentukan dalam sejumlah periode statistik berturut-turut.

   Penting

   Untuk menerima notifikasi atas peringatan yang dikonfigurasi, Anda juga harus berlangganan di CloudMonitor. Untuk informasi lebih lanjut, lihat Mengonfigurasi aturan peringatan untuk tugas DTS di CloudMonitor.

5. Ikuti petunjuk di layar dan rujuk topik terkait untuk menyelesaikan konfigurasi.

Memodifikasi peringatan verifikasi

1. Buka halaman daftar tugas verifikasi data menggunakan salah satu dari tiga metode berikut.

   Catatan

   Jika Anda mengonfigurasi tugas verifikasi data dalam instans sinkronisasi atau migrasi Data Transmission Service (DTS), Anda juga dapat membuka halaman daftar tugas sinkronisasi atau migrasi yang sesuai.

   Konsol DTS (cepat)

   1. Buka halaman Data Verification.

   2. Opsional: Di pojok kiri atas halaman, pilih wilayah instans verifikasi.

   Konsol DTS (standar)

   1. Login ke Konsol Data Transmission Service (DTS).

   2. Di panel navigasi kiri, klik Data Verification.

   3. Opsional: Di pojok kiri atas halaman, pilih wilayah instans verifikasi.

   Konsol DMS

   Catatan

   Langkah-langkah aktual dapat berbeda tergantung pada mode dan tata letak konsol DMS. Untuk informasi lebih lanjut, lihat Konsol mode sederhana dan Menyesuaikan tata letak dan gaya antarmuka DMS.

   1. Login ke Konsol Data Management Service (DMS).

   2. Di bilah menu atas, pilih Data + AI > Data Transmission (DTS) > Data Verification.

   3. Opsional: Di sebelah kanan Verification Task, pilih wilayah instans verifikasi.

2. Di kolom Actions untuk instans target, pilih > Alert Settings.

   Catatan

   Atau, klik ID instans target, lalu klik Alert Settings di panel navigasi kiri.

3. Di kolom Actions untuk metrik target, klik Edit.

   • Verifikasi data penuh

     • Full Data Verification Status

     • Full Data Verification Inconsistency

   • Verifikasi data inkremental

     • Incremental Data Verification Status

     • Incremental Data Verification Latency

     • Incremental Data Verification Inconsistency

4. Setelah memodifikasi pengaturan, klik OK.

API terkait

FAQ

• Apakah nama database, tabel, dan kolom yang dimodifikasi oleh fitur name mapping ditandai sebagai data yang tidak konsisten?

  Verifikasi data mendukung fitur name mapping untuk database dan tabel. Jika Anda menggunakan fitur ini untuk memodifikasi nama database, tabel, dan kolom, DTS hanya menandai nama kolom yang dimodifikasi sebagai tidak konsisten, bukan nama database atau tabel.

• Bagaimana verifikasi skema menangani tabel dengan kolom tersembunyi?

  Verifikasi skema memeriksa posisi kolom. Jika tabel yang diverifikasi berisi kolom tersembunyi, hal ini dapat memengaruhi posisi kolom lainnya. Jika posisi kolom di database sumber berbeda dari posisinya di database tujuan, DTS akan menandai adanya ketidakkonsistenan skema.

• Mengapa saya tidak dapat memilih mode verifikasi dalam instans DTS?

  Instans tersebut mungkin tidak mendukung mode verifikasi data yang Anda pilih, atau Anda mungkin belum memilih Configure Objects atau Migration Types yang sesuai di langkah Synchronization Types.

• Apakah data yang difilter oleh fitur Filter Conditions ditandai sebagai tidak konsisten?

  • Verifikasi data penuh: Tidak. Verifikasi data penuh mendukung fitur Filter Conditions.

  • Verifikasi data inkremental: Tidak. Verifikasi data inkremental mendukung fitur Filter Conditions. Namun, tugas inkremental tidak mendukung fitur Filter Conditions jika Database Type sumber adalah MongoDB.