Data Transmission Service:FAQ sinkronisasi data

T: Apa dampak memodifikasi data di database tujuan saat tugas sinkronisasi data atau migrasi sedang berjalan?

J: DTS mendukung sinkronisasi data antara berbagai sumber data, seperti sistem manajemen database relasional (RDBMS), database NoSQL, dan database pemrosesan analitik daring (OLAP). Untuk daftar instans database yang didukung, lihat Skema sinkronisasi data.

T: Apakah data dapat dituliskan ke database sumber dan tujuan secara bersamaan selama tugas sinkronisasi data atau migrasi berlangsung?

J: Ya. Namun, saat instance DTS berjalan, jika sumber data selain DTS menulis data ke database tujuan, hal tersebut dapat menyebabkan pengecualian pada data di database tujuan atau pada instance DTS.

Q: Apakah DTS mendukung sinkronisasi data berdasarkan pengambilan sampel atau migrasi berdasarkan rentang waktu?

J: Tidak.

T: Saat menyinkronkan atau memigrasikan data, apakah saya perlu membuat tabel secara manual di database tujuan?

J: Untuk Instans DTS yang mendukung tugas skema (Sinkronisasi skema atau migrasi skema), jika Anda telah mengonfigurasi tugas skema (Synchronization Types dengan Schema Synchronization yang dipilih, atau Migration Types dengan Schema Migration yang dipilih), Anda tidak perlu membuat tabel secara manual di database tujuan.

T: Saat menyinkronkan atau memigrasikan data, apakah database sumber dan database tujuan harus terhubung melalui jaringan?

J: Ya. Untuk mengetahui cara menambahkan tabel baru, lihat Tambahkan objek sinkronisasi.

T: Bagaimana cara menggunakan API untuk mengonfigurasi fitur ETL pada tugas sinkronisasi atau migrasi?

J: Anda dapat mengonfigurasinya melalui parameter Reserve pada API dengan menggunakan parameter umum seperti etlOperatorCtl dan etlOperatorSetting. Untuk informasi selengkapnya, lihat ConfigureDtsJob dan Referensi parameter Reserve.

T: Apakah data di database sumber tetap dipertahankan setelah sinkronisasi atau migrasi DTS selesai?

A: Ya. DTS tidak menghapus data di database sumber. Jika Anda tidak perlu mempertahankan data tersebut, hapuslah secara manual.

T: Jika saya menghapus data dari database sumber pada tugas sinkronisasi inkremental, apakah data yang telah disinkronkan di database tujuan juga akan dihapus?

J: Ya. Untuk informasi selengkapnya, lihat Mengaktifkan pembatasan kecepatan untuk migrasi data.

T: Kesalahan sinkronisasi inkremental menunjukkan bahwa paket terlalu besar atau nilai max_allowed_packet di tujuan tidak mencukupi. Bagaimana cara mengatasinya?

J: Data dengan kunci yang sama akan ditimpa. DTS memeriksa tujuan selama tahap pemeriksaan awal. Jika tujuan tidak kosong, kesalahan akan dilaporkan.

T: Tugas sinkronisasi terputus selama beberapa jam, dan saya menduga terdapat kunci MDL di tujuan. Bagaimana cara mengatasinya?

J: Ya. Anda dapat menggunakan fitur pemetaan untuk menyaring kolom yang tidak perlu disinkronkan, serta menentukan kondisi WHERE SQL untuk menyaring data yang akan disinkronkan. Untuk informasi lebih lanjut, lihat Sinkronkan atau migrasikan kolom tertentu dan Saring data tugas dengan kondisi SQL.

T: Kesalahan sinkronisasi inkremental menunjukkan bahwa tabel sementara hilang di database tujuan atau terjadi konflik SELECT INTO. Bagaimana cara mengatasinya?

J: Tidak. Jenis tugas yang berbeda tidak dapat saling dikonversi.

T: Saat menggunakan DTS untuk sinkronisasi data atau migrasi, apakah data yang sudah ada di tujuan akan ditimpa?

J: Ya. Saat mengonfigurasi tugas sinkronisasi, jangan pilih Schema Synchronization.

T: Apa saja kemungkinan penyebab ketidakkonsistenan data antara sumber dan tujuan pada instansi sinkronisasi data?

T: Apakah saya dapat memodifikasi nama database sumber di database tujuan dalam tugas sinkronisasi data?

J: Ya. Untuk mengetahui cara memodifikasi nama database sumber di database tujuan, lihat Ubah nama objek yang disinkronkan di instans tujuan.

T: Apakah DTS mendukung sinkronisasi real-time operasi DML atau DDL?

Ya. Untuk sinkronisasi data antar database relasional, operasi DML yang didukung adalah INSERT, UPDATE, dan DELETE, sedangkan operasi DDL yang didukung adalah CREATE, DROP, ALTER, RENAME, dan TRUNCATE.

T: Apakah instans hanya baca dapat digunakan sebagai instans sumber tugas sinkronisasi?

T: Apakah DTS mendukung sinkronisasi data untuk database dan tabel yang di-shard?

J: Ya. Misalnya, Anda dapat menyinkronkan database dan tabel yang di-shard di MySQL atau PolarDB for MySQL ke AnalyticDB for MySQL untuk menggabungkan beberapa tabel.

T: Mengapa volume data di instans tujuan lebih kecil daripada di instans sumber setelah tugas sinkronisasi selesai?

J: Jika data difilter selama sinkronisasi, atau jika tabel di instans sumber mengandung banyak fragmen, volume data di instans tujuan mungkin lebih kecil daripada di instans sumber setelah migrasi selesai.

T: Apakah tugas sinkronisasi lintas akun mendukung sinkronisasi dua arah?

J: Saat ini, tugas sinkronisasi dua arah lintas akun hanya didukung antar instans ApsaraDB RDS for MySQL, antar kluster PolarDB for MySQL, antar instans Tair (Edisi Perusahaan), antar instans ApsaraDB for MongoDB (arsitektur replica set), dan antar instans ApsaraDB for MongoDB (arsitektur kluster ter-shard).

T: Apakah DTS mendukung tugas sinkronisasi dua arah lintas batas negara?

J: Tidak.

T: Mengapa catatan yang ditambahkan ke salah satu database dalam tugas sinkronisasi dua arah tidak muncul di database lainnya?

J: Tugas balik mungkin belum dikonfigurasi.

T: Mengapa progres tugas sinkronisasi inkremental tidak pernah mencapai 100%?

J: Sinkronisasi inkremental DTS terus-menerus mereplikasi perubahan dari sumber ke tujuan secara real-time dan tidak berhenti sendiri. Oleh karena itu, tidak ada status penyelesaian 100%. Jika Anda tidak lagi memerlukan sinkronisasi real-time, hentikan tugas di konsol DTS.

Q: Mengapa tugas sinkronisasi inkremental gagal menyinkronkan data?

J: Jika hanya sinkronisasi inkremental yang dikonfigurasi untuk instans DTS, DTS hanya menyinkronkan data inkremental yang dihasilkan setelah tugas dimulai. Data yang sudah ada sebelum tugas dimulai tidak disinkronkan ke database tujuan. Untuk memastikan konsistensi data, kami menyarankan Anda memilih Incremental Data Synchronization, Schema Synchronization, dan Full Data Synchronization saat mengonfigurasi tugas.

T: Apakah menyinkronkan data penuh dari database RDS memengaruhi kinerja database RDS sumber?

T: Apakah DTS mendukung sinkronisasi dari MySQL ke ClickHouse?

J: Fitur sinkronisasi data dari database MySQL ke kluster ClickHouse di DTS telah dihentikan. Pengguna yang telah membeli fitur ini tidak terpengaruh. Untuk pembelian fitur baru, merujuk ke dokumentasi produk ApsaraDB for ClickHouse dan lihat topik Sinkronkan data dari ApsaraDB RDS for MySQL untuk mengonfigurasi sinkronisasi dari MySQL ke ClickHouse.

T: Mengapa tidak ada latensi yang ditampilkan untuk instansi sinkronisasi yang database sumbernya adalah PolarDB-X 1.0?

J: Instans yang database sumbernya adalah PolarDB-X 1.0 merupakan tugas terdistribusi, tetapi metrik yang dipantau DTS hanya ada di subtask. Oleh karena itu, informasi latensi tidak ditampilkan untuk instans yang sumbernya adalah PolarDB-X 1.0. Untuk melihat informasi latensi, klik ID instans dan buka Task Management > Subtask Details untuk instans tersebut.

T: Mengapa tugas penggabungan multi-tabel melaporkan error DTS-071001?

J: Hal ini mungkin terjadi karena operasi DDL daring dilakukan pada database sumber saat tugas penggabungan multi-tabel sedang berjalan, yang mengubah skema tabel sumber, dan perubahan yang sesuai tidak diterapkan secara manual ke database tujuan.

T: Apa yang harus saya lakukan jika penambahan daftar putih gagal saat mengonfigurasi tugas di konsol sebelumnya?

J: Konfigurasikan tugas di konsol baru.

T: Apa yang harus saya lakukan jika tugas sinkronisasi data DTS gagal karena operasi DDL dilakukan pada database sumber?

J: Jalankan secara manual operasi DDL di tujuan berdasarkan operasi DDL yang dilakukan di sumber, lalu jalankan ulang tugas. Selama sinkronisasi data, jangan gunakan alat seperti pt-online-schema-change untuk melakukan perubahan DDL daring pada objek yang disinkronkan di database sumber. Jika tidak, sinkronisasi akan gagal. Jika tidak ada data selain yang ditulis oleh DTS yang ditulis ke database tujuan, Anda dapat menggunakan Data Management (DMS) untuk melakukan perubahan DDL daring, atau Anda dapat memodifikasi objek yang disinkronkan untuk menghapus tabel yang terpengaruh oleh DDL. Prosedur penghapusan tabel dapat dilihat di Hapus objek sinkronisasi.

T: Apa yang harus saya lakukan jika tugas sinkronisasi data DTS gagal karena operasi DDL dilakukan pada database tujuan?

T: Apakah tugas sinkronisasi dapat dipulihkan setelah dirilis? Apakah konsistensi data dapat dijamin dengan mengonfigurasi ulang tugas?

J: Tugas sinkronisasi yang telah dirilis tidak dapat dipulihkan. Saat Anda mengonfigurasi ulang tugas, jika Anda tidak memilih Full Data Synchronization, data yang ditambahkan selama periode dari rilis tugas hingga dimulainya tugas baru tidak dapat disinkronkan ke database tujuan, sehingga konsistensi data tidak dapat dijamin. Jika bisnis Anda memerlukan akurasi data yang ketat, Anda dapat menghapus data dari database tujuan, lalu mengonfigurasi ulang tugas sinkronisasi, dan memilih Schema Synchronization dan Full Data Synchronization di Task Stages (Incremental Data Synchronization dipilih secara default).

T: Apa yang harus saya lakukan jika tugas sinkronisasi penuh DTS tidak menunjukkan progres dalam waktu lama?

J: Jika tabel yang akan disinkronkan tidak memiliki kunci primer, sinkronisasi penuh akan sangat lambat. Kami menyarankan Anda menambahkan kunci primer ke tabel di database sumber sebelum menyinkronkannya.

T: Saat menyinkronkan tabel dengan nama yang sama, apakah data dari tabel sumber hanya ditransfer jika data tersebut tidak ada di tabel tujuan?

J: Ya. Saat mengonfigurasi tugas, atur Processing Mode of Conflicting Tables ke Ignore Errors and Proceed. Jika skema konsisten, selama sinkronisasi penuh, ketika tujuan menemukan catatan yang nilai kunci primernya sama dengan yang ada di sumber, catatan dari sumber tidak disinkronkan ke tujuan.

T: Bagaimana cara mengonfigurasi tugas sinkronisasi lintas akun?

J: Anda harus menentukan Skenario untuk tugas lintas akun terlebih dahulu, kemudian gunakan Akun Alibaba Cloud yang memiliki instansiasi basis data untuk Mengonfigurasi otorisasi RAM untuk tugas DTS lintas akun, lalu Mengonfigurasi tugas DTS lintas akun.

T: Apa yang harus saya lakukan jika saya tidak dapat memilih instans DMS LogicDB?

J: Pastikan Anda memilih wilayah yang benar tempat instans tersebut berada. Jika Anda masih tidak dapat memilih instans tersebut, mungkin hanya tersedia satu instans. Lanjutkan mengonfigurasi parameter lainnya.

T: Apakah tugas sinkronisasi yang menggunakan SQL Server sebagai sumber mendukung sinkronisasi fungsi?

J: Tidak. Jika tabel dipilih sebagai granularitas objek yang disinkronkan, objek lain seperti view, trigger, dan prosedur tersimpan tidak disinkronkan ke database tujuan.

T: Apa yang harus saya lakukan jika tugas sinkronisasi data melaporkan error?

J: Berdasarkan pesan error, lihat solusinya di Ikhtisar Error Umum.

T: Bagaimana cara mengaktifkan penggabungan hotspot untuk tugas sinkronisasi?

J: Merujuk ke Modifikasi nilai parameter untuk mengubah nilai trans.hot.merge.enable menjadi true.

T: Bagaimana cara melakukan sinkronisasi jika database sumber berisi Pemicu?

J: Saat seluruh database dipilih sebagai objek yang disinkronkan dan TRIGGER di database memperbarui tabel di database tersebut, ketidakkonsistenan data antara database sumber dan tujuan mungkin terjadi. Untuk prosedur sinkronisasi, lihat Mengonfigurasi tugas untuk database sumber dengan trigger.

T: Apakah DTS mendukung sinkronisasi database sys dan database sistem?

J: Tidak.

T: Apakah DTS mendukung sinkronisasi database admin dan local MongoDB?

J: Tidak. DTS tidak mendukung database admin dan local MongoDB sebagai database sumber atau tujuan.

T: Kapan tugas balik dari tugas sinkronisasi dua arah dapat dikonfigurasi?

J: Tugas balik dari tugas sinkronisasi dua arah hanya dapat dikonfigurasi setelah tugas inkremental maju tidak memiliki latensi.

T: Saat PolarDB-X 1.0 menjadi sumber tugas sinkronisasi, apakah PolarDB-X 1.0 sumber mendukung penskalaan node?

J: Tidak. Jika PolarDB-X 1.0 sumber melakukan penskalaan node naik atau turun, Anda harus mengonfigurasi ulang tugas.

T: Apakah DTS dapat menjamin keunikan data yang disinkronkan ke Kafka?

J: Tidak. Karena data ditambahkan ke Kafka, data duplikat mungkin terjadi saat tugas DTS dijalankan ulang atau saat log sumber ditarik beberapa kali. DTS menjamin idempotensi data: data diatur secara berurutan, dan nilai terbaru dari data duplikat ditempatkan di akhir.

T: Apakah sinkronisasi data DTS mendukung sinkronisasi dari ApsaraDB RDS for MySQL ke tujuan lain?

J: Ya. Untuk prosedur konfigurasinya, lihat Sinkronkan data dari ApsaraDB RDS for MySQL ke AnalyticDB for MySQL 3.0.

T: Mengapa sinkronisasi penuh tidak ditampilkan untuk tugas sinkronisasi antar instans Redis?

J: Sinkronisasi antar instans Redis mendukung sinkronisasi data penuh dan sinkronisasi data inkremental. Kedua tahap tersebut digabung dan ditampilkan sebagai Incremental Data Synchronization.

T: Apakah saya dapat melewati sinkronisasi penuh?

J: Ya. Setelah Anda melewati sinkronisasi penuh, sinkronisasi inkremental akan berlanjut, tetapi error mungkin terjadi. Kami menyarankan agar Anda tidak melewati sinkronisasi penuh.

T: Apakah DTS mendukung sinkronisasi otomatis terjadwal?

J: DTS saat ini tidak mendukung pengaktifan terjadwal tugas sinkronisasi data.

T: Apakah ruang terfragmentasi di tabel juga disinkronkan selama sinkronisasi?

J: Tidak.

T: Apa yang perlu saya ketahui saat menyinkronkan data dari MySQL 8.0 ke MySQL 5.6?

J: Anda harus membuat database di MySQL 5.6 sebelum melakukan sinkronisasi. Kami menyarankan agar database sumber dan tujuan menjalankan versi yang sama, atau Anda menyinkronkan dari versi yang lebih rendah ke versi yang lebih tinggi untuk memastikan kompatibilitas. Menyinkronkan dari versi yang lebih tinggi ke versi yang lebih rendah dapat menyebabkan masalah kompatibilitas database.

T: Apakah saya dapat menyinkronkan akun dari database sumber ke database tujuan?

J: Saat ini, hanya tugas sinkronisasi antar instans ApsaraDB RDS for MySQL yang mendukung sinkronisasi akun. Tugas sinkronisasi lainnya tidak mendukung fitur ini.

T: Apakah saya dapat mengonfigurasi tugas sinkronisasi dua arah lintas akun?

Saat ini, tugas sinkronisasi dua arah lintas akun hanya didukung antar instans ApsaraDB RDS for MySQL, antar kluster PolarDB for MySQL, antar instans Tair (Edisi Perusahaan), antar instans ApsaraDB for MongoDB (arsitektur replica set), dan antar instans ApsaraDB for MongoDB (arsitektur kluster ter-shard).

T: Bagaimana cara mengonfigurasi parameter saat ApsaraMQ for Kafka menjadi tujuan?

J: Konfigurasikan parameter berdasarkan skenario aktual Anda. Untuk metode konfigurasi beberapa parameter khusus, lihat Mengonfigurasi parameter instans Kafka.

T: Berapa banyak instansi sinkronisasi data yang dapat saya coba secara gratis?

J: Anda dapat mencoba satu instansi sinkronisasi secara gratis selama periode tiga bulan. Untuk informasi lebih lanjut, lihat Uji Coba Gratis Alibaba Cloud.

T: Bagaimana cara menangani error "ERR invalid DB index" saat menggunakan DTS untuk menyinkronkan atau memigrasikan data Redis?

Penyebab: Error ERR invalid DB index terjadi saat database tujuan melakukan operasi SELECT DB. Hal ini biasanya disebabkan oleh jumlah database yang tidak mencukupi di database tujuan. Jika database tujuan menggunakan proxy, periksa apakah proxy tersebut dapat menghapus batasan jumlah database.

Solusi: Modifikasi konfigurasi database di database tujuan. Kami menyarankan Anda menaikkan nilainya agar sesuai dengan database sumber, lalu jalankan ulang tugas DTS. Perintah untuk mengkueri konfigurasi database di database tujuan adalah sebagai berikut:

CONFIG GET databases;

T: Bagaimana cara menangani error "IDENTIFIER CLUSTERED" saat menyinkronkan atau memigrasikan data dari SQL Server ke AnalyticDB for PostgreSQL?

Jawaban:

Penyebab: Saat menyinkronkan atau memigrasikan data SQL Server ke AnalyticDB for PostgreSQL, tugas tidak dapat dilanjutkan karena perintah CREATE CLUSTERED INDEX tidak didukung.

Solusi: Setelah Anda memastikan tidak ada perintah DDL lain dalam periode latensi, Modifikasi parameter instans atur sink.ignore.failed.ddl menjadi true (untuk menyaring eksekusi semua pernyataan DDL). Setelah checkpoint sinkronisasi atau migrasi inkremental maju, atur kembali sink.ignore.failed.ddl menjadi false.

T: Dalam tugas sinkronisasi atau migrasi Redis, apakah memperpanjang waktu kedaluwarsa kunci di database tujuan memiliki efek nyata?

J:

Untuk mencegah kunci kedaluwarsa selama sinkronisasi data penuh, Anda dapat memperpanjang waktu kedaluwarsa kunci di database tujuan dalam tugas. Untuk tugas DTS yang mencakup bagian sinkronisasi atau migrasi inkremental, jika kunci di database sumber kedaluwarsa dan dihapus, kunci yang sesuai di database tujuan juga akan dilepas.

T: Setelah waktu kedaluwarsa kunci di database tujuan diperpanjang, jika kunci di database sumber kedaluwarsa, apakah kunci yang sesuai di database tujuan dilepas segera?

J:

Kunci di database tujuan tidak selalu dilepas segera setelah kedaluwarsa. Kunci di database tujuan dilepas segera hanya jika kunci yang sesuai di database sumber kedaluwarsa dan dibersihkan.

Misalnya, jika kunci di database sumber diatur untuk kedaluwarsa dalam 5 detik dan waktu kedaluwarsa kunci yang sesuai di database tujuan diperpanjang menjadi 30 detik, ketika kunci sumber kedaluwarsa dan secara otomatis dibersihkan setelah 5 detik, kunci tujuan dilepas segera. Saat kunci di database sumber kedaluwarsa dan secara otomatis dibersihkan, sistem menambahkan operasi penghapusan ke file AOF. Permintaan tersebut disinkronkan ke database tujuan dan dieksekusi di sana.

T: Bagaimana cara menangani error "column_name[xxx], the length of input string is too long than vec schema" saat menggunakan DTS untuk menyinkronkan data ke SelectDB?

• Penyebab: Ukuran inkremental kolom xxx di sumber telah melebihi batas panjang tipe kolom xxx di tujuan.

• Solusi: Jika kolom bertipe STRING, Anda dapat mengatasi masalah ini dengan menaikkan parameter string_type_length_soft_limit_bytes di konsol SelectDB. Anda harus mengaturnya ke nilai yang lebih besar dari panjang aktual (7.241.898).