Cara menyinkronkan data dari instance ApsaraDB RDS for MySQL ke klaster ApsaraDB for ClickHouse - ApsaraDB for ClickHouse

ApsaraDB for ClickHouse adalah sistem manajemen basis data kolom (DBMS) yang dioptimalkan untuk pemrosesan analitik online (OLAP). Sistem ini menawarkan kueri agregat pada tabel lebar dengan kecepatan sepuluh kali lebih cepat dibandingkan basis data analitik lainnya. Anda dapat menggunakan Data Transmission Service (DTS) untuk menyinkronkan data dari basis data MySQL, seperti basis data MySQL yang dikelola sendiri atau instance ApsaraDB RDS for MySQL, ke klaster ApsaraDB for ClickHouse. Ini memungkinkan transfer dan analisis data secara efisien. Topik ini menjelaskan cara menyinkronkan data dari instance ApsaraDB RDS for MySQL ke klaster ApsaraDB for ClickHouse.

Prasyarat

Data Transmission Service (DTS) diizinkan untuk mengakses sumber daya Alibaba Cloud. Untuk informasi lebih lanjut, lihat Izinkan DTS untuk Mengakses Sumber Daya Alibaba Cloud.

Klaster ApsaraDB for ClickHouse versi V20.8 atau lebih baru telah dibuat. Untuk informasi lebih lanjut, lihat Buat Klaster ApsaraDB for ClickHouse.
Catatan
Ruang penyimpanan yang tersedia di klaster ApsaraDB for ClickHouse tujuan harus lebih besar daripada total ukuran data di instance ApsaraDB RDS for MySQL sumber.
Basis data telah dibuat di klaster ApsaraDB for ClickHouse tujuan untuk menerima data. Untuk informasi lebih lanjut, lihat Buat Basis Data.
Penting
Disarankan agar Anda menggunakan nama yang sama untuk basis data di klaster ApsaraDB for ClickHouse tujuan seperti basis data yang menyimpan data yang akan disinkronkan di ApsaraDB RDS for MySQL instance sumber. Jika tidak, Anda harus menggunakan fitur pemetaan nama objek untuk memetakan nama basis data sumber ke nama basis data tujuan di bagian Selected Objects selama langkah Configure Objects and Advanced Settings. Untuk informasi lebih lanjut, lihat Pemetaan Nama Objek.

Catatan penggunaan

Batasan	Deskripsi
Batasan pada basis data sumber	Tabel yang akan disinkronkan dari basis data sumber harus berisi kunci utama. Jika Anda memilih tabel sebagai objek yang akan disinkronkan dan Anda perlu memodifikasi tabel, seperti mengganti nama tabel atau kolom, Anda dapat menyinkronkan hingga 1.000 tabel dalam satu tugas penyinkronan data. Jika Anda menjalankan tugas untuk menyinkronkan lebih dari 1.000 tabel, kesalahan permintaan terjadi. Dalam hal ini, kami sarankan Anda membagi tabel dan mengonfigurasi beberapa tugas untuk menyinkronkan tabel secara batch atau mengonfigurasi tugas untuk menyinkronkan seluruh basis data. Log biner: Fitur pencatatan biner diaktifkan secara default. Parameter binlog_row_image harus diatur ke penuh. Jika tidak, pesan kesalahan dikembalikan selama pra-pemeriksaan dan tugas penyinkronan data tidak dapat dimulai. Untuk informasi lebih lanjut tentang cara mengatur parameter, lihat Atur parameter. Penting Jika basis data sumber adalah basis data MySQL yang dikelola sendiri, Anda harus mengaktifkan pencatatan biner dan mengatur parameter binlog_format ke baris dan parameter binlog_row_image ke penuh. Jika basis data sumber adalah basis data MySQL yang dikelola sendiri dalam klaster dual-primary (dengan setiap basis data bertindak sebagai basis data utama dan sekunder dari yang lain), Anda harus mengaktifkan parameter log_slave_updates untuk memastikan bahwa DTS dapat memperoleh semua log biner. Untuk informasi lebih lanjut, lihat Buat akun untuk basis data MySQL yang dibuat pengguna dan konfigurasikan pencatatan biner. File log biner lokal dari instance ApsaraDB RDS for MySQL harus disimpan setidaknya selama 3 hari. Kami sarankan Anda menyimpan file selama 7 hari. File log biner lokal dari basis data MySQL yang dikelola sendiri harus disimpan setidaknya selama 7 hari. Jika tidak, DTS mungkin gagal memperoleh log biner dan tugas mungkin gagal. Dalam kasus ekstrem, data mungkin tidak konsisten atau hilang. Pastikan masalah waktu retensi log biner yang tidak mencukupi tidak terjadi. Jika tidak, Perjanjian Tingkat Layanan (SLA) DTS tidak menjamin keandalan layanan dan kinerja. Catatan Untuk informasi tentang cara mengatur Log Retention Period untuk instance ApsaraDB RDS for MySQL, lihat Hapus otomatis log lokal. Selama sinkronisasi skema dan sinkronisasi data penuh, jangan jalankan pernyataan DDL untuk mengubah skema basis data atau tabel. Jika tidak, tugas penyinkronan data gagal. Selama penyinkronan data, perubahan data yang tidak dicatat dalam log biner, seperti perubahan data yang disebabkan oleh pemulihan cadangan fisik dan operasi kaskade, tidak disinkronkan ke basis data tujuan. Catatan Jika situasi seperti itu terjadi, Anda dapat menghapus basis data atau tabel dari objek yang akan disinkronkan dan kemudian menambahkan basis data atau tabel kembali ke objek ketika bisnis Anda mengizinkan. Untuk informasi lebih lanjut, lihat Ubah objek yang akan disinkronkan. Jika basis data sumber adalah MySQL 8.0.23 atau lebih baru dan data yang akan disinkronkan berisi kolom tak terlihat, kehilangan data mungkin terjadi karena DTS tidak dapat memperoleh data di kolom tak terlihat tersebut. Catatan Anda dapat menjalankan perintah `ALTER TABLE <table_name> ALTER COLUMN <column_name> SET VISIBLE;` untuk mengatur kolom tak terlihat menjadi terlihat. Untuk informasi lebih lanjut, lihat Kolom Tak Terlihat. Tabel tanpa kunci utama secara otomatis menghasilkan kunci utama tak terlihat. Anda juga perlu mengatur kunci utama tak terlihat menjadi terlihat. Untuk informasi lebih lanjut, lihat Kunci Utama Tak Terlihat yang Dihasilkan.
Batasan lainnya	Jika pernyataan DDL yang dijalankan pada instance ApsaraDB RDS for MySQL sumber tidak sesuai dengan sintaks standar MySQL, tugas sinkronisasi mungkin gagal atau data mungkin hilang. Sinkronisasi INDEX, PARTITION, VIEW, PROCEDURE, FUNCTION, TRIGGER, dan FK didukung. Operasi RENAME TABLE tidak dapat disinkronkan. Jika terjadi konflik kunci utama atau kunci unik selama penyinkronan data: Jika basis data sumber dan tujuan memiliki skema yang sama dan catatan data di basis data tujuan memiliki nilai kunci utama atau kunci unik yang sama dengan catatan data di basis data sumber: Selama penyinkronan data penuh, DTS tidak menyinkronkan catatan data ke basis data tujuan. Catatan data yang ada di basis data tujuan dipertahankan. Selama penyinkronan data tambahan, DTS menyinkronkan catatan data ke basis data tujuan. Catatan data yang ada di basis data tujuan ditimpa. Jika basis data sumber dan tujuan memiliki skema yang berbeda, data mungkin gagal diinisialisasi. Dalam hal ini, hanya beberapa kolom yang disinkronkan, atau instance penyinkronan data gagal. Lanjutkan dengan hati-hati. Data DATETIME di instance ApsaraDB RDS for MySQL sumber harus berada dalam rentang waktu yang didukung oleh klaster ApsaraDB for ClickHouse tujuan. Jika tidak, ketidaksesuaian data antara basis data sumber dan tujuan terjadi. Untuk informasi lebih lanjut, lihat bagian Rentang waktu dari topik ini. Semua kolom yang dipilih dari parameter Partition Key harus berupa bidang non-kosong. Jika tidak, tugas sinkronisasi gagal. Catatan Kunci partisi hanya mendukung bidang tipe data BIGINT, INT, TIMESTAMP, DATETIME, dan DATE. Hingga 256 basis data dapat disinkronkan ke klaster ApsaraDB for ClickHouse. Nama basis data, tabel, dan kolom yang akan disinkronkan harus sesuai dengan konvensi penamaan ApsaraDB for ClickHouse. Untuk informasi lebih lanjut, lihat Batasan pada konvensi penamaan objek. Selama sinkronisasi skema, DTS secara otomatis menambahkan bidang _sign, _is_deleted, dan _version ke tabel tujuan. Jika Anda tidak memilih Schema Synchronization untuk parameter Synchronization Types saat Anda mengonfigurasi tugas penyinkronan data, Anda harus membuat tabel secara manual untuk menerima data di basis data tujuan dan menambahkan bidang tambahan ke tabel. Untuk informasi lebih lanjut, lihat bagian Tabel dan bidang dari topik ini. Sebelum Anda menyinkronkan data, evaluasi dampak penyinkronan data terhadap kinerja basis data sumber dan tujuan. Kami sarankan Anda menyinkronkan data selama jam-jam sepi. Selama penyinkronan data penuh, DTS menggunakan sumber daya baca dan tulis dari basis data sumber dan tujuan. Ini dapat meningkatkan beban pada server basis data. Jika Anda memilih satu atau lebih tabel alih-alih seluruh basis data sebagai objek yang akan disinkronkan, jangan gunakan alat seperti pt-online-schema-change untuk melakukan operasi DDL pada tabel selama penyinkronan data. Jika tidak, data mungkin gagal disinkronkan. Anda dapat menggunakan Data Management (DMS) untuk melakukan operasi DDL tanpa kunci secara online. Untuk informasi lebih lanjut, lihat Lakukan operasi DDL tanpa kunci. Ketidaksesuaian data antara basis data sumber dan tujuan terjadi jika data dari sumber lain ditulis ke basis data tujuan selama penyinkronan data. Jika fitur always-confidential (EncDB) diaktifkan untuk instance ApsaraDB RDS for MySQL, penyinkronan data penuh tidak didukung. Catatan Instance ApsaraDB RDS for MySQL dengan enkripsi data transparan (TDE) yang diaktifkan mendukung sinkronisasi skema, penyinkronan data penuh, dan penyinkronan data tambahan. Jika instance gagal berjalan, personel dukungan teknis DTS akan mencoba memulihkan instance dalam waktu 8 jam. Selama proses pemulihan, instance mungkin di-restart atau parameter mungkin disesuaikan. Catatan Saat parameter disesuaikan, hanya parameter instance DTS yang dimodifikasi. Parameter basis data tidak dimodifikasi. Parameter yang mungkin dimodifikasi termasuk tetapi tidak terbatas pada parameter dalam Ubah parameter instance.
Kasus khusus	Jika basis data sumber adalah basis data MySQL yang dikelola sendiri: Jika pergantian primer/sekunder dilakukan pada basis data sumber saat tugas penyinkronan data sedang berjalan, tugas gagal. DTS menghitung latensi sinkronisasi berdasarkan timestamp catatan data terbaru yang disinkronkan di basis data tujuan dan timestamp saat ini di basis data sumber. Jika tidak ada operasi bahasa manipulasi data (DML) yang dilakukan pada basis data sumber untuk waktu yang lama, latensi sinkronisasi mungkin tidak akurat. Jika latensi tugas migrasi data terlalu tinggi, Anda dapat melakukan operasi DML pada basis data sumber untuk memperbarui latensi. Catatan Jika Anda memilih seluruh basis data sebagai objek untuk disinkronkan, Anda dapat membuat tabel detak jantung. Tabel detak jantung diperbarui atau menerima data setiap detik. DTS secara berkala menjalankan perintah CREATE DATABASE IF NOT EXISTS `test` di basis data sumber untuk memajukan posisi log biner. Jika basis data sumber adalah instance ApsaraDB RDS for MySQL: Instance ApsaraDB RDS for MySQL yang tidak mencatat log transaksi, seperti instance ApsaraDB RDS for MySQL 5.6 baca-saja, tidak dapat digunakan sebagai basis data sumber. DTS secara berkala menjalankan perintah CREATE DATABASE IF NOT EXISTS `test` di basis data sumber untuk memajukan posisi log biner.

Penagihan

Jenis sinkronisasi	Biaya konfigurasi tugas
Sinkronisasi skema dan data penuh	Gratis.
Penyinkronan data tambahan	Dikenakan biaya. Untuk informasi lebih lanjut, lihat Ikhtisar penagihan.

Operasi SQL yang dapat disinkronkan

Jenis operasi	Pernyataan SQL
DML	INSERT, UPDATE, dan DELETE
DDL	CREATE TABLE TRUNCATE TABLE ALTER TABLE ADD COLUMN MODIFY COLUMN DROP TABLE dan DROP COLUMN

Pemetaan tipe data

Tipe data yang didukung oleh instance ApsaraDB RDS for MySQL dan klaster ApsaraDB for ClickHouse tidak memiliki korespondensi satu-satu. Selama sinkronisasi skema awal, DTS menetapkan pemetaan antara bidang sumber dan bidang tujuan berdasarkan tipe data yang didukung oleh basis data tujuan. Untuk informasi lebih lanjut, lihat Pemetaan Tipe Data untuk Sinkronisasi Skema.

Izin yang diperlukan untuk akun basis data

Tipe basis data	Izin yang diperlukan	Referensi
Sumber ApsaraDB RDS for MySQL instance	Izin baca pada objek yang akan disinkronkan.	Buat akun dan Ubah izin akun.
Klaster ApsaraDB for ClickHouse tujuan	Klaster ApsaraDB for ClickHouse yang menjalankan ClickHouse V22.8 atau lebih baru: hak baca dan tulis pada basis data tujuan. Akun istimewa memiliki persyaratan yang diperlukan. Klaster ApsaraDB for ClickHouse yang menjalankan ClickHouse V21.8: Read, Write And Set Permissions dan Enable DDL.	Kelola akun basis data di klaster Edisi Komunitas yang kompatibel

Catatan

Jika akun basis data sumber yang Anda gunakan tidak dibuat dan diberi otorisasi melalui konsol ApsaraDB RDS for MySQL, pastikan akun tersebut memiliki izin REPLICATION CLIENT, REPLICATION SLAVE, SHOW VIEW, dan SELECT.

Prosedur

Gunakan salah satu metode berikut untuk pergi ke halaman Penyinkronan Data dan pilih wilayah tempat instance penyinkronan data berada.
Konsol DTS
1. Masuk ke Konsol DTS.
2. Di bilah navigasi di sebelah kiri, klik Data Synchronization.
3. Di sudut kiri atas halaman, pilih wilayah tempat tugas penyinkronan data berada.
Konsol DMS
Catatan
Operasi aktual mungkin bervariasi berdasarkan mode dan tata letak konsol DMS. Untuk informasi lebih lanjut, lihat Mode Sederhana dan Sesuaikan Tata Letak dan Gaya Konsol DMS.
1. Masuk ke Konsol DMS.
2. Di bilah navigasi atas, arahkan pointer ke Data + AI dan pilih DTS (DTS) > Data Synchronization.
3. Dari daftar drop-down di sebelah kanan Data Synchronization Tasks, pilih wilayah tempat instance penyinkronan data berada.
Klik Create Task untuk pergi ke halaman konfigurasi tugas.

Konfigurasikan basis data sumber dan tujuan. Tabel berikut menjelaskan parameter.

Bagian	Parameter	Deskripsi
Tidak ada	Task Name	Nama tugas DTS. DTS secara otomatis menghasilkan nama tugas. Kami sarankan Anda menentukan nama deskriptif yang memudahkan identifikasi tugas. Anda tidak perlu menentukan nama tugas yang unik.
Source Database	Select Existing Connection	Jika Anda menggunakan instance basis data yang terdaftar dengan DTS, pilih instance dari daftar drop-down. DTS secara otomatis mengisi parameter basis data berikut untuk instance tersebut. Untuk informasi lebih lanjut, lihat Kelola koneksi basis data. Catatan Di konsol DMS, Anda dapat memilih instance basis data dari daftar drop-down Select a DMS database instance. Jika Anda gagal mendaftarkan instance dengan DTS, atau Anda tidak perlu menggunakan instance yang terdaftar dengan DTS, Anda harus mengonfigurasi informasi basis data berikut.
	Database Type	Pilih MySQL.
	Access Method	Pilih Alibaba Cloud Instance.
	Instance Region	Wilayah tempat instance ApsaraDB RDS for MySQL sumber berada.
	Replicate Data Across Alibaba Cloud Accounts	Menentukan apakah data disinkronkan di seluruh akun Alibaba Cloud. Dalam contoh ini, No dipilih.
	RDS Instance ID	ID instance ApsaraDB RDS for MySQL sumber.
	Database Account	Akun basis data dari instance ApsaraDB RDS for MySQL sumber. Untuk informasi lebih lanjut tentang izin yang diperlukan untuk akun tersebut, lihat bagian Izin yang diperlukan untuk akun basis data dari topik ini.
	Database Password	Kata sandi yang digunakan untuk mengakses basis data.
	Encryption	Menentukan apakah akan mengenkripsi koneksi ke basis data. Anda dapat memilih Non-encrypted atau SSL-encrypted berdasarkan kebutuhan bisnis Anda. Jika Anda ingin mengatur parameter ini ke SSL-encrypted, Anda harus mengaktifkan enkripsi SSL untuk instance ApsaraDB RDS for MySQL sebelum mengonfigurasi tugas DTS. Untuk informasi lebih lanjut, lihat Gunakan sertifikat cloud untuk mengaktifkan enkripsi SSL.
Destination Database	Select Existing Connection	Jika Anda menggunakan instance basis data yang terdaftar dengan DTS, pilih instance dari daftar drop-down. DTS secara otomatis mengisi parameter basis data berikut untuk instance tersebut. Untuk informasi lebih lanjut, lihat Kelola koneksi basis data. Catatan Di konsol DMS, Anda dapat memilih instance basis data dari daftar drop-down Select a DMS database instance. Jika Anda gagal mendaftarkan instance dengan DTS, atau Anda tidak perlu menggunakan instance yang terdaftar dengan DTS, Anda harus mengonfigurasi informasi basis data berikut.
	Database Type	Pilih ClickHouse.
	Access Method	Pilih Alibaba Cloud Instance.
	Instance Region	Wilayah tempat klaster ApsaraDB for ClickHouse tujuan berada.
	Replicate Data Across Alibaba Cloud Accounts	Menentukan apakah data disinkronkan di seluruh akun Alibaba Cloud. Dalam contoh ini, No dipilih.
	Cluster Type	Tipe klaster ApsaraDB for ClickHouse tujuan.
	Cluster ID	ID klaster ApsaraDB for ClickHouse tujuan.
	Database Account	Akun basis data dari klaster ApsaraDB for ClickHouse tujuan. Untuk informasi tentang izin yang diperlukan untuk akun basis data, lihat bagian Izin yang diperlukan untuk akun basis data dari topik ini.
	Database Password	Kata sandi yang digunakan untuk mengakses basis data.

Klik Test Connectivity and Proceed di bagian bawah halaman.
Catatan
- Pastikan bahwa blok CIDR server DTS dapat ditambahkan secara otomatis atau manual ke pengaturan keamanan basis data sumber dan tujuan untuk mengizinkan akses dari server DTS. Untuk informasi lebih lanjut, lihat Tambahkan Blok CIDR Server DTS.
- Jika basis data sumber atau tujuan adalah basis data yang dikelola sendiri dan Access Method-nya tidak diatur ke Alibaba Cloud Instance, klik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.

Konfigurasikan objek yang akan disinkronkan.

Di langkah Configure Objects, konfigurasikan objek yang ingin Anda sinkronkan.

Parameter	Deskripsi
Synchronization Types	Jenis sinkronisasi. Secara default, Incremental Data Synchronization dipilih. Anda juga harus memilih Schema Synchronization dan Full Data Synchronization. Setelah pra-pemeriksaan selesai, DTS menyinkronkan data historis dari objek yang dipilih dari basis data sumber ke klaster tujuan. Data historis adalah dasar untuk penyinkronan tambahan berikutnya.
Processing Mode of Conflicting Tables	Precheck and Report Errors: memeriksa apakah basis data tujuan berisi tabel yang memiliki nama yang sama dengan tabel di basis data sumber. Jika basis data sumber dan tujuan tidak berisi tabel yang memiliki nama tabel identik, pra-pemeriksaan diluluskan. Jika tidak, kesalahan dikembalikan selama pra-pemeriksaan, dan tugas penyinkronan data tidak dapat dimulai. Catatan Jika basis data sumber dan tujuan berisi tabel dengan nama yang sama dan tabel di basis data tujuan tidak dapat dihapus atau diganti namanya, Anda dapat menggunakan fitur pemetaan nama objek untuk mengganti nama tabel yang disinkronkan ke basis data tujuan. Untuk informasi lebih lanjut, lihat Pemetaan nama objek. Ignore Errors and Proceed: melewati pra-pemeriksaan untuk nama tabel identik di basis data sumber dan tujuan. Peringatan Jika Anda memilih Ignore Errors and Proceed, ketidaksesuaian data mungkin terjadi dan bisnis Anda mungkin terpapar risiko potensial. Jika basis data sumber dan tujuan memiliki skema yang sama dan catatan data di basis data tujuan memiliki nilai kunci utama atau kunci unik yang sama dengan catatan data di basis data sumber: Selama penyinkronan data penuh, DTS tidak menyinkronkan catatan data ke basis data tujuan. Catatan data yang ada di basis data tujuan dipertahankan. Selama penyinkronan data tambahan, DTS menyinkronkan catatan data ke basis data tujuan. Catatan data yang ada di basis data tujuan ditimpa. Jika basis data sumber dan tujuan memiliki skema yang berbeda, data mungkin gagal diinisialisasi. Dalam hal ini, hanya beberapa kolom yang disinkronkan, atau instance penyinkronan data gagal. Lanjutkan dengan hati-hati.
Capitalization of Object Names in Destination Instance	Huruf besar/kecil nama basis data, tabel, dan kolom di instance tujuan. Secara default, DTS default policy dipilih. Anda dapat memilih opsi lain untuk memastikan bahwa huruf besar/kecil nama objek konsisten dengan yang ada di basis data sumber atau tujuan. Untuk informasi lebih lanjut, lihat Tentukan huruf besar/kecil nama objek di instance tujuan.
Source Objects	Pilih satu atau lebih objek dari bagian Source Objects dan klik ikon untuk menambahkan objek ke bagian Selected Objects. Catatan Anda dapat memilih kolom, tabel, dan basis data sebagai objek yang akan disinkronkan.
Selected Objects	Untuk mengganti nama objek yang ingin Anda sinkronkan ke instance tujuan, klik kanan objek di bagian Selected Objects. Untuk informasi lebih lanjut, lihat bagian "Pemetaan nama objek tunggal" dari topik Pemetaan nama objek. Untuk mengganti nama beberapa objek sekaligus, klik Batch Edit di sudut kanan atas bagian Selected Objects. Untuk informasi lebih lanjut, lihat bagian "Pemetaan beberapa nama objek sekaligus" dari topik Pemetaan nama objek. Catatan Untuk menentukan kondisi filter untuk menyinkronkan data yang memenuhi kondisi tertentu, klik kanan tabel yang akan disinkronkan di bagian Selected Objects. Di kotak dialog yang muncul, masukkan satu atau lebih kondisi SQL. Untuk informasi lebih lanjut, lihat Tentukan kondisi filter. Jika Anda menggunakan fitur pemetaan nama objek, objek lain yang bergantung pada objek tersebut mungkin gagal disinkronkan.

Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.

Parameter	Deskripsi
Dedicated Cluster for Task Scheduling	Secara default, DTS menjadwalkan tugas ke klaster bersama jika Anda tidak menentukan klaster khusus. Jika Anda ingin meningkatkan stabilitas instance penyinkronan data, beli klaster khusus. Untuk informasi lebih lanjut, lihat Apa itu Klaster Khusus DTS.
Time zone of destination database	Zona waktu untuk tipe data tanggal dan waktu seperti DateTime. Anda dapat memilih zona waktu selama penyinkronan data ke klaster ClickHouse tujuan.
Retry Time for Failed Connections	Rentang waktu ulang untuk koneksi gagal. Jika basis data sumber atau tujuan gagal terhubung setelah tugas penyinkronan data dimulai, DTS segera mencoba kembali koneksi dalam rentang waktu tersebut. Nilai valid: 10 hingga 1.440. Satuan: menit. Nilai default: 720. Kami sarankan Anda mengatur parameter ini ke nilai lebih besar dari 30. Jika DTS berhasil tersambung kembali ke basis data sumber dan tujuan dalam rentang waktu yang ditentukan, DTS melanjutkan tugas penyinkronan data. Jika tidak, tugas penyinkronan data gagal. Catatan Jika Anda menentukan rentang waktu ulang berbeda untuk beberapa tugas penyinkronan data yang memiliki basis data sumber atau tujuan yang sama, rentang waktu ulang terpendek yang diambil. Saat DTS mencoba kembali koneksi, Anda akan dikenakan biaya untuk instance DTS. Kami sarankan Anda menentukan rentang waktu ulang berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepaskan instance DTS sesegera mungkin setelah instance sumber dan tujuan dilepaskan.
Retry Time for Other Issues	Rentang waktu ulang untuk masalah lainnya. Misalnya, jika operasi DDL atau DML gagal dilakukan setelah tugas penyinkronan data dimulai, DTS segera mencoba kembali operasi dalam rentang waktu tersebut. Nilai valid: 1 hingga 1.440. Satuan: menit. Nilai default: 10. Kami sarankan Anda mengatur parameter ini ke nilai lebih besar dari 10. Jika operasi gagal berhasil dilakukan dalam rentang waktu yang ditentukan, DTS melanjutkan tugas penyinkronan data. Jika tidak, tugas penyinkronan data gagal. Penting Nilai parameter Retry Time for Other Issues harus lebih kecil dari nilai parameter Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization	Selama penyinkronan data penuh, DTS menggunakan sumber daya baca dan tulis dari basis data sumber dan tujuan. Ini dapat meningkatkan beban pada server basis data. Anda dapat mengonfigurasi parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s) untuk tugas penyinkronan data penuh guna mengurangi beban pada server basis data tujuan. Catatan Anda hanya dapat mengonfigurasi parameter ini jika Full Data Synchronization dipilih untuk parameter Synchronization Types.
Enable Throttling for Incremental Data Synchronization	Menentukan apakah akan mengaktifkan pembatasan untuk penyinkronan data tambahan. Anda dapat mengaktifkan pembatasan untuk penyinkronan data tambahan berdasarkan kebutuhan bisnis Anda. Untuk mengonfigurasi pembatasan, Anda harus mengonfigurasi parameter RPS of Incremental Data Synchronization dan Data synchronization speed for incremental synchronization (MB/s). Ini mengurangi beban pada server basis data tujuan.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Menentukan apakah akan menulis operasi SQL pada tabel detak jantung ke basis data sumber saat instance DTS sedang berjalan. Nilai valid: Yes: tidak menulis operasi SQL pada tabel detak jantung. Dalam hal ini, latensi instance DTS mungkin ditampilkan. No: menulis operasi SQL pada tabel heartbeat. Dalam hal ini, fitur seperti pencadangan fisik dan kloning database sumber mungkin terpengaruh.
Environment Tag	Tag lingkungan yang digunakan untuk mengidentifikasi instance DTS. Anda dapat memilih tag lingkungan berdasarkan kebutuhan bisnis Anda. Dalam contoh ini, Anda tidak perlu mengonfigurasi parameter ini.
Configure ETL	Menentukan apakah akan mengaktifkan fitur ekstraksi, transformasi, dan pemuatan (ETL). Untuk informasi lebih lanjut, lihat Apa itu ETL? Nilai valid: Yes: mengonfigurasi fitur ETL. Anda dapat memasukkan pernyataan pemrosesan data di editor kode. Untuk informasi lebih lanjut, lihat Konfigurasikan ETL dalam Tugas Migrasi Data atau Tugas Penyinkronan Data. No: tidak mengonfigurasi fitur ETL.
Monitoring and Alerting	Menentukan apakah akan mengonfigurasi peringatan untuk instance penyinkronan data. Jika tugas gagal atau latensi sinkronisasi melebihi ambang batas yang ditentukan, kontak peringatan akan menerima notifikasi. Nilai valid: No: Tidak mengaktifkan peringatan. Yes: mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan pengaturan notifikasi peringatan. Untuk informasi lebih lanjut, lihat bagian "Konfigurasikan Pemantauan dan Peringatan Saat Membuat Tugas DTS" dari topik Konfigurasikan Pemantauan dan Peringatan.

Klik Next: Configure Database and Table Fields untuk mengonfigurasi informasi Type, Primary Key Column, Sort Key, Distribution Key, dan Partition Key untuk tabel yang akan disinkronkan di ClickHouse.
- Secara default, parameter ini dikonfigurasi oleh DTS. Untuk memodifikasi parameter, atur parameter Definition Status ke All.
- Primary Key Column dan Sort Key dapat berupa kunci komposit, yang berarti Anda dapat memilih beberapa bidang dari daftar drop-down yang sesuai sebagai Primary Key Column atau Sort Key, dan Anda perlu memilih satu atau lebih kolom dari Primary Key Column sebagai Partition Key; Distribution Key hanya dapat berupa bidang tunggal. Untuk informasi lebih lanjut tentang kolom kunci utama, kunci urut, dan kunci partisi, lihat CREATE TABLE.
  Catatan
  Parameter Partition Key bersifat opsional. Namun, jika Anda mengonfigurasi parameter ini, semua kolom yang dipilih dari parameter Kunci Partisi harus berupa bidang non-kosong. Jika tidak, tugas sinkronisasi gagal.
  Kunci partisi hanya mendukung bidang tipe data BIGINT, INT, TIMESTAMP, DATETIME, dan DATE. Untuk informasi tentang logika perhitungan, lihat bagian Logika Perhitungan Kunci Partisi dari topik ini.

Simpan pengaturan tugas dan jalankan pra-pemeriksaan.
- Untuk melihat parameter yang harus ditentukan saat Anda memanggil operasi API terkait untuk mengonfigurasi tugas DTS, arahkan pointer ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.
- Jika Anda tidak perlu melihat atau telah melihat parameter, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
Catatan
- Sebelum Anda dapat memulai tugas penyinkronan data, DTS melakukan pra-pemeriksaan. Anda hanya dapat memulai tugas penyinkronan data setelah tugas lulus pra-pemeriksaan.
- Jika tugas penyinkronan data gagal pra-pemeriksaan, klik View Details di sebelah setiap item yang gagal. Setelah Anda menganalisis penyebab berdasarkan hasil pemeriksaan, atasi masalah tersebut. Kemudian, jalankan kembali pra-pemeriksaan.
- Jika peringatan dipicu untuk suatu item selama pra-pemeriksaan:
  Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan atasi masalah tersebut. Kemudian, jalankan pra-pemeriksaan lagi.
  Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog Lihat Detail, klik Ignore. Di pesan yang muncul, klik OK. Kemudian, klik Precheck Again untuk menjalankan pra-pemeriksaan lagi. Jika Anda mengabaikan item peringatan, ketidaksesuaian data mungkin terjadi, dan bisnis Anda mungkin terpapar risiko potensial.

Beli instance.

Tunggu hingga Success Rate menjadi 100%. Kemudian, klik Next: Purchase Instance.

Di halaman buy, konfigurasikan parameter Metode Penagihan dan Kelas Instance untuk tugas penyinkronan data. Tabel berikut menjelaskan parameter.

Bagian	Parameter	Deskripsi
New Instance Class	Metode Penagihan	Langganan: Anda membayar langganan saat membuat instance penyinkronan data. Metode penagihan langganan lebih hemat biaya daripada metode penagihan bayar sesuai pemakaian untuk penggunaan jangka panjang. Bayar sesuai pemakaian: Instance bayar sesuai pemakaian dibebankan per jam. Metode penagihan bayar sesuai pemakaian cocok untuk penggunaan jangka pendek. Jika Anda tidak lagi memerlukan instance penyinkronan data bayar sesuai pemakaian, Anda dapat melepaskan instance untuk mengurangi biaya.
	Pengaturan Grup Sumber Daya	Grup sumber daya tempat instance penyinkronan data berada. Nilai default: default resource group. Untuk informasi lebih lanjut, lihat Apa itu Manajemen Sumber Daya?
	Kelas Instance	DTS menyediakan kelas instance yang bervariasi dalam kecepatan sinkronisasi. Anda dapat memilih kelas instance berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Kelas instance tugas penyinkronan data.
	Durasi Langganan	Jika Anda memilih metode penagihan langganan, tentukan durasi langganan dan jumlah instance penyinkronan data yang ingin Anda buat. Durasi langganan bisa satu hingga sembilan bulan, satu tahun, dua tahun, tiga tahun, atau lima tahun. Catatan Parameter ini tersedia hanya jika Anda memilih metode penagihan Subscription.

Baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start. Di kotak dialog yang muncul, klik OK.
Anda dapat melihat kemajuan tugas di daftar tugas.

Lampiran

Rentang waktu

Tipe data	Nilai minimum	Nilai maksimum
Date	1970-01-01 00:00:00	2149-06-06 00:00:00
Date32	1925-01-01 00:00:00	2283-11-11 00:00:00
DateTime	1970-01-01 08:00:00	2106-02-07 14:28:15
DateTime64	1925-01-01 08:00:00	2283-11-12 07:59:59

Tabel dan bidang

Tabel

Jika Anda tidak menggunakan fitur pemetaan nama objek, pastikan tabel yang Anda buat memenuhi persyaratan berikut:

Penting

Jika tabel tujuan berisi parameter ENGINE, parameter tersebut harus diatur ke ENGINE = ReplicatedReplacingMergeTree(_version, _is_deleted). Jika tidak, ketidaksesuaian data mungkin terjadi.

Jika basis data tujuan adalah klaster ApsaraDB for ClickHouse Edisi Kompatibel Komunitas, Anda harus membuat tabel lokal dan tabel terdistribusi. Nama tabel terdistribusi harus sama dengan nama tabel sumber. Nama tabel lokal dalam format <Nama Tabel Terdistribusi>+_local.
Jika basis data tujuan adalah klaster ApsaraDB for ClickHouse Edisi Enterprise, Anda harus membuat tabel dengan nama yang sama dengan tabel sumber.

Bidang