Sinkronisasi data MySQL ke ApsaraDB untuk ClickHouse - Data Transmission Service

ApsaraDB untuk ClickHouse adalah database kolom yang dirancang untuk pemrosesan analitik online (OLAP). Database ini mendukung analisis agregat dan kueri cepat pada tabel lebar besar, dengan kecepatan satu orde lebih tinggi dibandingkan database analitik lainnya. Anda dapat menggunakan Data Transmission Service (DTS) untuk menyinkronkan data dari database MySQL—baik database MySQL yang dikelola sendiri maupun instans ApsaraDB RDS untuk MySQL—ke klaster ApsaraDB untuk ClickHouse, sehingga memudahkan pemusatan data untuk analisis. Topik ini menggunakan contoh instans RDS MySQL untuk menunjukkan cara menyinkronkan datanya ke klaster ApsaraDB untuk ClickHouse.

Prasyarat

Anda telah membuat klaster ApsaraDB untuk ClickHouse tujuan yang menjalankan versi 20.8 atau lebih baru. Untuk informasi selengkapnya, lihat Buat klaster.

Catatan

Ruang penyimpanan klaster ApsaraDB untuk ClickHouse harus lebih besar daripada ruang penyimpanan yang digunakan oleh instans RDS MySQL sumber.

Batasan

Jenis	Deskripsi
Batasan database sumber	Tabel tanpa kunci primer tidak dapat disinkronkan. Jika Anda menyinkronkan data di tingkat tabel dan perlu mengedit objek, seperti memetakan nama tabel atau kolom, satu tugas sinkronisasi data mendukung maksimal 1.000 tabel. Jika Anda melebihi batas ini, kesalahan akan dilaporkan setelah Anda mengirimkan tugas. Dalam kasus ini, pisahkan tabel menjadi beberapa tugas atau konfigurasikan tugas untuk menyinkronkan seluruh database. Log biner: Binary logging diaktifkan secara default untuk instans ApsaraDB RDS untuk MySQL. Anda harus memastikan bahwa parameter `binlog_row_image` diatur ke `full`. Jika tidak, pemeriksaan awal gagal dan tugas sinkronisasi data tidak dapat dimulai. Untuk informasi selengkapnya tentang cara mengatur parameter, lihat Atur parameter instans. Penting Jika instans sumber adalah database MySQL yang dikelola sendiri, Anda harus mengaktifkan binary logging dan mengatur parameter `binlog_format` ke `row` serta parameter `binlog_row_image` ke `full`. Jika database MySQL yang dikelola sendiri berada dalam arsitektur primer/sekunder di mana kedua database saling menjadi primer dan sekunder satu sama lain, Anda harus mengaktifkan parameter `log_slave_updates`. Ini memastikan bahwa DTS dapat memperoleh semua log biner. Untuk informasi selengkapnya, lihat Buat akun database untuk database MySQL yang dikelola sendiri dan konfigurasikan binary logging. Log biner lokal instans ApsaraDB RDS untuk MySQL harus dipertahankan minimal selama 3 hari. Kami merekomendasikan agar Anda mempertahankannya selama 7 hari. Log biner lokal database MySQL yang dikelola sendiri harus dipertahankan minimal selama 7 hari. Jika tidak, tugas DTS mungkin gagal karena DTS tidak dapat memperoleh log biner. Dalam kasus ekstrem, data mungkin tidak konsisten atau hilang. Masalah yang disebabkan oleh periode retensi log biner yang lebih pendek dari periode yang disyaratkan tidak dicakup oleh Perjanjian Tingkat Layanan (SLA) DTS. Catatan Untuk petunjuk cara mengatur Retention Period log biner lokal instans RDS MySQL, lihat Hapus log lokal secara otomatis. Selama sinkronisasi skema awal dan sinkronisasi data penuh awal, jangan lakukan operasi DDL untuk mengubah skema database atau tabel. Jika tidak, tugas sinkronisasi data akan gagal. Selama sinkronisasi, perubahan data yang dihasilkan oleh operasi yang tidak dicatat dalam log biner tidak akan disinkronkan ke database tujuan. Contoh operasi tersebut termasuk pemulihan data menggunakan backup fisik dan operasi kaskade. Catatan Jika hal ini terjadi, Anda dapat menghapus database atau tabel dari objek sinkronisasi lalu menambahkannya kembali. Hal ini diperbolehkan jika bisnis Anda mengizinkannya. Untuk informasi selengkapnya, lihat Ubah objek sinkronisasi. Jika database sumber adalah database MySQL versi 8.0.23 atau lebih baru dan data yang akan disinkronkan berisi kolom tak terlihat, data mungkin hilang karena data dalam kolom tersebut tidak dapat diperoleh. Catatan Anda dapat menjalankan perintah `ALTER TABLE <table_name> ALTER COLUMN <column_name> SET VISIBLE;` untuk membuat kolom tak terlihat menjadi terlihat. Untuk informasi selengkapnya, lihat Kolom Tak Terlihat. Tabel tanpa kunci primer secara otomatis menghasilkan kunci primer tak terlihat. Anda juga harus membuat kunci primer tak terlihat ini menjadi terlihat. Untuk informasi selengkapnya, lihat Kunci Primer Tak Terlihat yang Dihasilkan.
Batasan lainnya	Jika pernyataan DDL dari instans RDS MySQL sumber tidak mengikuti sintaks standar MySQL, tugas sinkronisasi mungkin gagal atau data mungkin hilang. Jika Anda melakukan operasi DDL Online yang menggunakan tabel sementara di database sumber, seperti menggabungkan beberapa tabel, data mungkin hilang di database tujuan atau instans sinkronisasi mungkin gagal. Ketika Anda menggunakan DMS atau alat gh-ost untuk melakukan operasi DDL Online pada sumber, DTS hanya menyinkronkan pernyataan DDL aslinya ke tujuan. Dalam skenario ini, DTS tidak perlu menyinkronkan sejumlah besar data tabel sementara, tetapi hal ini dapat menyebabkan tabel terkunci di tujuan. Catatan DTS tidak mendukung penyinkronan perubahan DDL Online yang dibuat dengan alat seperti pt-online-schema-change. Jika perubahan semacam itu ada di sumber, data mungkin hilang di tujuan, atau instans sinkronisasi mungkin gagal. Sinkronisasi INDEX, PARTITION, VIEW, PROCEDURE, FUNCTION, TRIGGER, dan FK didukung. Operasi RENAME TABLE tidak didukung. Jika terjadi konflik kunci primer atau kunci unik saat instans sinkronisasi sedang berjalan: Jika database sumber dan tujuan memiliki skema yang sama dan catatan data di database tujuan memiliki nilai kunci primer atau nilai kunci unik yang sama dengan catatan data di database sumber: Selama sinkronisasi data penuh, DTS tidak menyinkronkan catatan data ke database tujuan. Catatan data yang ada di database tujuan dipertahankan. Selama sinkronisasi data inkremental, DTS menyinkronkan catatan data ke database tujuan. Catatan data yang ada di database tujuan ditimpa. Jika database sumber dan tujuan memiliki skema yang berbeda, inisialisasi data mungkin gagal. Dalam kasus ini, hanya beberapa kolom yang disinkronkan, atau instans sinkronisasi data gagal. Harap berhati-hati. Data bertipe waktu di ApsaraDB untuk ClickHouse memiliki batasan rentang. Jika data waktu di RDS MySQL berada di luar rentang ini, waktu yang disinkronkan ke ApsaraDB untuk ClickHouse akan salah. Untuk informasi tentang batasan rentang, lihat Informasi waktu. Partition Key tidak boleh berupa bidang nullable. Jika tidak, tugas sinkronisasi akan gagal. Catatan Hanya bidang bertipe BIGINT, INT, TIMESTAMP, DATETIME, dan DATE yang didukung sebagai kunci partisi. Jumlah database yang akan disinkronkan tidak melebihi batas ApsaraDB untuk ClickHouse, yaitu 256. Nama database, tabel, dan kolom yang akan disinkronkan mematuhi konvensi penamaan ApsaraDB untuk ClickHouse. Untuk informasi selengkapnya tentang konvensi tersebut, lihat Konvensi penamaan objek. Selama sinkronisasi skema, DTS menambahkan bidang _sign, _is_deleted, dan _version ke tabel tujuan. Jika Anda tidak memilih Schema Synchronization saat mengonfigurasi Synchronization Types, Anda harus membuat tabel secara manual untuk menerima data di tujuan dan menambahkan bidang tambahan ke tabel tersebut. Untuk informasi tentang persyaratan pembuatan tabel dan detail bidang, lihat Informasi tabel dan bidang. Sebelum menyinkronkan data, evaluasi kinerja database sumber dan tujuan. Kami merekomendasikan agar Anda melakukan sinkronisasi data di luar jam sibuk. Jika tidak, sinkronisasi data penuh awal akan mengonsumsi sumber daya baca dan tulis database sumber dan tujuan, yang dapat meningkatkan beban database. Jika Anda menyinkronkan satu atau beberapa tabel alih-alih seluruh database, jangan gunakan alat seperti pt-online-schema-change untuk melakukan operasi DDL Online pada objek sinkronisasi di database sumber. Jika tidak, sinkronisasi akan gagal. Anda dapat menggunakan Data Management (DMS) untuk melakukan operasi DDL Online. Untuk informasi selengkapnya, lihat Ubah skema tanpa mengunci tabel. Selama sinkronisasi DTS, jangan izinkan data apa pun selain dari DTS ditulis ke database tujuan. Jika tidak, ketidakkonsistenan data antara database sumber dan tujuan akan terjadi. Jika fitur Always-Confidential (EncDB) diaktifkan untuk instans ApsaraDB RDS untuk MySQL, sinkronisasi data penuh awal tidak didukung. Catatan Instans ApsaraDB RDS untuk MySQL yang diaktifkan Transparent Data Encryption (TDE) mendukung sinkronisasi skema, sinkronisasi data penuh awal, dan sinkronisasi data inkremental. Jika suatu instans gagal, tim dukungan DTS akan mencoba memulihkan instans tersebut dalam waktu 8 jam. Selama proses pemulihan, operasi seperti memulai ulang instans dan menyesuaikan parameter mungkin dilakukan. Catatan Saat parameter disesuaikan, hanya parameter instans DTS yang dimodifikasi. Parameter database tidak dimodifikasi. Parameter yang mungkin dimodifikasi meliputi tetapi tidak terbatas pada yang dijelaskan dalam Ubah parameter instans.
Catatan lainnya	Jika database sumber adalah database MySQL yang dikelola sendiri: Selama sinkronisasi, jika terjadi failover primer/sekunder di database sumber, tugas sinkronisasi akan gagal. Latensi DTS dihitung berdasarkan selisih antara stempel waktu catatan data terakhir yang disinkronkan ke database tujuan dan stempel waktu saat ini. Jika tidak ada operasi DML yang dilakukan pada database sumber dalam waktu lama, informasi latensi mungkin tidak akurat. Jika latensi yang ditampilkan terlalu tinggi, Anda dapat melakukan operasi DML pada database sumber untuk memperbarui informasi latensi. Catatan Jika Anda memilih untuk menyinkronkan seluruh database, Anda juga dapat membuat tabel heartbeat. Tabel heartbeat diperbarui atau ditulis setiap detik. DTS secara berkala menjalankan perintah CREATE DATABASE IF NOT EXISTS `test` pada database sumber untuk memajukan offset log biner. Jika database sumber adalah instans Amazon Aurora MySQL atau instans MySQL terklaster lainnya, pastikan nama domain atau alamat IP yang dikonfigurasi untuk tugas dan hasil resolusinya selalu mengarah ke node baca/tulis (RW). Jika tidak, tugas sinkronisasi mungkin tidak berjalan sebagaimana mestinya. Jika database sumber adalah instans ApsaraDB RDS untuk MySQL: Instans ApsaraDB RDS untuk MySQL yang tidak mencatat log transaksi, seperti instans hanya baca ApsaraDB RDS untuk MySQL 5.6, tidak dapat digunakan sebagai database sumber. DTS secara berkala menjalankan perintah CREATE DATABASE IF NOT EXISTS `test` pada database sumber untuk memajukan offset log biner.

Penagihan

Jenis sinkronisasi	Biaya konfigurasi tugas
Sinkronisasi skema dan sinkronisasi data penuh	Gratis.
Sinkronisasi data inkremental	Dikenai biaya. Untuk informasi selengkapnya, lihat Ikhtisar penagihan.

Operasi SQL yang didukung

Jenis operasi	Pernyataan SQL
DML	INSERT, UPDATE, DELETE
DDL	CREATE TABLE, DROP TABLE, TRUNCATE TABLE ADD COLUMN, MODIFY COLUMN, DROP COLUMN

Pemetaan tipe data

Karena MySQL dan klaster ApsaraDB untuk ClickHouse mendukung tipe data yang berbeda, pemetaan satu-ke-satu tidak mungkin dilakukan. Saat DTS melakukan sinkronisasi skema awal, DTS memetakan tipe data berdasarkan tipe yang didukung oleh database tujuan. Untuk informasi selengkapnya, lihat Pemetaan tipe data untuk sinkronisasi skema awal.

Izin akun database

Database	Izin yang diperlukan	Metode pembuatan dan otorisasi
Sumber RDS MySQL	Izin baca pada objek yang akan disinkronkan.	Buat akun dan Ubah izin akun.
Klaster ApsaraDB untuk ClickHouse tujuan	Versi 22.8 atau lebih baru: Izin baca dan tulis pada database tujuan. Akun istimewa memenuhi persyaratan. Versi 21.8: Read/Write And Settings dan Allow DDL.	Manajemen Akun Edisi Kompatibel Komunitas

Catatan

Jika akun database sumber yang Anda gunakan tidak dibuat dan diotorisasi melalui konsol RDS MySQL, pastikan akun tersebut memiliki izin REPLICATION CLIENT, REPLICATION SLAVE, SHOW VIEW, dan SELECT.

Prosedur

Gunakan salah satu metode berikut untuk membuka halaman Sinkronisasi Data dan pilih wilayah tempat instans sinkronisasi data berada.
Konsol DTS
1. Masuk ke Konsol DTS.
2. Di panel navigasi sebelah kiri, klik Data Synchronization.
3. Di pojok kiri atas halaman, pilih wilayah tempat tugas sinkronisasi data berada.
Konsol DMS
Catatan
Operasi aktual mungkin berbeda tergantung pada mode dan tata letak konsol DMS. Untuk informasi selengkapnya, lihat Mode sederhana dan Sesuaikan tata letak dan gaya konsol DMS.
1. Masuk ke Konsol DMS.
2. Di bilah navigasi atas, arahkan kursor ke Data + AI lalu pilih DTS (DTS) > Data Synchronization.
3. Dari daftar drop-down di sebelah kanan Data Synchronization Tasks, pilih wilayah tempat instans sinkronisasi data berada.
Klik Create Task untuk membuka halaman konfigurasi tugas.

Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter-parameter tersebut.

Kategori	Konfigurasi	Deskripsi
Tidak ada	Task Name	Nama tugas DTS. DTS secara otomatis menghasilkan nama tugas. Kami merekomendasikan agar Anda menentukan nama deskriptif yang memudahkan identifikasi tugas. Anda tidak perlu menentukan nama tugas yang unik.
Source Database	Select Existing Connection	Jika Anda menggunakan instans database yang terdaftar di DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi selengkapnya, lihat Kelola koneksi database. Catatan Di konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance. Jika Anda gagal mendaftarkan instans ke DTS, atau Anda tidak perlu menggunakan instans yang terdaftar di DTS, Anda harus mengonfigurasi informasi database berikut.
	Database Type	Pilih MySQL.
	Access Method	Pilih Alibaba Cloud Instance.
	Instance Region	Pilih wilayah tempat instans RDS MySQL sumber berada.
	Replicate Data Across Alibaba Cloud Accounts	Contoh ini menunjukkan sinkronisasi dalam akun Alibaba Cloud yang sama. Pilih No.
	RDS Instance ID	Pilih ID instans RDS MySQL sumber.
	Database Account	Masukkan akun database instans RDS MySQL sumber. Untuk informasi tentang persyaratan izin, lihat Izin akun database.
	Database Password	Kata sandi yang digunakan untuk mengakses database.
	Encryption	Menentukan apakah akan mengenkripsi koneksi ke database. Anda dapat memilih Non-encrypted atau SSL-encrypted berdasarkan kebutuhan bisnis Anda. Jika Anda ingin mengatur parameter ini ke SSL-encrypted, Anda harus mengaktifkan enkripsi SSL untuk instans ApsaraDB RDS untuk MySQL sebelum mengonfigurasi tugas DTS. Untuk informasi selengkapnya, lihat Gunakan sertifikat cloud untuk mengaktifkan enkripsi SSL.
Destination Database	Select Existing Connection	Jika Anda menggunakan instans database yang terdaftar di DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi selengkapnya, lihat Kelola koneksi database. Catatan Di konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance. Jika Anda gagal mendaftarkan instans ke DTS, atau Anda tidak perlu menggunakan instans yang terdaftar di DTS, Anda harus mengonfigurasi informasi database berikut.
	Database Type	Pilih ClickHouse.
	Access Method	Pilih Alibaba Cloud Instance.
	Instance Region	Pilih wilayah tempat klaster ApsaraDB untuk ClickHouse tujuan berada.
	Replicate Data Across Alibaba Cloud Accounts	Contoh ini menunjukkan sinkronisasi dalam akun Alibaba Cloud yang sama. Pilih No.
	Cluster Type	Pilih jenis klaster ApsaraDB untuk ClickHouse sesuai kebutuhan.
	Cluster ID	Pilih ID klaster ApsaraDB untuk ClickHouse tujuan.
	Database Account	Masukkan akun database klaster ApsaraDB untuk ClickHouse tujuan. Untuk informasi tentang persyaratan izin, lihat Izin akun database.
	Database Password	Kata sandi yang digunakan untuk mengakses database.

Klik Test Connectivity and Proceed di bagian bawah halaman.
Catatan
- Pastikan blok CIDR server DTS dapat ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan untuk mengizinkan akses dari server DTS. Untuk informasi selengkapnya, lihat Tambahkan alamat IP server DTS ke daftar putih.
- Jika database sumber atau tujuan adalah database yang dikelola sendiri dan Access Method-nya tidak diatur ke Alibaba Cloud Instance, klik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.

Konfigurasikan objek yang akan disinkronkan.

Pada langkah Configure Objects, konfigurasikan objek yang ingin Anda sinkronkan.

Konfigurasi	Deskripsi
Synchronization Types	Jenis sinkronisasi. Secara default, Incremental Data Synchronization dipilih. Anda juga harus memilih Schema Synchronization dan Full Data Synchronization. Setelah pemeriksaan awal selesai, DTS menyinkronkan data historis objek yang dipilih dari database sumber ke klaster tujuan. Data historis merupakan dasar untuk sinkronisasi inkremental selanjutnya.
Processing Mode of Conflicting Tables	Precheck and Report Errors: memeriksa apakah database tujuan berisi tabel yang memiliki nama yang sama dengan tabel di database sumber. Jika database sumber dan tujuan tidak berisi tabel dengan nama tabel yang identik, pemeriksaan awal lolos. Jika tidak, kesalahan akan dikembalikan selama pemeriksaan awal, dan tugas sinkronisasi data tidak dapat dimulai. Catatan Jika database sumber dan tujuan berisi tabel dengan nama yang identik dan tabel di database tujuan tidak dapat dihapus atau diganti namanya, Anda dapat menggunakan fitur pemetaan nama objek untuk mengganti nama tabel yang disinkronkan ke database tujuan. Untuk informasi selengkapnya, lihat Petakan nama objek. Ignore Errors and Proceed: melewati pemeriksaan awal untuk nama tabel yang identik di database sumber dan tujuan. Peringatan Jika Anda memilih Ignore Errors and Proceed, ketidakkonsistenan data mungkin terjadi dan bisnis Anda mungkin terpapar risiko potensial. Jika database sumber dan tujuan memiliki skema yang sama dan catatan data di database tujuan memiliki nilai kunci primer atau nilai kunci unik yang sama dengan catatan data di database sumber: Selama sinkronisasi data penuh, DTS tidak menyinkronkan catatan data ke database tujuan. Catatan data yang ada di database tujuan dipertahankan. Selama sinkronisasi data inkremental, DTS menyinkronkan catatan data ke database tujuan. Catatan data yang ada di database tujuan ditimpa. Jika database sumber dan tujuan memiliki skema yang berbeda, inisialisasi data mungkin gagal. Dalam kasus ini, hanya beberapa kolom yang disinkronkan, atau instans sinkronisasi data gagal. Harap berhati-hati.
Capitalization of Object Names in Destination Instance	Huruf kapital nama database, nama tabel, dan nama kolom di instans tujuan. Secara default, DTS default policy dipilih. Anda dapat memilih opsi lain untuk memastikan huruf kapital nama objek konsisten dengan database sumber atau tujuan. Untuk informasi selengkapnya, lihat Tentukan huruf kapital nama objek di instans tujuan.
Source Objects	Pilih satu atau beberapa objek dari bagian Source Objects lalu klik ikon untuk menambahkan objek ke bagian Selected Objects. Catatan Anda dapat memilih objek untuk disinkronkan di tingkat database atau tabel.
Selected Objects	Untuk mengganti nama objek yang ingin Anda sinkronkan ke instans tujuan, klik kanan objek di bagian Selected Objects. Untuk informasi selengkapnya, lihat bagian "Petakan nama objek tunggal" dalam topik Petakan nama objek. Untuk mengganti nama beberapa objek sekaligus, klik Batch Edit di pojok kanan atas bagian Selected Objects. Untuk informasi selengkapnya, lihat bagian "Petakan beberapa nama objek sekaligus" dalam topik Petakan nama objek. Catatan Untuk memfilter data, Anda dapat mengklik kanan tabel yang akan disinkronkan di kotak Selected Objects lalu mengatur kondisi filter di kotak dialog. Untuk informasi selengkapnya, lihat Atur kondisi filter. Jika Anda menggunakan fitur pemetaan nama objek, objek lain yang bergantung pada objek yang dipetakan mungkin gagal disinkronkan.

Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.

Konfigurasi	Deskripsi
Dedicated Cluster for Task Scheduling	Secara default, DTS menjadwalkan tugas ke klaster bersama jika Anda tidak menentukan klaster khusus. Jika Anda ingin meningkatkan stabilitas instans sinkronisasi data, beli klaster khusus. Untuk informasi selengkapnya, lihat Apa itu klaster khusus DTS.
Time zone of destination database	Anda dapat memilih zona waktu untuk data DateTime yang ditulis ke klaster ApsaraDB untuk ClickHouse.
Retry Time for Failed Connections	Rentang waktu ulang untuk koneksi yang gagal. Jika database sumber atau tujuan gagal terhubung setelah tugas sinkronisasi data dimulai, DTS segera mencoba menghubungkan kembali dalam rentang waktu tersebut. Nilai yang valid: 10 hingga 1440. Satuan: menit. Nilai default: 720. Kami merekomendasikan agar Anda mengatur parameter ini ke nilai lebih dari 30. Jika DTS berhasil menghubungkan kembali ke database sumber dan tujuan dalam rentang waktu yang ditentukan, DTS melanjutkan tugas sinkronisasi data. Jika tidak, tugas sinkronisasi data gagal. Catatan Jika Anda menentukan rentang waktu ulang yang berbeda untuk beberapa tugas sinkronisasi data yang memiliki database sumber atau tujuan yang sama, rentang waktu ulang terpendek yang berlaku. Saat DTS mencoba menghubungkan kembali, Anda dikenai biaya untuk instans DTS. Kami merekomendasikan agar Anda menentukan rentang waktu ulang berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepaskan instans DTS sesegera mungkin setelah instans sumber dan tujuan dilepas.
Retry Time for Other Issues	Rentang waktu ulang untuk masalah lainnya. Misalnya, jika operasi DDL atau DML gagal dilakukan setelah tugas sinkronisasi data dimulai, DTS segera mencoba mengulang operasi tersebut dalam rentang waktu tersebut. Nilai yang valid: 1 hingga 1440. Satuan: menit. Nilai default: 10. Kami merekomendasikan agar Anda mengatur parameter ini ke nilai lebih dari 10. Jika operasi yang gagal berhasil dilakukan dalam rentang waktu yang ditentukan, DTS melanjutkan tugas sinkronisasi data. Jika tidak, tugas sinkronisasi data gagal. Penting Nilai parameter Retry Time for Other Issues harus lebih kecil daripada nilai parameter Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization	Selama sinkronisasi data penuh, DTS menggunakan sumber daya baca dan tulis database sumber dan tujuan. Hal ini dapat meningkatkan beban pada server database. Anda dapat mengonfigurasi parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s) untuk tugas sinkronisasi data penuh guna mengurangi beban pada server database tujuan. Catatan Anda hanya dapat mengonfigurasi parameter ini jika Full Data Synchronization dipilih untuk parameter Synchronization Types.
Enable Throttling for Incremental Data Synchronization	Menentukan apakah akan mengaktifkan pembatasan untuk sinkronisasi data inkremental. Anda dapat mengaktifkan pembatasan untuk sinkronisasi data inkremental berdasarkan kebutuhan bisnis Anda. Untuk mengonfigurasi pembatasan, Anda harus mengonfigurasi parameter RPS of Incremental Data Synchronization dan Data synchronization speed for incremental synchronization (MB/s). Hal ini mengurangi beban pada server database tujuan.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Menentukan apakah akan menulis operasi SQL pada tabel heartbeat ke database sumber saat instans DTS berjalan. Nilai yang valid: Yes: tidak menulis operasi SQL pada tabel heartbeat. Dalam hal ini, latensi instans DTS mungkin ditampilkan. No: menulis operasi SQL pada tabel heartbeat. Dalam hal ini, fitur seperti backup fisik dan kloning database sumber mungkin terpengaruh.
Environment Tag	Anda dapat memilih tag lingkungan untuk mengidentifikasi instans sesuai kebutuhan. Tidak perlu pemilihan untuk contoh ini.
Configure ETL	Menentukan apakah akan mengaktifkan fitur ekstrak, transformasi, muat (ETL). Untuk informasi selengkapnya, lihat Apa itu ETL? Nilai yang valid: Yes: mengonfigurasi fitur ETL. Anda dapat memasukkan pernyataan pemrosesan data di editor kode. Untuk informasi selengkapnya, lihat Konfigurasi ETL dalam tugas migrasi data atau sinkronisasi data. No: tidak mengonfigurasi fitur ETL.
Monitoring and Alerting	Menentukan apakah akan mengonfigurasi peringatan untuk instans sinkronisasi data. Jika tugas gagal atau latensi sinkronisasi melebihi ambang batas yang ditentukan, kontak peringatan akan menerima notifikasi. Nilai yang valid: No: tidak mengaktifkan peringatan. Yes: mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan pengaturan notifikasi peringatan. Untuk informasi selengkapnya, lihat bagian "Konfigurasi pemantauan dan peringatan saat membuat tugas DTS" dalam topik Konfigurasi pemantauan dan peringatan.

Klik Next: Configure Database and Table Fields untuk mengonfigurasi Type, Primary Key Column, Sort Key, Distribution Key, dan Partition Key untuk tabel yang akan disinkronkan ke ClickHouse.
- DTS menyediakan konfigurasi default. Anda dapat mengatur Definition Status ke All untuk memodifikasi konfigurasi.
- Primary Key Column dan Sort Key dapat berupa kunci komposit. Anda dapat memilih beberapa bidang dari daftar drop-down untuk menentukan Primary Key Column atau Sort Key. Anda juga harus memilih satu atau beberapa kolom dari Primary Key Column sebagai Partition Key. Hanya satu bidang yang dapat dipilih sebagai Distribution Key. Untuk informasi selengkapnya tentang kolom kunci primer, kunci pengurutan, dan kunci partisi, lihat BUAT TABEL.
  Catatan
  Partition Key bersifat opsional, tetapi tidak boleh berupa bidang nullable, atau tugas sinkronisasi akan gagal.
  Hanya bidang bertipe BIGINT, INT, TIMESTAMP, DATETIME, dan DATE yang didukung sebagai kunci partisi. Untuk informasi tentang logika perhitungan, lihat Logika perhitungan untuk kunci partisi.

Simpan pengaturan tugas dan jalankan pemeriksaan awal.
- Untuk melihat parameter yang harus ditentukan saat Anda memanggil operasi API terkait untuk mengonfigurasi tugas DTS, arahkan kursor ke Next: Save Task Settings and Precheck lalu klik Preview OpenAPI parameters.
- Jika Anda tidak perlu melihat atau telah melihat parameter, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
Catatan
- Sebelum Anda dapat memulai tugas sinkronisasi data, DTS melakukan pemeriksaan awal. Anda hanya dapat memulai tugas sinkronisasi data setelah tugas tersebut lolos pemeriksaan awal.
- Jika tugas sinkronisasi data gagal dalam pemeriksaan awal, klik View Details di sebelah setiap item yang gagal. Setelah Anda menganalisis penyebab berdasarkan hasil pemeriksaan, atasi masalah tersebut. Kemudian, jalankan kembali pemeriksaan awal.
- Jika peringatan dipicu untuk suatu item selama pemeriksaan awal:
  Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan atasi masalah tersebut. Kemudian, jalankan pemeriksaan awal lagi.
  Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog Lihat Detail, klik Ignore. Di pesan yang muncul, klik OK. Kemudian, klik Precheck Again untuk menjalankan pemeriksaan awal lagi. Jika Anda mengabaikan item peringatan, ketidakkonsistenan data mungkin terjadi, dan bisnis Anda mungkin terpapar risiko potensial.

Beli instance.

Tunggu hingga Success Rate menjadi 100%. Lalu, klik Next: Purchase Instance.

Di halaman buy, konfigurasikan parameter Metode Penagihan dan Kelas Instans untuk tugas sinkronisasi data. Tabel berikut menjelaskan parameter-parameter tersebut.

Bagian	Parameter	Deskripsi
New Instance Class	Metode Penagihan	Langganan: Anda membayar untuk langganan saat membuat instans sinkronisasi data. Metode penagihan langganan lebih hemat biaya dibandingkan metode penagihan bayar sesuai pemakaian untuk penggunaan jangka panjang. Bayar sesuai pemakaian: Instans bayar sesuai pemakaian ditagih per jam. Metode penagihan bayar sesuai pemakaian cocok untuk penggunaan jangka pendek. Jika Anda tidak lagi memerlukan instans sinkronisasi data bayar sesuai pemakaian, Anda dapat melepaskan instans tersebut untuk mengurangi biaya.
	Pengaturan Kelompok Sumber Daya	Kelompok sumber daya tempat instans sinkronisasi data berada. Nilai default: default resource group. Untuk informasi selengkapnya, lihat Apa itu Manajemen Sumber Daya?
	Kelas Instans	DTS menyediakan kelas instans dengan kecepatan sinkronisasi yang berbeda. Anda dapat memilih kelas instans berdasarkan kebutuhan bisnis Anda. Untuk informasi selengkapnya, lihat Kelas instans untuk instans sinkronisasi data.
	Durasi Langganan	Jika Anda memilih metode penagihan langganan, tentukan durasi langganan dan jumlah instans sinkronisasi data yang ingin Anda buat. Durasi langganan dapat berupa satu hingga sembilan bulan, satu tahun, dua tahun, tiga tahun, atau lima tahun. Catatan Parameter ini hanya tersedia jika Anda memilih metode penagihan Subscription.

Baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start. Di kotak dialog yang muncul, klik OK.
Anda dapat melihat progres tugas di daftar tugas.

Lampiran

Informasi waktu

Tipe data	Nilai minimum	Nilai maksimum
Date	1970-01-01 00:00:00	2149-06-06 00:00:00
Date32	1925-01-01 00:00:00	2283-11-11 00:00:00
DateTime	1970-01-01 08:00:00	2106-02-07 14:28:15
DateTime64	1925-01-01 08:00:00	2283-11-12 07:59:59

Informasi tabel dan bidang

Informasi tabel

Jika Anda tidak menggunakan fitur pemetaan nama objek, tabel yang Anda buat harus memenuhi persyaratan berikut.

Penting

Jika tabel tujuan mencakup ENGINE, ENGINE tersebut harus berupa ENGINE = ReplicatedReplacingMergeTree(_version, _is_deleted). Jika tidak, ketidakkonsistenan data mungkin terjadi.

Instans Edisi Komunitas ClickHouse: Anda perlu membuat satu tabel lokal dan satu tabel terdistribusi. Nama tabel terdistribusi harus sama dengan nama tabel sumber. Nama tabel lokal harus berupa <nama_tabel_terdistribusi>_local.
Instans Edisi Perusahaan ClickHouse: Anda perlu membuat tabel dengan nama yang sama dengan tabel sumber.

Informasi bidang

Catatan

Di instans ClickHouse, Anda dapat menjalankan pernyataan select * from table_name final where _sign>0; untuk mengkueri data. Kondisi where memfilter data yang dihapus, dan kata kunci final setelah nama tabel memfilter data dengan kunci pengurutan yang sama.

Versi	Nama	Tipe data	Nilai default	Deskripsi
Edisi Komunitas sebelum 23.8	_sign	Int8	1	Jenis operasi DML. INSERT: Catatan adalah 1. UPDATE: Catatan adalah 1. DELETE: Catatan adalah -1.
Edisi Komunitas sebelum 23.8	_version	UInt64	1	Stempel waktu saat data ditulis ke ClickHouse.
Edisi Perusahaan dan Edisi Komunitas 23.8 dan lebih baru	_sign	Int8	1	Jenis operasi DML. INSERT: Catatan adalah 1. UPDATE: Catatan adalah 1. DELETE: Catatan adalah -1.
	_is_deleted	UInt8	0	Menunjukkan apakah catatan dihapus: Insert: Catatan adalah 0. Delete: Catatan adalah 1. Update: Catatan adalah 0.
	_version	UInt64	1	Stempel waktu saat data ditulis ke ClickHouse.

Logika perhitungan untuk kunci partisi

Tipe bidang sumber	Logika perhitungan kunci partisi
BIGINT	`intDiv(" + tablePartKey + ", 18014398509481984)`
INT	`intDiv(" + tablePartKey + ", 4194304)`
TIMESTAMP	`toYYYYMM(" + tablePartKey + ")`
DATETIME
DATE

Prasyarat

Batasan

Penagihan

Operasi SQL yang didukung

Pemetaan tipe data

Izin akun database

Prosedur

Konsol DTS

Konsol DMS

Lampiran

Informasi waktu

Informasi tabel dan bidang

Informasi tabel

Informasi bidang

Logika perhitungan untuk kunci partisi