migrasikan data mysql ke apsaradb untuk clickhouse - Data Transmission Service

Anda dapat menggunakan Data Transmission Service (DTS) untuk memigrasikan data dari database MySQL—seperti database MySQL yang dikelola sendiri atau instans ApsaraDB RDS for MySQL—ke klaster ApsaraDB for ClickHouse. Hal ini memungkinkan Anda mentransfer data dengan mudah untuk analisis terpusat. Topik ini menggunakan instans ApsaraDB RDS for MySQL sebagai contoh untuk menunjukkan cara mengonfigurasi migrasi data dari ApsaraDB RDS for MySQL ke klaster ApsaraDB for ClickHouse.

Prasyarat

Klaster ApsaraDB for ClickHouse tujuan yang menjalankan versi 20.8 atau lebih baru telah dibuat. Untuk informasi selengkapnya, lihat Buat klaster.

Catatan

Ruang penyimpanan klaster ApsaraDB for ClickHouse tujuan harus lebih besar daripada ruang penyimpanan yang digunakan oleh instans sumber ApsaraDB RDS for MySQL.

Catatan Penggunaan

Jenis	Deskripsi
Batasan database sumber	Jika Anda memigrasikan objek pada tingkat tabel dan perlu mengeditnya, seperti menggunakan fitur pemetaan nama objek, satu tugas migrasi data mendukung maksimal 1.000 tabel. Jika melebihi batas ini, kesalahan permintaan akan dilaporkan setelah Anda mengirimkan tugas tersebut. Dalam kasus ini, bagi tabel yang akan dimigrasikan menjadi beberapa tugas atau konfigurasikan satu tugas untuk memigrasikan seluruh database. Jika Anda melakukan migrasi inkremental, log biner: Harus diaktifkan, dengan `binlog_format` diatur ke `ROW` dan `binlog_row_image` diatur ke `FULL`. Jika tidak, kesalahan akan dilaporkan selama pemeriksaan awal, dan tugas migrasi data tidak dapat dimulai. Penting Jika database MySQL yang dikelola sendiri merupakan klaster dual-primary di mana masing-masing instans menjadi primary satu sama lain, Anda harus mengaktifkan parameter `log_slave_updates`. Hal ini memastikan bahwa DTS dapat memperoleh semua log biner. Log biner lokal untuk instans RDS for MySQL harus disimpan minimal selama 3 hari (disarankan 7 hari). Log biner lokal untuk database MySQL yang dikelola sendiri harus disimpan minimal selama 7 hari. Jika tidak, tugas DTS mungkin gagal karena tidak dapat memperoleh log biner. Dalam kasus ekstrem, hal ini dapat menyebabkan ketidakkonsistenan data atau kehilangan data. Masalah yang disebabkan oleh pengaturan periode retensi log biner lebih pendek dari persyaratan DTS tidak dicakup oleh Perjanjian Tingkat Layanan (SLA) DTS. Catatan Untuk informasi tentang cara mengatur Retention Period untuk log biner lokal instans RDS for MySQL, lihat Hapus log lokal secara otomatis. Untuk memigrasikan data inkremental, instans RDS for MySQL yang tidak mencatat log transaksi, seperti instans hanya baca RDS for MySQL 5.6, tidak dapat digunakan sebagai sumber. Batasan operasi database sumber: Selama migrasi skema dan migrasi data penuh, jangan lakukan operasi DDL yang mengubah skema database atau tabel. Jika tidak, tugas migrasi data akan gagal. Jika Anda hanya melakukan migrasi data penuh, jangan menulis data baru ke instans sumber. Jika tidak, akan terjadi ketidakkonsistenan data antara database sumber dan tujuan. Untuk menjaga konsistensi data secara real-time, pilih migrasi skema, migrasi data penuh, dan migrasi data inkremental. Selama migrasi, data yang dihasilkan oleh operasi yang tidak dicatat dalam log biner, seperti data dari pemulihan backup fisik atau operasi kaskade, tidak dimigrasikan ke database tujuan. Catatan Jika hal ini terjadi, Anda dapat memigrasikan kembali data penuh saat bisnis Anda memungkinkan. Jika database sumber adalah MySQL 8.0.23 atau lebih baru dan data yang akan dimigrasikan berisi kolom tak terlihat, kehilangan data mungkin terjadi karena data dalam kolom tersebut tidak dapat diperoleh. Catatan Anda dapat menjalankan perintah `ALTER TABLE <table_name> ALTER COLUMN <column_name> SET VISIBLE;` untuk membuat kolom tak terlihat menjadi terlihat. Untuk informasi selengkapnya, lihat Kolom Tak Terlihat. Tabel tanpa kunci primer secara otomatis menghasilkan kunci primer tak terlihat. Anda juga harus membuat kunci primer tak terlihat ini menjadi terlihat. Untuk informasi selengkapnya, lihat Kunci Primer Tak Terlihat yang Dihasilkan.
Batasan lainnya	Jika pernyataan DDL dalam instans ApsaraDB RDS for MySQL sumber tidak mengikuti sintaks standar MySQL, tugas migrasi mungkin gagal atau data mungkin hilang. Migrasi INDEX, PARTITION, VIEW, PROCEDURE, FUNCTION, TRIGGER, dan FK tidak didukung. Operasi RENAME TABLE tidak dapat dimigrasikan. Jika operasi DDL Online yang menggunakan tabel sementara, seperti penggabungan beberapa tabel, dilakukan pada database sumber, kehilangan data mungkin terjadi di database tujuan, atau instans migrasi mungkin gagal. Saat Anda melakukan perubahan DDL Online pada sumber menggunakan DMS atau alat gh-ost, DTS hanya memigrasikan pernyataan DDL aslinya ke tujuan. Dalam skenario ini, DTS tidak perlu memigrasikan sejumlah besar data tabel sementara, tetapi mungkin menyebabkan tabel terkunci di tujuan. Catatan Migrasi perubahan DDL Online yang dilakukan menggunakan alat seperti pt-online-schema-change pada sumber tidak didukung. Jika perubahan semacam itu ada di sumber, hal ini dapat menyebabkan kehilangan data di tujuan atau kegagalan instans migrasi. Data bertipe waktu di ApsaraDB for ClickHouse memiliki batasan rentang. Jika data waktu di ApsaraDB RDS for MySQL berada di luar rentang ini, waktu yang dimigrasikan ke ApsaraDB for ClickHouse akan salah. Untuk informasi tentang batasan rentang, lihat Informasi waktu. Anda tidak dapat memilih bidang nullable untuk Partition Key. Jika tidak, tugas migrasi akan gagal. Catatan Kunci partisi hanya mendukung bidang bertipe BIGINT, INT, TIMESTAMP, DATETIME, dan DATE. Jumlah database yang dimigrasikan tidak boleh melebihi batas ApsaraDB for ClickHouse sebanyak 256. Nama database, tabel, dan kolom yang dimigrasikan harus mematuhi Konvensi penamaan ApsaraDB for ClickHouse. Untuk informasi selengkapnya, lihat Konvensi penamaan objek. Selama migrasi skema, DTS menambahkan bidang _sign, _is_deleted, dan _version ke tabel tujuan. Jika Anda tidak memilih Schema Migration saat mengonfigurasi Migration Types, Anda harus membuat tabel secara manual di tujuan untuk menerima data dan menambahkan bidang tambahan ini. Untuk informasi tentang persyaratan pembuatan tabel dan detail bidang, lihat Informasi tabel dan bidang. Sebelum memigrasikan data, evaluasi kinerja database sumber dan tujuan. Kami menyarankan agar Anda melakukan migrasi data di luar jam sibuk. Jika tidak, sinkronisasi data penuh awal akan mengonsumsi sumber daya baca dan tulis dari database sumber dan tujuan, yang dapat meningkatkan beban database. Jika Anda memigrasikan satu atau beberapa tabel alih-alih seluruh database, jangan gunakan alat seperti pt-online-schema-change untuk melakukan operasi DDL Online pada objek migrasi di database sumber. Jika tidak, migrasi akan gagal. Anda dapat menggunakan Data Management (DMS) untuk melakukan operasi DDL Online. Untuk informasi selengkapnya, lihat Lakukan perubahan skema tanpa lock. Selama migrasi DTS, jangan izinkan data dari sumber selain DTS ditulis ke database tujuan. Jika tidak, akan terjadi ketidakkonsistenan data antara database sumber dan tujuan. Jika fitur kerahasiaan penuh diaktifkan untuk instans RDS for MySQL, migrasi data penuh tidak didukung. Catatan Instans RDS for MySQL dengan Enkripsi Data Transparan (TDE) yang diaktifkan mendukung migrasi skema, migrasi data penuh, dan migrasi data inkremental. Jika suatu instans gagal, tim helpdesk DTS akan mencoba memulihkan instans tersebut dalam waktu 8 jam. Selama proses pemulihan, operasi seperti me-restart instans dan menyesuaikan parameter mungkin dilakukan. Catatan Saat parameter disesuaikan, hanya parameter instans DTS yang dimodifikasi. Parameter database tidak dimodifikasi. Parameter yang mungkin dimodifikasi termasuk namun tidak terbatas pada yang dijelaskan dalam Modifikasi parameter instans.
Kasus khusus	Jika sumbernya adalah database MySQL yang dikelola sendiri: Failover primary/secondary pada database sumber selama migrasi menyebabkan tugas migrasi gagal. Latensi di DTS dihitung dengan membandingkan stempel waktu UNIX dari catatan data terakhir yang dimigrasikan dengan stempel waktu UNIX saat ini. Jika tidak ada operasi DML yang dilakukan pada database sumber dalam waktu lama, informasi latensi mungkin tidak akurat. Jika latensi yang ditampilkan terlalu tinggi, Anda dapat melakukan operasi DML pada database sumber untuk memperbarui informasi latensi. Catatan Jika Anda memigrasikan seluruh database, Anda juga dapat membuat tabel heartbeat yang diperbarui atau ditulis setiap detik. DTS secara berkala menjalankan perintah CREATE DATABASE IF NOT EXISTS `test` pada database sumber untuk memajukan offset log biner. Jika database sumber adalah instans Amazon Aurora MySQL atau instans MySQL terklaster lainnya, pastikan nama domain atau alamat IP yang dikonfigurasi untuk tugas dan hasil resolusinya selalu mengarah ke node read/write (RW). Jika tidak, tugas migrasi mungkin tidak berjalan sebagaimana mestinya. Jika sumbernya adalah instans RDS for MySQL: Untuk memigrasikan data inkremental, instans RDS for MySQL yang tidak mencatat log transaksi, seperti instans hanya baca RDS for MySQL 5.6, tidak dapat digunakan sebagai sumber. DTS secara berkala menjalankan perintah CREATE DATABASE IF NOT EXISTS `test` pada database sumber untuk memajukan offset log biner.

Penagihan

Jenis migrasi	Biaya konfigurasi tautan	Biaya transfer data
Migrasi skema dan migrasi data penuh	Gratis.	Contoh ini tidak dikenai biaya ini.
Migrasi data inkremental	Dikenai biaya. Untuk informasi selengkapnya, lihat Ikhtisar penagihan.	Contoh ini tidak dikenai biaya ini.

Operasi SQL yang mendukung migrasi inkremental

Jenis operasi	Operasi SQL
DML	INSERT, UPDATE, DELETE
DDL	CREATE TABLE, DROP TABLE, TRUNCATE TABLE ADD COLUMN, MODIFY COLUMN, DROP COLUMN

Pemetaan tipe data

Tipe data yang didukung oleh MySQL dan ClickHouse tidak memiliki pemetaan satu-ke-satu. Oleh karena itu, selama sinkronisasi skema awal, DTS memetakan tipe data dari database sumber ke tipe data yang kompatibel di database tujuan. Untuk informasi selengkapnya, lihat Pemetaan tipe data antar database heterogen.

Izin yang diperlukan untuk akun database

Database	Izin yang diperlukan	Cara membuat dan memberikan izin
Sumber ApsaraDB RDS for MySQL	Izin baca pada objek yang ingin Anda migrasikan.	Buat akun dan Ubah izin akun.
Klaster ApsaraDB for ClickHouse tujuan	Untuk versi 22.8 atau lebih baru, Anda memerlukan izin baca dan tulis pada database tujuan. Akun istimewa memenuhi persyaratan ini. Versi 21.8: Read, Write and Set Permissions dan Allow DDL.	Kelola akun untuk klaster Edisi Kompatibel Komunitas

Catatan

Jika Anda tidak menggunakan konsol ApsaraDB RDS for MySQL untuk membuat akun database sumber dan memberikan izin, pastikan akun tersebut memiliki izin REPLICATION CLIENT, REPLICATION SLAVE, SHOW VIEW, dan SELECT.

Prosedur

Gunakan salah satu metode berikut untuk membuka halaman Migrasi Data dan pilih wilayah tempat instans migrasi data berada.
Konsol DTS
1. Masuk ke Konsol DTS.
2. Di panel navigasi sebelah kiri, klik Data Migration.
3. Di pojok kiri atas halaman, pilih wilayah tempat instans migrasi data berada.
Konsol DMS
Catatan
Operasi aktual mungkin berbeda tergantung pada mode dan tata letak konsol DMS. Untuk informasi selengkapnya, lihat Mode sederhana dan Sesuaikan tata letak dan gaya konsol DMS.
1. Masuk ke Konsol DMS.
2. Di bilah navigasi atas, arahkan kursor ke Data + AI > DTS (DTS) > Data Migration.
3. Dari daftar drop-down di sebelah kanan Data Migration Tasks, pilih wilayah tempat instans sinkronisasi data berada.
Klik Create Task untuk membuka halaman konfigurasi tugas.

Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter-parameter tersebut.

Kategori	Konfigurasi	Deskripsi
Tidak ada	Task Name	Nama tugas DTS. DTS secara otomatis menghasilkan nama tugas. Kami menyarankan agar Anda menentukan nama deskriptif yang memudahkan identifikasi tugas tersebut. Anda tidak perlu menentukan nama tugas yang unik.
Source Database	Select Existing Connection	Jika Anda menggunakan instans database yang terdaftar di DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi selengkapnya, lihat Kelola koneksi database. Catatan Di konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance. Jika Anda gagal mendaftarkan instans ke DTS, atau Anda tidak perlu menggunakan instans yang terdaftar di DTS, Anda harus mengonfigurasi informasi database berikut.
	Database Type	Pilih MySQL.
	Access Method	Pilih Alibaba Cloud Instance.
	Instance Region	Pilih wilayah tempat instans sumber ApsaraDB RDS for MySQL berada.
	Replicate Data Across Alibaba Cloud Accounts	Contoh ini menjelaskan migrasi dalam akun Alibaba Cloud yang sama. Pilih No.
	RDS Instance ID	Pilih ID instans sumber ApsaraDB RDS for MySQL.
	Database Account	Masukkan akun database untuk instans sumber ApsaraDB RDS for MySQL. Untuk informasi tentang izin yang diperlukan, lihat Izin yang diperlukan untuk akun database.
	Database Password	Kata sandi yang digunakan untuk mengakses database.
	Encryption	Menentukan apakah akan mengenkripsi koneksi ke database. Anda dapat memilih Non-encrypted atau SSL-encrypted berdasarkan kebutuhan bisnis Anda. Jika Anda ingin mengatur parameter ini ke SSL-encrypted, Anda harus mengaktifkan enkripsi SSL untuk instans ApsaraDB RDS for MySQL sebelum mengonfigurasi tugas DTS. Untuk informasi selengkapnya, lihat Gunakan sertifikat cloud untuk mengaktifkan enkripsi SSL.
Destination Database	Select Existing Connection	Jika Anda menggunakan instans database yang terdaftar di DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi selengkapnya, lihat Kelola koneksi database. Catatan Di konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance. Jika Anda gagal mendaftarkan instans ke DTS, atau Anda tidak perlu menggunakan instans yang terdaftar di DTS, Anda harus mengonfigurasi informasi database berikut.
	Database Type	Pilih ClickHouse.
	Access Method	Pilih Alibaba Cloud Instance.
	Instance Region	Pilih wilayah tempat klaster ApsaraDB for ClickHouse tujuan berada.
	Replicate Data Across Alibaba Cloud Accounts	Contoh ini menjelaskan migrasi dalam akun Alibaba Cloud yang sama. Pilih No.
	Cluster Type	Pilih jenis klaster ApsaraDB for ClickHouse sesuai kebutuhan.
	Cluster ID	Pilih ID klaster ApsaraDB for ClickHouse tujuan.
	Database Account	Masukkan akun database untuk klaster ApsaraDB for ClickHouse tujuan. Untuk informasi tentang izin yang diperlukan, lihat Izin yang diperlukan untuk akun database.
	Database Password	Kata sandi yang digunakan untuk mengakses database.

Di bagian bawah halaman, klik Test Connectivity and Proceed.
Catatan
- Pastikan blok CIDR server DTS dapat ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan untuk mengizinkan akses dari server DTS. Untuk informasi selengkapnya, lihat Tambahkan alamat IP server DTS ke daftar putih.
- Jika database sumber atau tujuan adalah database yang dikelola sendiri dan Access Method-nya tidak diatur ke Alibaba Cloud Instance, klik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.

Konfigurasikan objek yang akan dimigrasikan.

Di halaman Configure Objects, konfigurasikan objek yang ingin Anda migrasikan.

Konfigurasi	Deskripsi
Migration Types	Untuk melakukan migrasi data penuh saja, pilih Schema Migration dan Full Data Migration. Untuk memastikan kelangsungan layanan selama migrasi data, pilih Schema Migration, Full Data Migration, dan Incremental Data Migration. Catatan Jika Anda tidak memilih Schema Migration, pastikan database dan tabel telah dibuat di database tujuan untuk menerima data dan fitur pemetaan nama objek diaktifkan di Selected Objects. Jika Anda tidak memilih Incremental Data Migration, kami menyarankan agar Anda tidak menulis data ke database sumber selama migrasi data. Hal ini memastikan konsistensi data antara database sumber dan tujuan.
Processing Mode of Conflicting Tables	Precheck and Report Errors: memeriksa apakah database tujuan berisi tabel yang menggunakan nama yang sama dengan tabel di database sumber. Jika database sumber dan tujuan tidak berisi tabel dengan nama tabel yang identik, pemeriksaan awal berhasil. Jika tidak, kesalahan akan dikembalikan selama pemeriksaan awal dan tugas migrasi data tidak dapat dimulai. Catatan Jika database sumber dan tujuan berisi tabel dengan nama yang identik dan tabel di database tujuan tidak dapat dihapus atau diganti namanya, Anda dapat menggunakan fitur pemetaan nama objek untuk mengganti nama tabel yang dimigrasikan ke database tujuan. Untuk informasi selengkapnya, lihat Pemetaan nama objek. Ignore Errors and Proceed: melewati pemeriksaan awal untuk nama tabel yang identik di database sumber dan tujuan. Peringatan Jika Anda memilih Ignore Errors and Proceed, ketidakkonsistenan data mungkin terjadi dan bisnis Anda mungkin menghadapi risiko potensial berikut: Jika skema database sumber dan tujuan sama, dan catatan data memiliki kunci primer yang sama dengan catatan data yang ada di database tujuan, skenario berikut mungkin terjadi: Selama migrasi data penuh, DTS tidak memigrasikan catatan data ke database tujuan. Catatan data yang ada di database tujuan dipertahankan. Selama migrasi data inkremental, DTS memigrasikan catatan data ke database tujuan. Catatan data yang ada di database tujuan ditimpa. Jika skema database sumber dan tujuan berbeda, hanya kolom tertentu yang dimigrasikan atau tugas migrasi data gagal. Lanjutkan dengan hati-hati.
Capitalization of Object Names in Destination Instance	Huruf kapital nama database, tabel, dan kolom di instans tujuan. Secara default, DTS default policy dipilih. Anda dapat memilih opsi lain untuk memastikan huruf kapital nama objek konsisten dengan database sumber atau tujuan. Untuk informasi selengkapnya, lihat Tentukan huruf kapital nama objek di instans tujuan.
Source Objects	Pilih satu atau beberapa objek dari bagian Source Objects. Klik ikon untuk menambahkan objek ke bagian Selected Objects. Catatan Anda dapat memilih objek pada tingkat database atau tabel.
Selected Objects	Untuk mengganti nama objek yang ingin Anda migrasikan ke instans tujuan, klik kanan objek di bagian Selected Objects. Untuk informasi selengkapnya, lihat Pemetaan nama objek tunggal. Untuk mengganti nama beberapa objek sekaligus, klik Batch Edit di pojok kanan atas bagian Selected Objects. Untuk informasi selengkapnya, lihat Pemetaan nama beberapa objek sekaligus. Catatan Untuk mengatur kondisi filter data, klik kanan tabel yang akan dimigrasikan di kotak Selected Objects dan atur kondisi filter di kotak dialog yang muncul. Untuk informasi selengkapnya, lihat Atur kondisi filter. Jika Anda menggunakan fitur pemetaan nama objek, objek lain yang bergantung pada objek yang diganti nama mungkin gagal dimigrasikan.

Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.

Konfigurasi	Deskripsi
Dedicated Cluster for Task Scheduling	Secara default, DTS menjadwalkan tugas migrasi data ke klaster bersama jika Anda tidak menentukan klaster khusus. Jika Anda ingin meningkatkan stabilitas tugas migrasi data, beli klaster khusus. Untuk informasi selengkapnya, lihat Apa itu klaster khusus DTS.
Time zone of destination database	Anda dapat memilih zona waktu untuk data DateTime yang ditulis ke klaster ApsaraDB for ClickHouse.
Retry Time for Failed Connections	Rentang waktu ulang untuk koneksi yang gagal. Jika database sumber atau tujuan gagal terhubung setelah tugas migrasi data dimulai, DTS segera mencoba menghubungkan kembali dalam rentang waktu ulang tersebut. Nilai yang valid: 10 hingga 1.440. Satuan: menit. Nilai default: 720. Kami menyarankan agar Anda mengatur parameter ini ke nilai lebih dari 30. Jika DTS berhasil terhubung kembali ke database sumber dan tujuan dalam rentang waktu ulang yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal. Catatan Jika Anda menentukan rentang waktu ulang yang berbeda untuk beberapa tugas migrasi data yang menggunakan database sumber atau tujuan yang sama, nilai yang ditentukan terakhir akan menggantikan nilai sebelumnya. Saat DTS mencoba menghubungkan kembali, Anda dikenai biaya untuk instans DTS. Kami menyarankan agar Anda menentukan rentang waktu ulang berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepaskan instans DTS sesegera mungkin setelah database sumber dan instans tujuan dilepas.
Retry Time for Other Issues	Rentang waktu ulang untuk masalah lainnya. Misalnya, jika operasi DDL atau DML gagal dilakukan setelah tugas migrasi data dimulai, DTS segera mencoba mengulang operasi tersebut dalam rentang waktu ulang. Nilai yang valid: 1 hingga 1.440. Satuan: menit. Nilai default: 10. Kami menyarankan agar Anda mengatur parameter ini ke nilai lebih dari 10. Jika operasi yang gagal berhasil dilakukan dalam rentang waktu ulang yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal. Penting Nilai parameter Retry Time for Other Issues harus lebih kecil daripada nilai parameter Retry Time for Failed Connections.
Enable Throttling for Full Data Migration	Menentukan apakah akan mengaktifkan pembatasan untuk migrasi data penuh. Selama migrasi data penuh, DTS menggunakan sumber daya baca dan tulis dari database sumber dan tujuan. Hal ini dapat meningkatkan beban server database. Anda dapat mengaktifkan pembatasan untuk migrasi data penuh berdasarkan kebutuhan bisnis Anda. Untuk mengonfigurasi pembatasan, Anda harus mengatur parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s). Hal ini mengurangi beban server database tujuan. Catatan Anda hanya dapat mengonfigurasi parameter ini jika Anda memilih Full Data Migration untuk parameter Migration Types.
Enable Throttling for Incremental Data Migration	Menentukan apakah akan mengaktifkan pembatasan untuk migrasi data inkremental. Untuk mengonfigurasi pembatasan, Anda harus mengatur parameter RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s). Hal ini mengurangi beban server database tujuan. Catatan Anda hanya dapat mengonfigurasi parameter ini jika Anda memilih Incremental Data Migration untuk parameter Migration Types.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Menentukan apakah akan menulis operasi SQL pada tabel heartbeat ke database sumber saat instans DTS berjalan. Nilai yang valid: Yes: tidak menulis operasi SQL pada tabel heartbeat. Dalam hal ini, latensi instans DTS mungkin ditampilkan. No: menulis operasi SQL pada tabel heartbeat. Dalam hal ini, fitur seperti backup fisik dan kloning database sumber mungkin terpengaruh.
Environment Tag	Anda dapat memilih tag lingkungan untuk mengidentifikasi instans tersebut. Dalam contoh ini, Anda tidak perlu memilih tag.
Configure ETL	Menentukan apakah akan mengaktifkan fitur ekstrak, transformasi, muat (ETL). Untuk informasi selengkapnya, lihat Apa itu ETL? Nilai yang valid: Yes: mengonfigurasi fitur ETL. Anda dapat memasukkan pernyataan pemrosesan data di editor kode. Untuk informasi selengkapnya, lihat Konfigurasi ETL dalam tugas migrasi data atau sinkronisasi data. No: tidak mengonfigurasi fitur ETL.
Monitoring and Alerting	Menentukan apakah akan mengonfigurasi peringatan untuk tugas migrasi data. Jika tugas gagal atau latensi migrasi melebihi ambang batas yang ditentukan, kontak peringatan akan menerima notifikasi. Nilai yang valid: No: tidak mengonfigurasi peringatan. Yes: mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan pengaturan notifikasi peringatan. Untuk informasi selengkapnya, lihat bagian Konfigurasi pemantauan dan peringatan saat membuat tugas DTS dalam topik Konfigurasi pemantauan dan peringatan.

Klik Next: Configure Database and Table Fields untuk mengonfigurasi Type, Primary Key Column, Sort Key, Distribution Key, dan Partition Key untuk tabel tujuan di ClickHouse.
- DTS menyediakan konfigurasi default. Untuk memodifikasi konfigurasi ini, Anda dapat mengatur Definition Status ke All.
- Primary Key Column dan Sort Key dapat berupa kunci komposit. Anda dapat memilih beberapa bidang dari daftar drop-down yang sesuai untuk Primary Key Column atau Sort Key. Anda harus memilih satu atau beberapa kolom dari Primary Key Column untuk berfungsi sebagai Partition Key. Anda hanya dapat memilih satu bidang untuk Distribution Key. Untuk informasi selengkapnya tentang kunci primer, kunci pengurutan, dan kunci partisi, lihat BUAT TABEL.
  Catatan
  Anda dapat meninggalkan Partition Key tidak dikonfigurasi, tetapi Anda tidak dapat memilih bidang nullable untuknya karena hal ini akan menyebabkan tugas migrasi gagal.
  Kunci partisi hanya mendukung bidang bertipe data BIGINT, INT, TIMESTAMP, DATETIME, dan DATE. Untuk informasi selengkapnya tentang logika perhitungannya, lihat Logika perhitungan kunci partisi.

Simpan pengaturan tugas dan jalankan pemeriksaan awal.
- Untuk melihat parameter yang perlu ditentukan saat Anda memanggil operasi API terkait untuk mengonfigurasi tugas DTS, arahkan kursor ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.
- Jika Anda tidak perlu melihat atau telah melihat parameter tersebut, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
Catatan
- Sebelum Anda dapat memulai tugas migrasi data, DTS melakukan pemeriksaan awal. Anda hanya dapat memulai tugas migrasi data setelah tugas tersebut lulus pemeriksaan awal.
- Jika tugas gagal lulus pemeriksaan awal, klik View Details di sebelah setiap item yang gagal. Setelah Anda menganalisis penyebab berdasarkan hasil pemeriksaan, atasi masalah tersebut. Kemudian, jalankan pemeriksaan awal lagi.
- Jika peringatan dipicu untuk suatu item selama pemeriksaan awal:
  Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan atasi masalah tersebut. Kemudian, jalankan pemeriksaan awal lagi.
  Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog Lihat Detail, klik Ignore. Di pesan yang muncul, klik OK. Kemudian, klik Precheck Again untuk menjalankan pemeriksaan awal lagi. Jika Anda mengabaikan item peringatan, ketidakkonsistenan data mungkin terjadi, dan bisnis Anda mungkin menghadapi risiko potensial.

Beli instans.

Tunggu hingga Success Rate menjadi 100%. Kemudian, klik Next: Purchase Instance.

Di halaman Purchase Instance, konfigurasikan parameter Kelas Instans untuk instans migrasi data. Tabel berikut menjelaskan parameter-parameter tersebut.

Bagian	Parameter	Deskripsi
New Instance Class	Resource Group	Kelompok sumber daya tempat instans migrasi data berada. Nilai default: default resource group. Untuk informasi selengkapnya, lihat Apa itu Manajemen Sumber Daya?
New Instance Class	Instance Class	DTS menyediakan kelas instans yang berbeda dalam kecepatan migrasi. Anda dapat memilih kelas instans berdasarkan skenario bisnis Anda. Untuk informasi selengkapnya, lihat Kelas instans untuk instans migrasi data.

Baca dan setujui Data Transmission Service (Pay-as-you-go) Service Terms dengan memilih kotak centang.
Klik Buy and Start. Di pesan yang muncul, klik OK.
Anda dapat melihat progres tugas di halaman Data Migration.
Catatan
- Jika tugas migrasi data tidak dapat digunakan untuk memigrasikan data inkremental, tugas tersebut akan berhenti secara otomatis. Completed ditampilkan di bagian Status .
- Jika tugas migrasi data dapat digunakan untuk memigrasikan data inkremental, tugas tersebut tidak akan berhenti secara otomatis. Tugas migrasi data inkremental tidak pernah berhenti atau selesai. Running ditampilkan di bagian Status.

Lampiran

Informasi waktu

Tipe data	Nilai minimum	Nilai maksimum
Date	1970-01-01 00:00:00	2149-06-06 00:00:00
Date32	1925-01-01 00:00:00	2283-11-11 00:00:00
DateTime	1970-01-01 08:00:00	2106-02-07 14:28:15
DateTime64	1925-01-01 08:00:00	2283-11-12 07:59:59

Informasi tabel dan bidang

Informasi tabel

Jika Anda tidak menggunakan fitur pemetaan nama objek, tabel yang Anda buat harus memenuhi persyaratan berikut.

Penting

Jika tabel tujuan mencakup ENGINE, harus berupa ENGINE = ReplicatedReplacingMergeTree(_version, _is_deleted). Jika tidak, ketidakkonsistenan data mungkin terjadi.

Instans Edisi Komunitas ClickHouse: Anda perlu membuat satu tabel lokal dan satu tabel terdistribusi. Nama tabel terdistribusi harus sama dengan nama tabel sumber. Nama tabel lokal harus <nama_tabel_terdistribusi>_local.
Instans Edisi Perusahaan ClickHouse: Anda perlu membuat tabel dengan nama yang sama dengan tabel sumber.

Informasi bidang

Catatan

Di instans ClickHouse, Anda dapat menjalankan pernyataan select * from table_name final where _sign>0; untuk mengkueri data. Kondisi where menyaring data yang dihapus, dan kata kunci final setelah nama tabel menyaring data dengan kunci pengurutan yang sama.

Versi	Nama	Tipe data	Nilai default	Deskripsi
Edisi Komunitas sebelum 23.8	_sign	Int8	1	Jenis operasi DML. INSERT: Catatan adalah 1. UPDATE: Catatan adalah 1. DELETE: Catatan adalah -1.
Edisi Komunitas sebelum 23.8	_version	UInt64	1	Stempel waktu saat data ditulis ke ClickHouse.
Edisi Perusahaan dan Edisi Komunitas 23.8 dan lebih baru	_sign	Int8	1	Jenis operasi DML. INSERT: Catatan adalah 1. UPDATE: Catatan adalah 1. DELETE: Catatan adalah -1.
	_is_deleted	UInt8	0	Menunjukkan apakah catatan dihapus: Insert: Catatan adalah 0. Delete: Catatan adalah 1. Update: Catatan adalah 0.
	_version	UInt64	1	Stempel waktu saat data ditulis ke ClickHouse.

Logika perhitungan kunci partisi

Tipe bidang sumber	Logika perhitungan kunci partisi
BIGINT	`intDiv(" + tablePartKey + ", 18014398509481984)`
INT	`intDiv(" + tablePartKey + ", 4194304)`
TIMESTAMP	`toYYYYMM(" + tablePartKey + ")`
DATETIME
DATE

Prasyarat

Catatan Penggunaan

Penagihan

Operasi SQL yang mendukung migrasi inkremental

Pemetaan tipe data

Izin yang diperlukan untuk akun database

Prosedur

Konsol DTS

Konsol DMS

Lampiran

Informasi waktu

Informasi tabel dan bidang

Informasi tabel

Informasi bidang

Logika perhitungan kunci partisi