Sinkronkan RDS MySQL ke Doris melalui DTS untuk migrasi real-time - Data Transmission Service

Data Transmission Service (DTS) mendukung migrasi data dari database MySQL—seperti database MySQL yang dikelola sendiri atau instans RDS MySQL—ke database Doris untuk analitik data skala besar. Topik ini menggunakan instans RDS MySQL sebagai database sumber dan database Doris yang diterapkan pada instans ECS sebagai database tujuan untuk menjelaskan prosedurnya.

Persiapan

Buat database Doris tujuan. Pastikan ruang penyimpanan database tujuan lebih besar daripada ruang penyimpanan yang digunakan oleh instans RDS MySQL sumber.

Catatan

Untuk informasi mengenai versi database sumber dan tujuan yang didukung, lihat Ikhtisar solusi migrasi.

Catatan

Tipe	Catatan
Batasan database sumber	Persyaratan bandwidth: Server yang menghosting database sumber harus memiliki outbound bandwidth yang cukup. Jika tidak, kecepatan migrasi akan terpengaruh. Jika Anda melakukan migrasi inkremental, perhatikan hal berikut untuk binary logs: Binary logging harus diaktifkan. Parameter binlog_format harus diatur ke row, dan parameter binlog_row_image harus diatur ke full. Jika tidak, pemeriksaan awal gagal, dan tugas migrasi data tidak dapat dimulai. Penting Jika database MySQL yang dikelola sendiri berada dalam kluster dual-primary di mana setiap instans bertindak sebagai primary dan secondary satu sama lain, Anda harus mengaktifkan parameter log_slave_updates. Hal ini memastikan DTS dapat memperoleh semua binary logs. Binary logs instans RDS for MySQL harus dipertahankan minimal selama 3 hari. Kami menyarankan agar Anda menyimpannya selama 7 hari. Binary logs database MySQL yang dikelola sendiri harus dipertahankan minimal selama 7 hari. Jika tidak, DTS mungkin gagal karena tidak dapat memperoleh binary logs. Dalam kasus ekstrem, hal ini dapat menyebabkan ketidakkonsistenan data atau kehilangan data. Masalah yang disebabkan oleh periode retensi binary log yang lebih pendek dari periode yang disyaratkan tidak dicakup oleh Perjanjian Tingkat Layanan (SLA) DTS. Catatan Untuk informasi lebih lanjut tentang cara mengatur Retention Period untuk binary logs instans RDS for MySQL, lihat Hapus otomatis binary logs. Persyaratan untuk objek migrasi: Tabel yang akan dimigrasikan memiliki primary key atau kendala UNIQUE: Pastikan field tabel bersifat unik. Jika tidak, data duplikat mungkin ada di database tujuan. Objek migrasi mencakup tabel yang tidak memiliki primary key maupun kendala UNIQUE: Saat mengonfigurasi instans, kami menyarankan Anda memilih Schema Migration untuk Migration Types dan, pada tahap Configurations for Databases, Tables, and Columns, atur Engine tabel ke duplicate. Jika tidak, instans mungkin gagal atau terjadi kehilangan data. Catatan Selama schema migration, DTS menambahkan field ke tabel tujuan. Untuk informasi lebih lanjut, lihat Informasi kolom tambahan. Jika Anda melakukan migrasi data tingkat tabel dan perlu mengedit tabel, seperti memetakan nama kolom, satu tugas migrasi data mendukung maksimal 1.000 tabel. Jika melebihi batas ini, kesalahan akan dilaporkan setelah Anda mengirimkan tugas. Dalam hal ini, bagi tabel menjadi beberapa tugas migrasi atau konfigurasikan tugas untuk memigrasikan seluruh database. Batasan operasi database sumber: Selama schema migration dan migrasi data penuh, jangan lakukan operasi DDL untuk mengubah skema database atau tabel. Jika tidak, tugas migrasi data akan gagal. Catatan Selama migrasi data penuh, DTS melakukan query ke database sumber. Hal ini membuat metadata lock, yang mungkin memblokir operasi DDL pada database sumber. Jika Anda hanya melakukan migrasi data penuh, jangan menulis data baru ke instans sumber. Jika tidak, akan terjadi ketidakkonsistenan data antara sumber dan tujuan. Untuk memastikan konsistensi data real-time, pilih schema migration, migrasi data penuh, dan migrasi data inkremental. Perubahan data dari operasi yang tidak direkam dalam binary logs selama migrasi tidak akan dimigrasikan ke database tujuan. Contoh operasi tersebut termasuk pemulihan data menggunakan physical backup dan operasi kaskade. Catatan Jika hal ini terjadi, Anda dapat melakukan migrasi data penuh lagi saat bisnis Anda mengizinkan. Jika database sumber adalah MySQL 8.0.23 atau versi yang lebih baru dan data yang akan dimigrasikan berisi kolom tak terlihat (invisible columns), kehilangan data mungkin terjadi karena data dalam kolom tersebut tidak dapat diperoleh. Catatan Anda dapat menjalankan perintah `ALTER TABLE <table_name> ALTER COLUMN <column_name> SET VISIBLE;` untuk membuat kolom tak terlihat menjadi terlihat. Untuk informasi lebih lanjut, lihat Invisible Columns.
Batasan lainnya	Data hanya dapat dimigrasikan ke tabel yang menggunakan engine Unique atau Duplicate di database Doris. Jika tabel tujuan menggunakan engine Duplicate, data duplikat mungkin ada di database tujuan dalam kasus berikut. Anda dapat menghapus duplikat berdasarkan kolom tambahan: _is_deleted, _version, dan _record_id. Instans migrasi telah di-retry. Instans migrasi telah di-restart. Setelah instans migrasi dimulai, dua atau lebih operasi DML dilakukan pada catatan data yang sama yang akan dimigrasikan. Catatan Jika tabel tujuan menggunakan engine Duplicate, DTS mengonversi pernyataan UPDATE atau DELETE menjadi pernyataan INSERT. Saat mengonfigurasi parameter di kotak Selected Objects, saat ini Anda hanya dapat mengatur parameter `bucket_count` (jumlah bucket). Catatan `bucket_count` hanya dapat diatur ke bilangan bulat positif. Nilai default-nya adalah auto. Selama migrasi data, jangan membuat kluster baru di database Doris tujuan. Jika tidak, tugas akan gagal. Anda dapat mencoba me-restart instans migrasi untuk memulihkan tugas yang gagal. Database Doris hanya mendukung nama database dan tabel yang dimulai dengan huruf. Jika nama database atau tabel yang akan dimigrasikan tidak dimulai dengan huruf, gunakan fitur pemetaan nama objek untuk mengubah namanya. Jika nama objek yang akan dimigrasikan, seperti database, tabel, atau kolom, berisi karakter Tionghoa, gunakan fitur pemetaan nama objek untuk mengubah namanya. Misalnya, ubah nama menjadi bahasa Inggris. Jika tidak, tugas mungkin gagal. DTS tidak mendukung migrasi operasi DDL yang memodifikasi beberapa kolom sekaligus atau operasi DDL yang secara berkelanjutan memodifikasi tabel yang sama. Selama migrasi data, jangan menambahkan node Backend (BE) ke database Doris. Jika tidak, tugas akan gagal. Anda dapat mencoba me-restart instans migrasi untuk memulihkan tugas yang gagal. Dalam skenario penggabungan multi-tabel, di mana data dari beberapa tabel sumber dimigrasikan ke satu tabel tujuan, pastikan tabel sumber memiliki skema yang sama. Jika tidak, ketidakkonsistenan data atau kegagalan tugas mungkin terjadi. Di MySQL, M dalam `VARCHAR(M)` menunjukkan panjang karakter. Di database Doris, N dalam `VARCHAR(N)` menunjukkan panjang byte. Jika Anda tidak menggunakan fitur schema migration DTS, atur panjang field VARCHAR di database Doris menjadi empat kali lipat panjang field VARCHAR di MySQL. Saat Anda melakukan perubahan DDL online pada sumber menggunakan DMS atau tool gh-ost, DTS hanya memigrasikan pernyataan DDL aslinya ke tujuan. Dalam skenario ini, DTS tidak perlu memigrasikan data tabel sementara dalam jumlah besar, tetapi mungkin menyebabkan tabel terkunci di tujuan. Catatan Migrasi perubahan DDL online yang dilakukan menggunakan tool seperti pt-online-schema-change pada sumber tidak didukung. Jika perubahan semacam itu ada di sumber, hal ini dapat menyebabkan kehilangan data di tujuan atau kegagalan instans migrasi. Selama migrasi data penuh, DTS mengonsumsi sebagian resource baca dan tulis database sumber dan tujuan, yang mungkin meningkatkan beban database. Sebelum melakukan migrasi data, evaluasi performa database sumber dan tujuan. Lakukan migrasi data selama jam sepi. Misalnya, lakukan migrasi saat beban CPU database sumber dan tujuan di bawah 30%. Migrasi data penuh melibatkan operasi INSERT konkuren, yang menyebabkan fragmentasi tabel di database tujuan. Setelah migrasi penuh selesai, storage space yang digunakan oleh tabel di database tujuan lebih besar daripada di instans sumber. Selama migrasi data, jangan gunakan tool seperti pt-online-schema-change untuk melakukan perubahan DDL online pada objek migrasi di database sumber. Jika tidak, migrasi akan gagal. Jika data ditulis ke database tujuan oleh sumber selain DTS selama migrasi data, ketidakkonsistenan data mungkin terjadi antara database sumber dan tujuan. Jika fitur always-encrypted (EncDB) diaktifkan untuk instans RDS for MySQL, migrasi data penuh tidak didukung. Catatan Instans RDS for MySQL dengan Transparent Data Encryption (TDE) yang diaktifkan mendukung schema migration, migrasi data penuh, dan migrasi data inkremental. Jika suatu instans gagal, helpdesk DTS akan mencoba memulihkan instans tersebut dalam waktu 8 jam. Selama proses pemulihan, operasi seperti me-restart instans atau menyesuaikan parameternya mungkin dilakukan. Catatan Saat parameter disesuaikan, hanya parameter instans DTS yang dimodifikasi. Parameter di database tidak dimodifikasi. Parameter yang mungkin dimodifikasi mencakup, namun tidak terbatas pada, yang dijelaskan dalam Ubah parameter instans.
Kasus khusus	Saat database sumber adalah database MySQL yang dikelola sendiri: Alih bencana (switchover) primary/secondary di database sumber selama migrasi menyebabkan tugas migrasi gagal. Latensi DTS dihitung dengan membandingkan stempel waktu UNIX catatan data terakhir yang dimigrasikan dengan stempel waktu saat ini. Jika tidak ada operasi DML yang dilakukan pada database sumber dalam waktu lama, informasi latensi mungkin tidak akurat. Jika latensi yang ditampilkan terlalu tinggi, Anda dapat melakukan operasi DML pada database sumber untuk memperbarui informasi latensi. Catatan Jika Anda memilih untuk memigrasikan seluruh database, Anda juga dapat membuat tabel heartbeat. Tabel heartbeat diperbarui atau ditulis setiap detik. DTS secara berkala menjalankan perintah CREATE DATABASE IF NOT EXISTS `test` pada database sumber untuk memajukan offset binary log. Jika database sumber adalah instans Amazon Aurora MySQL atau instans MySQL terkluster lainnya, pastikan nama domain atau alamat IP yang dikonfigurasi untuk tugas dan hasil resolusinya selalu mengarah ke node read/write (RW). Jika tidak, tugas migrasi mungkin tidak berjalan sesuai harapan. Saat database sumber adalah instans RDS for MySQL: Untuk memigrasikan data inkremental, instans RDS for MySQL yang tidak mencatat transaction logs, seperti instans hanya baca RDS for MySQL 5.6, tidak dapat digunakan sebagai database sumber. DTS secara berkala menjalankan perintah CREATE DATABASE IF NOT EXISTS `test` pada database sumber untuk memajukan offset binary log.

Penagihan

Tipe migrasi	Biaya konfigurasi link	Biaya transfer data
Schema migration dan migrasi data penuh	Gratis.	Contoh ini gratis. Catatan Biaya transfer data dikenakan jika Anda mengatur Access Method untuk database tujuan ke Public IP Address. Untuk informasi lebih lanjut, lihat Ikhtisar penagihan.
Migrasi data inkremental	Dikenakan biaya. Untuk informasi lebih lanjut, lihat Ikhtisar penagihan.

Operasi SQL yang didukung untuk migrasi inkremental

Tipe operasi	Operasi SQL
DML	INSERT, UPDATE, DELETE
DDL	ADD COLUMN MODIFY COLUMN CHANGE COLUMN DROP COLUMN, DROP TABLE TRUNCATE TABLE RENAME TABLE Penting Operasi RENAME TABLE mungkin menyebabkan ketidakkonsistenan data antara database sumber dan tujuan. Misalnya, jika Anda memilih sebuah tabel sebagai objek yang akan dimigrasikan dan mengganti nama tabel tersebut selama migrasi data, data tabel tersebut tidak akan dimigrasikan ke database tujuan. Untuk mencegah situasi ini, Anda dapat memilih database tempat tabel tersebut berada sebagai objek yang akan dimigrasikan saat mengonfigurasi tugas migrasi data. Pastikan database tempat tabel tersebut berada sebelum dan sesudah operasi RENAME TABLE ditambahkan ke objek yang akan dimigrasikan.

Izin yang diperlukan untuk akun database

Database	Schema migration	Migrasi penuh	Migrasi inkremental
Instans RDS MySQL sumber	Izin SELECT	Izin SELECT	Baca dan tulis
Database Doris tujuan	Izin akses (Usage_priv) dan izin baca-tulis (Select_priv, Load_priv, Alter_priv, Create_priv, dan Drop_priv) pada database

Untuk membuat dan memberikan izin kepada akun database:

Untuk instans RDS MySQL, lihat Buat akun dan Ubah izin akun.
Untuk database Doris, lihat Autentikasi dan Otorisasi.

Catatan

Jika akun database sumber tidak dibuat dan diberikan izin di Konsol RDS MySQL, pastikan akun tersebut memiliki izin REPLICATION CLIENT, REPLICATION SLAVE, SHOW VIEW, dan SELECT.

Prosedur

Gunakan salah satu metode berikut untuk membuka halaman Data Migration dan pilih wilayah tempat instans migrasi data berada.
Konsol DTS
1. Masuk ke Konsol DTS.
2. Di panel navigasi sebelah kiri, klik Data Migration.
3. Di pojok kiri atas halaman, pilih wilayah tempat instans migrasi data berada.
Konsol DMS
Catatan
Operasi aktual mungkin berbeda tergantung pada mode dan tata letak Konsol DMS. Untuk informasi lebih lanjut, lihat Mode sederhana dan Sesuaikan tata letak dan gaya Konsol DMS.
1. Masuk ke Konsol DMS.
2. Di bilah navigasi atas, arahkan kursor ke Data + AI > DTS (DTS) > Data Migration.
3. Dari daftar drop-down di sebelah kanan Data Migration Tasks, pilih wilayah tempat instans sinkronisasi data berada.
Klik Create Task untuk membuka halaman konfigurasi tugas.

Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter-parameternya.

Kategori	Konfigurasi	Catatan
Tidak ada	Task Name	Nama tugas DTS. DTS secara otomatis menghasilkan nama tugas. Kami menyarankan Anda menentukan nama yang informatif agar mudah mengidentifikasi tugas tersebut. Anda tidak perlu menentukan nama tugas yang unik.
Source Database	Select Existing Connection	Jika Anda menggunakan instans database yang terdaftar di DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi lebih lanjut, lihat Kelola koneksi database. Catatan Di Konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance. Jika Anda gagal mendaftarkan instans ke DTS, atau tidak perlu menggunakan instans yang terdaftar di DTS, Anda harus mengonfigurasi informasi database berikut.
	Database Type	Pilih MySQL.
	Access Method	Pilih Alibaba Cloud Instance.
	Instance Region	Pilih wilayah tempat instans RDS MySQL sumber berada.
	Replicate Data Across Alibaba Cloud Accounts	Dalam contoh ini, digunakan instans database dari Akun Alibaba Cloud saat ini. Pilih No.
	RDS Instance ID	Pilih ID instans RDS MySQL sumber.
	Database Account	Masukkan akun database instans RDS MySQL sumber. Untuk informasi tentang izin yang diperlukan, lihat Izin yang diperlukan untuk akun database.
	Database Password	Kata sandi yang digunakan untuk mengakses instans database.
	Encryption	Pilih Non-encrypted Connection atau SSL Secure Connection sesuai kebutuhan. Jika Anda mengatur ini ke SSL Secure Connection, Anda harus mengaktifkan enkripsi SSL untuk instans RDS for MySQL terlebih dahulu. Untuk informasi lebih lanjut, lihat Gunakan sertifikat cloud untuk mengaktifkan enkripsi link SSL dengan cepat.
Destination Database	Select Existing Connection	Jika Anda menggunakan instans database yang terdaftar di DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi lebih lanjut, lihat Kelola koneksi database. Catatan Di Konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance. Jika Anda gagal mendaftarkan instans ke DTS, atau tidak perlu menggunakan instans yang terdaftar di DTS, Anda harus mengonfigurasi informasi database berikut.
	Database Type	Pilih Doris.
	Access Method	Pilih jenis koneksi berdasarkan lokasi penerapan database tujuan. Contoh ini menggunakan Self-managed Database on ECS. Catatan Jika Anda menghubungkan database yang dikelola sendiri ke DTS dengan cara lain, Anda juga harus melakukan persiapan yang diperlukan. Untuk informasi lebih lanjut, lihat Persiapan.
	Instance Region	Pilih wilayah tempat database Doris tujuan berada.
	ECS Instance ID	Pilih ID instans ECS yang menghosting database Doris tujuan. Catatan Jika database Doris tujuan diterapkan pada beberapa instans ECS (misalnya, node BE atau FE diterapkan pada instans ECS lain), Anda harus menambahkan Blok CIDR server DTS secara manual ke aturan keamanan setiap instans ECS tempat node tersebut diterapkan.
	Port Number	Masukkan port layanan database Doris tujuan. Port default-nya adalah 9030.
	Database Account	Masukkan akun database Doris tujuan. Untuk informasi tentang izin yang diperlukan, lihat Izin yang diperlukan untuk akun database.
	Database Password	Kata sandi yang digunakan untuk mengakses instans database.

Di bagian bawah halaman, klik Test Connectivity and Proceed, lalu klik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers yang muncul.
Catatan
Pastikan Blok CIDR server DTS dapat ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan untuk mengizinkan akses dari server DTS. Untuk informasi lebih lanjut, lihat Tambahkan alamat IP server DTS ke daftar putih.

Konfigurasikan objek yang akan dimigrasikan.

Di halaman Configure Objects, konfigurasikan objek yang ingin Anda migrasikan.

Konfigurasi	Deskripsi
Migration Types	Untuk melakukan hanya migrasi data penuh, pilih Schema Migration dan Full Data Migration. Untuk melakukan migrasi tanpa gangguan layanan, pilih Schema Migration, Full Data Migration, dan Incremental Data Migration. Penting Migrasi data dari MySQL ke Doris melibatkan konversi tipe data. Jika Anda tidak memilih Schema Migration, Anda harus membuat tabel model Unique atau Duplicate dengan struktur yang sesuai di instans Doris tujuan terlebih dahulu. Untuk informasi lebih lanjut, lihat Pemetaan Tipe Data, Informasi Kolom Tambahan, dan Primary Key Model. Jika Anda tidak memilih Incremental Data Migration, jangan menulis data baru ke instans sumber selama migrasi data untuk memastikan konsistensi data.
Processing Mode of Conflicting Tables	Precheck and Report Errors: Sistem memeriksa apakah tabel dengan nama yang sama sudah ada di database tujuan. Jika tabel dengan nama yang sama tidak ada, tugas lolos pemeriksaan awal ini. Jika tabel dengan nama yang sama ada, kesalahan dilaporkan selama pemeriksaan awal, dan tugas migrasi data tidak dimulai. Catatan Jika Anda tidak dapat menghapus atau mengganti nama tabel dengan nama yang sama di database tujuan, Anda dapat mengubah nama tabel di database tujuan. Untuk informasi lebih lanjut, lihat Petakan nama tabel dan kolom. Ignore Errors and Proceed: Melewati pemeriksaan untuk tabel dengan nama yang sama di database tujuan. Peringatan Jika Anda memilih Ignore Errors and Proceed, ketidakkonsistenan data mungkin terjadi dan menimbulkan risiko bagi bisnis Anda. Misalnya: Jika skema tabel konsisten, ketika DTS menemukan catatan di database tujuan yang memiliki nilai primary key yang sama dengan catatan di database sumber, catatan dari database sumber akan menimpa catatan di database tujuan. Jika skema tabel tidak konsisten, hanya data di beberapa kolom yang mungkin dimigrasikan, atau migrasi mungkin gagal. Harap berhati-hati.
Capitalization of Object Names in Destination Instance	Huruf kapital untuk nama database, tabel, dan kolom di instans tujuan. Secara default, DTS default policy dipilih. Anda dapat memilih opsi lain untuk memastikan huruf kapital nama objek konsisten dengan database sumber atau tujuan. Untuk informasi lebih lanjut, lihat Tentukan huruf kapital nama objek di instans tujuan.
Source Objects	Pilih satu atau beberapa objek dari bagian Source Objects. Klik ikon untuk menambahkan objek ke bagian Selected Objects. Catatan Anda dapat memilih objek untuk dimigrasikan pada tingkat database atau tabel.
Selected Objects	Untuk mengubah nama objek migrasi di instans tujuan, klik kanan objek migrasi di kotak Selected Objects. Untuk informasi lebih lanjut, lihat Pemetaan Nama Database, Tabel, dan Kolom. Jika Anda mengatur Migration Types ke Schema Migration, objek migrasi dipilih pada tingkat tabel. Untuk mengatur jumlah bucket (parameter `bucket_count`), klik kanan tabel di daftar Selected Objects. Di area Parameter Settings, atur Enable Parameter Settings ke Yes, atur Value sesuai kebutuhan, lalu klik OK. Catatan Untuk memilih operasi SQL untuk migrasi inkremental pada tingkat database atau tabel, klik kanan objek target di kotak Selected Objects dan pilih operasi SQL yang diinginkan di kotak dialog yang muncul. Untuk mengatur kondisi WHERE untuk memfilter data, klik kanan tabel yang akan dimigrasikan di kotak Selected Objects dan atur kondisi filter di kotak dialog yang muncul. Untuk informasi lebih lanjut, lihat Atur kondisi filter. Jika Anda menggunakan fitur pemetaan nama objek, objek lain yang bergantung pada objek yang dipetakan mungkin gagal dimigrasikan.

Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.

Konfigurasi	Catatan
Dedicated Cluster for Task Scheduling	Secara default, DTS menjadwalkan tugas migrasi data ke kluster bersama jika Anda tidak menentukan kluster khusus. Jika Anda ingin meningkatkan stabilitas tugas migrasi data, beli kluster khusus. Untuk informasi lebih lanjut, lihat Apa itu kluster khusus DTS.
Retry Time for Failed Connections	Rentang waktu retry untuk koneksi yang gagal. Jika database sumber atau tujuan gagal terhubung setelah tugas migrasi data dimulai, DTS segera mencoba menghubungkan kembali dalam rentang waktu retry tersebut. Nilai valid: 10 hingga 1.440 menit. Nilai default: 720. Disarankan mengatur parameter ini ke nilai lebih dari 30. Jika DTS berhasil terhubung kembali ke database sumber dan tujuan dalam rentang waktu retry yang ditentukan, tugas migrasi data dilanjutkan. Jika tidak, tugas migrasi data gagal. Catatan Jika Anda menentukan rentang waktu retry yang berbeda untuk beberapa tugas migrasi data yang berbagi database sumber atau tujuan yang sama, nilai yang ditentukan terakhir akan diutamakan. Saat DTS mencoba menghubungkan kembali, Anda dikenai biaya untuk instans DTS. Disarankan menentukan rentang waktu retry sesuai kebutuhan bisnis. Anda juga dapat melepaskan instans DTS sesegera mungkin setelah database sumber dan instans tujuan dilepas.
Retry Time for Other Issues	Rentang waktu retry untuk masalah lain. Misalnya, jika operasi DDL atau DML gagal dilakukan setelah tugas migrasi data dimulai, DTS segera mencoba mengulang operasi tersebut dalam rentang waktu retry. Nilai valid: 1 hingga 1.440 menit. Nilai default: 10. Disarankan mengatur parameter ini ke nilai lebih dari 10. Jika operasi yang gagal berhasil dilakukan dalam rentang waktu retry yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal. Penting Nilai parameter Retry Time for Other Issues harus lebih kecil daripada nilai parameter Retry Time for Failed Connections.
Enable Throttling for Full Data Migration	Menentukan apakah akan mengaktifkan pembatasan kecepatan untuk migrasi data penuh. Selama migrasi data penuh, DTS menggunakan resource baca dan tulis database sumber dan tujuan, yang dapat meningkatkan beban server database. Anda dapat mengaktifkan pembatasan kecepatan berdasarkan kebutuhan bisnis. Untuk mengonfigurasi pembatasan kecepatan, Anda harus mengatur parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s). Hal ini mengurangi beban server database tujuan. Catatan Anda dapat mengonfigurasi parameter ini hanya jika memilih Full Data Migration untuk parameter Migration Types.
Enable Throttling for Incremental Data Migration	Menentukan apakah akan mengaktifkan pembatasan kecepatan untuk migrasi data inkremental. Untuk mengonfigurasi pembatasan kecepatan, Anda harus mengatur parameter RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s). Hal ini mengurangi beban server database tujuan. Catatan Anda dapat mengonfigurasi parameter ini hanya jika memilih Incremental Data Migration untuk parameter Migration Types.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Berdasarkan kebutuhan bisnis Anda, pilih apakah akan menulis informasi SQL heartbeat ke database sumber saat instans DTS berjalan. Yes: Informasi SQL heartbeat tidak ditulis ke database sumber. Hal ini mungkin menyebabkan instans DTS melaporkan delay. No: Menulis informasi SQL heartbeat ke database sumber, yang mungkin mengganggu fitur seperti physical backup dan cloning database sumber.
Environment Tag	Anda dapat memilih tag lingkungan untuk mengidentifikasi instans sesuai kebutuhan. Contoh ini tidak memerlukan tag.
Configure ETL	Menentukan apakah akan mengaktifkan fitur extract, transform, and load (ETL). Untuk informasi lebih lanjut, lihat Apa itu ETL? Nilai valid: Yes: mengonfigurasi fitur ETL. Anda dapat memasukkan pernyataan pemrosesan data di editor kode. Untuk informasi lebih lanjut, lihat Konfigurasikan ETL dalam tugas migrasi data atau sinkronisasi data. No: tidak mengonfigurasi fitur ETL.
Monitoring and Alerting	Menentukan apakah akan mengonfigurasi peringatan untuk tugas migrasi data. Jika tugas gagal atau latensi migrasi melebihi ambang batas yang ditentukan, kontak peringatan akan menerima notifikasi. Nilai valid: No: tidak mengonfigurasi peringatan. Yes: mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan alert notification settings. Untuk informasi lebih lanjut, lihat bagian Konfigurasikan monitoring dan peringatan saat membuat tugas DTS dalam topik Konfigurasikan monitoring dan peringatan.

Opsional: Setelah menyelesaikan konfigurasi di atas, klik Next: Configure Database and Table Fields untuk mengatur Primary Key Column, Distribution Key, dan Engine untuk tabel di database tujuan.
Catatan
- Langkah ini tersedia hanya jika Anda mengatur Migration Types ke Schema Migration saat mengonfigurasi objek tugas. Anda dapat mengatur Definition Status ke All untuk melakukan modifikasi.
- Primary Key Column dapat berupa kunci komposit yang terdiri dari beberapa kolom. Anda harus memilih satu atau beberapa Primary Key Column sebagai Distribution Key.
- Untuk tabel tanpa primary key atau kendala UNIQUE, atur Engine ke duplicate. Jika tidak, instans mungkin gagal atau terjadi kehilangan data.

Simpan pengaturan tugas dan jalankan pemeriksaan awal.
- Untuk melihat parameter yang perlu ditentukan saat memanggil operasi API terkait untuk mengonfigurasi tugas DTS, arahkan kursor ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.
- Jika Anda tidak perlu melihat atau telah melihat parameter tersebut, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
Catatan
- Sebelum Anda dapat memulai tugas migrasi data, DTS melakukan pemeriksaan awal. Anda hanya dapat memulai tugas migrasi data setelah tugas tersebut lolos pemeriksaan awal.
- Jika tugas gagal lolos pemeriksaan awal, klik View Details di sebelah setiap item yang gagal. Setelah menganalisis penyebab berdasarkan hasil pemeriksaan, atasi masalah tersebut. Kemudian, jalankan pemeriksaan awal lagi.
- Jika peringatan dipicu untuk suatu item selama pemeriksaan awal:
  Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan atasi masalah tersebut. Kemudian, jalankan pemeriksaan awal lagi.
  Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog View Details, klik Ignore. Di pesan yang muncul, klik OK. Kemudian, klik Precheck Again untuk menjalankan pemeriksaan awal lagi. Jika Anda mengabaikan item peringatan, ketidakkonsistenan data mungkin terjadi, dan bisnis Anda mungkin terpapar risiko potensial.

Beli instance.

Tunggu hingga Success Rate menjadi 100%. Lalu, klik Next: Purchase Instance.

Di halaman Purchase Instance, konfigurasikan parameter Instance Class untuk instans migrasi data. Tabel berikut menjelaskan parameter-parameternya.

Bagian	Parameter	Deskripsi
New Instance Class	Resource Group	Kelompok sumber daya tempat instans migrasi data berada. Nilai default: default resource group. Untuk informasi lebih lanjut, lihat Apa itu Resource Management?
New Instance Class	Instance Class	DTS menyediakan kelas instans dengan kecepatan migrasi yang berbeda. Anda dapat memilih kelas instans berdasarkan skenario bisnis Anda. Untuk informasi lebih lanjut, lihat Kelas instans untuk instans migrasi data.

Baca dan setujui Data Transmission Service (Pay-as-you-go) Service Terms dengan memilih kotak centang.
Klik Buy and Start. Di pesan yang muncul, klik OK.
Anda dapat melihat progres tugas di halaman Data Migration.
Catatan
- Jika tugas migrasi data tidak dapat digunakan untuk memigrasikan data inkremental, tugas tersebut akan berhenti secara otomatis. Completed ditampilkan di bagian Status .
- Jika tugas migrasi data dapat digunakan untuk memigrasikan data inkremental, tugas tersebut tidak akan berhenti secara otomatis. Tugas migrasi data inkremental tidak pernah berhenti atau selesai. Running ditampilkan di bagian Status.

Pemetaan tipe data

Kategori	Tipe data MySQL	Tipe data Doris
Numerik	TINYINT	TINYINT
	TINYINT UNSIGNED	SMALLINT
	SMALLINT	SMALLINT
	SMALLINT UNSIGNED	INT
	MEDIUMINT	INT
	MEDIUMINT UNSIGNED	BIGINT
	INT	INT
	INT UNSIGNED	BIGINT
	BIGINT	BIGINT
	BIGINT UNSIGNED	LARGEINT
	BIT(M)	INT
	Decimal	Decimal Catatan Atribut zerofill tidak didukung.
	Numeric	Decimal
	Float	Float
	Double	DOUBLE
	BOOL BOOLEAN	BOOLEAN
DATE dan TIME	DATE	DATEV2
	DATETIME[(fsp)]	DATETIMEV2
	Timestamp[(fsp)]	DATETIMEV2
	Time[(fsp)]	VARCHAR
	YEAR[(4)]	INT
STRING	CHAR VARCHAR	VARCHAR Penting Untuk mencegah kehilangan data, data tipe CHAR dan VARCHAR(n) dikonversi ke VARCHAR(4*n) setelah dimigrasikan ke Doris. Jika panjang data tidak ditentukan, nilai default VARCHAR(65533) Doris digunakan. Jika panjang data melebihi 65533, data dikonversi ke STRING setelah dimigrasikan ke Doris.
	BINARY VARBINARY	STRING
	TINYTEXT TEXT MEDIUMTEXT LONGTEXT	STRING
	TINYBLOB BLOB MEDIUMBOLB LONGBLOB	STRING
	ENUM	STRING
	SET	STRING
	JSON	STRING

Informasi kolom tambahan

Catatan

Tabel berikut menjelaskan kolom tambahan yang secara otomatis ditambahkan DTS atau yang harus Anda tambahkan secara manual ke tabel tujuan yang menggunakan model data Duplicate.

Nama	Tipe Data	Nilai Default	Deskripsi
_is_deleted	Int	0	Menunjukkan apakah data dihapus. Insert: Nilainya 0. Update: Nilainya 0. Delete: Nilainya 1.
_version	Bigint	0	Untuk migrasi data penuh: Nilainya 0. Untuk migrasi data inkremental: Stempel waktu UNIX (dalam detik) yang sesuai dengan binary log di database sumber.
_record_id	Bigint	0	Untuk migrasi data penuh: Nilainya 0. Untuk migrasi data inkremental: ID catatan dari log inkremental. ID ini adalah pengidentifikasi unik log tersebut. Catatan Nilai ID bersifat unik dan bertambah.

Persiapan

Catatan

Penagihan

Operasi SQL yang didukung untuk migrasi inkremental

Izin yang diperlukan untuk akun database

Prosedur

Konsol DTS

Konsol DMS

Pemetaan tipe data

Informasi kolom tambahan