Sinkronisasi data dari MySQL ke Doris - Data Transmission Service

Layanan Transmisi Data (DTS) memungkinkan Anda menyinkronkan data dari database MySQL—seperti database MySQL yang dikelola sendiri atau instans ApsaraDB RDS for MySQL—ke database Doris guna memenuhi kebutuhan analitik data skala besar. Topik ini menjelaskan cara menyinkronkan data dari instans sumber ApsaraDB RDS for MySQL ke database Doris tujuan yang di-deploy pada instans ECS.

Prasyarat

Anda telah membuat database Doris tujuan dengan ruang penyimpanan yang tersedia melebihi ruang penyimpanan yang digunakan oleh instans sumber RDS MySQL.

Catatan

Untuk versi database sumber dan tujuan yang didukung, lihat Ikhtisar solusi sinkronisasi data.

Catatan penggunaan

Tipe	Deskripsi
Batasan pada database sumber	Persyaratan untuk objek yang akan disinkronkan: Jika semua tabel yang akan disinkronkan memiliki primary key atau kendala UNIQUE: Pastikan field tabel bersifat unik. Jika tidak, database tujuan mungkin berisi data duplikat. Jika objek sinkronisasi mencakup tabel yang tidak memiliki primary key maupun kendala UNIQUE: Saat mengonfigurasi instans, pilih Schema Synchronization untuk Synchronization Types. Pada langkah Configurations for Databases, Tables, and Columns, atur Engine ke duplicate untuk tabel-tabel tersebut. Jika tidak, instans mungkin gagal atau data hilang. Catatan Selama sinkronisasi skema, DTS menambahkan field ke tabel tujuan. Untuk informasi selengkapnya, lihat Kolom tambahan. Jika Anda menyinkronkan data pada tingkat tabel dan perlu mengedit objek, seperti memetakan nama tabel atau kolom, Anda dapat menyinkronkan maksimal 1.000 tabel dalam satu tugas. Jika melebihi batas ini, kesalahan akan dilaporkan setelah Anda mengirimkan tugas. Dalam kasus ini, bagi tabel menjadi beberapa tugas sinkronisasi atau konfigurasikan tugas untuk menyinkronkan seluruh database. Log biner: Binary logging diaktifkan secara default untuk instans RDS for MySQL. Anda harus mengatur parameter binlog_row_image ke full. Jika tidak, kesalahan pemeriksaan awal akan dilaporkan, dan tugas sinkronisasi data tidak dapat dimulai. Untuk informasi lebih lanjut tentang cara mengatur parameter instans, lihat Mengatur parameter instans. Penting Jika instans sumber adalah database MySQL yang dikelola sendiri, Anda harus mengaktifkan binary logging dan mengatur parameter binlog_format ke row serta parameter binlog_row_image ke full. Jika database MySQL yang dikelola sendiri merupakan kluster primary/primary di mana kedua database saling menjadi primary dan secondary satu sama lain, Anda harus mengaktifkan parameter log_slave_updates. Hal ini memastikan bahwa DTS dapat memperoleh semua log biner. Untuk informasi selengkapnya, lihat Buat akun database untuk database MySQL yang dikelola sendiri dan konfigurasikan binary logging. Pertahankan log biner instans RDS for MySQL minimal selama 3 hari. Kami merekomendasikan periode retensi 7 hari. Untuk database MySQL yang dikelola sendiri, pertahankan log biner minimal selama 7 hari. Jika periode retensi lebih pendek, tugas DTS mungkin gagal karena DTS tidak dapat memperoleh log biner. Dalam kasus ekstrem, ketidakkonsistenan data atau kehilangan data dapat terjadi. Masalah yang disebabkan oleh periode retensi log biner lebih pendek dari periode yang dipersyaratkan tidak dicakup oleh Perjanjian Tingkat Layanan (SLA) DTS. Catatan Untuk informasi lebih lanjut tentang cara mengatur Retention Period log biner untuk instans RDS for MySQL, lihat Hapus log lokal secara otomatis. Selama sinkronisasi skema awal dan sinkronisasi data penuh awal, jangan lakukan operasi Data Definition Language (DDL) yang mengubah skema database atau tabel. Jika tidak, tugas sinkronisasi data akan gagal. Catatan Selama sinkronisasi data penuh awal, DTS melakukan kueri ke database sumber. Hal ini membuat kunci metadata, yang mungkin memblokir operasi DDL pada database sumber. Selama waktu proses instans sinkronisasi, perubahan data dari operasi yang tidak direkam dalam log biner, seperti data yang dipulihkan dari backup fisik atau data yang dihasilkan oleh operasi kaskade, tidak disinkronkan ke database tujuan. Catatan Jika hal ini terjadi, Anda dapat menghapus database atau tabel yang berisi data tersebut dari objek sinkronisasi lalu menambahkannya kembali. Hal ini diperbolehkan jika bisnis Anda mengizinkannya. Untuk informasi selengkapnya, lihat Ubah objek sinkronisasi. Jika database sumber adalah database MySQL versi 8.0.23 atau yang lebih baru dan data yang akan disinkronkan berisi kolom tak terlihat (invisible columns), kehilangan data mungkin terjadi karena data dalam kolom tersebut tidak dapat diperoleh. Catatan Anda dapat menjalankan perintah `ALTER TABLE <table_name> ALTER COLUMN <column_name> SET VISIBLE;` untuk membuat kolom tak terlihat menjadi terlihat. Untuk informasi selengkapnya, lihat Invisible Columns.
Batasan lainnya	Anda hanya dapat menyinkronkan data ke tabel yang menggunakan model Unique Key atau model Duplicate key di database Doris. Jika Anda menyinkronkan data ke tabel tujuan yang menggunakan model Duplicate key, dan salah satu operasi berikut terjadi, data duplikat mungkin ada di database tujuan. Dalam kasus ini, Anda dapat menghapus duplikat data berdasarkan kolom tambahan seperti _is_deleted, _version, dan _record_id: Operasi retry terjadi dalam instans sinkronisasi data. Operasi restart dieksekusi dalam instans sinkronisasi data. Dua atau lebih operasi DML dieksekusi untuk baris data yang sama setelah instans sinkronisasi data dimulai. Catatan Ketika tabel tujuan adalah tabel yang menggunakan model Duplicate key, DTS mengonversi pernyataan UPDATE atau DELETE menjadi pernyataan INSERT. Saat Anda mengonfigurasi parameter dalam kotak Selected Objects, Anda hanya dapat mengatur parameter `bucket_count` (jumlah bucket). Catatan Nilai parameter `bucket_count` harus berupa bilangan bulat positif. Nilai default-nya adalah auto. Selama sinkronisasi data, jangan membuat kluster di database Doris tujuan. Jika tidak, tugas sinkronisasi data akan gagal. Anda dapat merestart instans sinkronisasi data untuk melanjutkan tugas sinkronisasi data yang gagal. Database Doris hanya mendukung nama database dan nama tabel yang dimulai dengan huruf. Jika nama database atau tabel yang ingin Anda sinkronkan tidak dimulai dengan huruf, Anda harus menggunakan fitur pemetaan nama objek untuk mengganti nama database atau tabel tersebut. Jika nama objek yang ingin Anda sinkronkan, seperti database, tabel, atau kolom, berisi karakter Tionghoa, Anda harus menggunakan fitur pemetaan nama objek untuk mengganti nama objek tersebut. Misalnya, Anda dapat mengubah nama dari bahasa Tionghoa ke bahasa Inggris. Jika tidak, tugas mungkin gagal. Operasi DDL yang memodifikasi beberapa kolom sekaligus dan operasi DDL berturut-turut pada tabel yang sama tidak didukung. Selama sinkronisasi data, jangan menambahkan node backend (BE) ke database Doris. Jika tidak, tugas akan gagal. Anda dapat merestart instans sinkronisasi data untuk melanjutkan tugas sinkronisasi data yang gagal. Di MySQL, M pada tipe data `VARCHAR(M)` merepresentasikan panjang karakter. Di database Doris, N pada tipe data `VARCHAR(N)` merepresentasikan panjang byte. Jika Anda tidak menggunakan fitur sinkronisasi skema DTS, kami merekomendasikan agar Anda mengatur panjang field VARCHAR di database Doris menjadi empat kali panjang field VARCHAR di database MySQL. Selama sinkronisasi data penuh awal, DTS menggunakan sumber daya baca dan tulis dari database sumber dan tujuan. Hal ini dapat meningkatkan beban server database. Sebelum menyinkronkan data, evaluasi dampak sinkronisasi data terhadap kinerja database sumber dan tujuan. Kami merekomendasikan agar Anda menyinkronkan data selama jam sepi, misalnya saat beban CPU database sumber dan tujuan kurang dari 30%. Selama sinkronisasi data penuh awal, operasi INSERT konkuren menyebabkan fragmentasi pada tabel database tujuan. Setelah sinkronisasi data penuh awal selesai, ukuran ruang tabel yang digunakan di database tujuan lebih besar daripada instans sumber. Selama sinkronisasi data, jangan gunakan alat seperti pt-online-schema-change untuk melakukan operasi DDL online pada objek yang akan disinkronkan dari database sumber. Jika tidak, tugas sinkronisasi data akan gagal. Selama sinkronisasi data, kami merekomendasikan agar Anda hanya menggunakan DTS untuk menulis data ke database tujuan. Hal ini mencegah ketidakkonsistenan data antara database sumber dan tujuan. Jika fitur always-encrypted (EncDB) diaktifkan untuk instans RDS for MySQL, sinkronisasi data penuh tidak didukung. Catatan Untuk instans RDS for MySQL dengan Enkripsi Data Transparan (TDE) yang diaktifkan, sinkronisasi skema, sinkronisasi data penuh, dan sinkronisasi data inkremental didukung. Jika suatu instans gagal, tim helpdesk DTS akan mencoba memulihkan instans tersebut dalam waktu 8 jam. Selama proses pemulihan, operasi seperti merestart instans atau menyesuaikan parameternya mungkin dilakukan. Catatan Saat parameter disesuaikan, hanya parameter instans DTS yang dimodifikasi. Parameter di database tidak dimodifikasi. Parameter yang mungkin dimodifikasi termasuk tetapi tidak terbatas pada yang dijelaskan dalam Ubah parameter instans.
Kasus khusus	Saat database sumber adalah database MySQL yang dikelola sendiri: Jika terjadi alih bencana (switchover) primary/secondary pada database sumber selama sinkronisasi, tugas sinkronisasi akan gagal. Latensi DTS dihitung dengan membandingkan timestamp catatan data terakhir yang disinkronkan di database tujuan dengan timestamp saat ini. Jika tidak ada operasi DML yang dilakukan pada database sumber dalam waktu lama, latensi yang ditampilkan mungkin tidak akurat. Jika latensi yang ditampilkan terlalu tinggi, Anda dapat melakukan operasi DML pada database sumber untuk memperbarui informasi latensi. Catatan Jika Anda memilih untuk menyinkronkan seluruh database, Anda juga dapat membuat tabel heartbeat. Tabel heartbeat diperbarui atau ditulis setiap detik. DTS secara berkala menjalankan perintah CREATE DATABASE IF NOT EXISTS `test` pada database sumber untuk memajukan offset log biner. Jika database sumber adalah instans Amazon Aurora MySQL atau instans MySQL mode kluster lainnya, pastikan nama domain atau alamat IP yang dikonfigurasi untuk tugas dan hasil resolusinya selalu mengarah ke alamat node read/write (RW). Jika tidak, tugas sinkronisasi mungkin tidak berjalan sesuai harapan. Saat database sumber adalah instans RDS for MySQL: Instans RDS for MySQL yang tidak mencatat log transaksi, seperti instans hanya baca RDS for MySQL 5.6, tidak didukung sebagai sumber. DTS secara berkala menjalankan perintah CREATE DATABASE IF NOT EXISTS `test` pada database sumber untuk memajukan offset log biner.

Penagihan

Tipe sinkronisasi	Biaya konfigurasi tugas
Sinkronisasi skema dan sinkronisasi data penuh	Gratis.
Sinkronisasi data inkremental	Dikenakan biaya. Untuk informasi selengkapnya, lihat Ikhtisar penagihan.

Operasi SQL yang mendukung sinkronisasi inkremental

Tipe operasi	Pernyataan SQL
DML	INSERT, UPDATE, dan DELETE
DDL	ADD COLUMN MODIFY COLUMN CHANGE COLUMN DROP COLUMN dan DROP TABLE TRUNCATE TABLE RENAME TABLE Penting Operasi RENAME TABLE dapat menyebabkan ketidakkonsistenan data. Misalnya, jika objek sinkronisasi hanya tabel tertentu dan Anda mengganti nama tabel tersebut di instans sumber selama sinkronisasi, data tabel tersebut tidak disinkronkan ke database tujuan. Untuk mencegah masalah ini, pilih seluruh database tempat tabel tersebut berada sebagai objek sinkronisasi saat mengonfigurasi tugas sinkronisasi data. Pastikan database tempat tabel tersebut berada sebelum dan sesudah operasi RENAME TABLE keduanya termasuk dalam objek sinkronisasi.

Izin yang diperlukan untuk akun database

Database	Izin yang diperlukan	Metode pembuatan dan otorisasi
Instans sumber RDS MySQL	Izin baca dan tulis pada objek yang akan disinkronkan	Buat akun dan Ubah izin akun
Database Doris tujuan	Izin USAGE_PRIV dan izin baca tulis berikut: SELECT_PRIV, LOAD_PRIV, ALTER_PRIV, CREATE_PRIV, dan DROP_PRIV	Autentikasi dan otorisasi

Catatan

Jika akun database sumber yang Anda gunakan tidak dibuat dan diotorisasi melalui konsol RDS MySQL, pastikan akun tersebut memiliki izin REPLICATION CLIENT, REPLICATION SLAVE, SHOW VIEW, dan SELECT.

Prosedur

Buka halaman daftar tugas sinkronisasi data di wilayah tujuan menggunakan salah satu metode berikut.
Dari konsol DTS
1. Masuk ke konsol DTS.
2. Di panel navigasi sebelah kiri, klik Data Synchronization.
3. Di pojok kiri atas halaman, pilih wilayah tempat instans sinkronisasi berada.
Dari konsol DMS
Catatan
Operasi aktual mungkin berbeda tergantung pada mode dan tata letak konsol DMS. Untuk informasi selengkapnya, lihat Konsol mode sederhana dan Sesuaikan tata letak dan gaya konsol DMS.
1. Masuk ke konsol DMS.
2. Dari bilah menu atas, pilih Data + AI > Data Transmission (DTS) > Data Synchronization.
3. Di sebelah kanan Data Synchronization Tasks, pilih wilayah instans sinkronisasi.
Klik Create Task untuk membuka halaman konfigurasi tugas.

Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter-parameternya.

Kategori	Parameter	Deskripsi
N/A	Task Name	DTS secara otomatis menghasilkan nama tugas. Kami merekomendasikan agar Anda menentukan nama deskriptif untuk memudahkan identifikasi. Nama tidak perlu unik.
Source Database	Select Existing Connection	Untuk menggunakan instans database yang terdaftar di sistem (baru dibuat atau disimpan), pilih instans database yang diinginkan dari daftar drop-down. Informasi database di bawah ini akan dikonfigurasi secara otomatis. Catatan Di konsol DMS, item konfigurasi ini adalah Select a DMS database instance.. Jika Anda belum mendaftarkan instans database ke sistem atau tidak perlu menggunakan instans terdaftar, konfigurasikan informasi database di bawah ini secara manual.
	Database Type	Pilih MySQL.
	Access Method	Pilih Alibaba Cloud Instance.
	Instance Region	Pilih wilayah tempat instans sumber ApsaraDB RDS for MySQL berada.
	Replicate Data Across Alibaba Cloud Accounts	Contoh ini menggunakan instans database di bawah Akun Alibaba Cloud saat ini. Pilih No.
	RDS Instance ID	Pilih ID instans sumber ApsaraDB RDS for MySQL.
	Database Account	Akun database instans sumber ApsaraDB RDS for MySQL. Untuk informasi selengkapnya tentang izin yang diperlukan untuk akun tersebut, lihat Izin yang diperlukan untuk akun database.
	Database Password	Masukkan password yang sesuai dengan akun database.
	Encryption	Pilih Non-encrypted Connection atau SSL Secure Connection sesuai kebutuhan. Jika Anda mengatur ini ke SSL Secure Connection, Anda harus mengaktifkan enkripsi SSL untuk instans RDS for MySQL terlebih dahulu. Untuk informasi selengkapnya, lihat Gunakan sertifikat cloud untuk mengaktifkan enkripsi tautan SSL dengan cepat.
Destination Database	Select Existing Connection	Untuk menggunakan instans database yang terdaftar di sistem (baru dibuat atau disimpan), pilih instans database yang diinginkan dari daftar drop-down. Informasi database di bawah ini akan dikonfigurasi secara otomatis. Catatan Di konsol DMS, item konfigurasi ini adalah Select a DMS database instance.. Jika Anda belum mendaftarkan instans database ke sistem atau tidak perlu menggunakan instans terdaftar, konfigurasikan informasi database di bawah ini secara manual.
	Database Type	Pilih Doris.
	Access Method	Pilih berdasarkan lokasi penerapan database tujuan. Dalam contoh ini, pilih Self-managed Database on ECS. Catatan Saat Anda mengakses database yang dikelola sendiri melalui metode koneksi lain, Anda perlu menyelesaikan persiapan yang sesuai. Untuk informasi selengkapnya, lihat Persiapan.
	Instance Region	Pilih wilayah tempat database Doris tujuan berada.
	ECS Instance ID	Pilih ID instans ECS tempat database Doris tujuan diterapkan. Catatan Jika database Doris tujuan diterapkan pada beberapa instans ECS (misalnya, node BE atau FE diterapkan pada instans ECS lain), Anda harus menambahkan blok CIDR server DTS ke aturan keamanan setiap instans ECS tempat node diterapkan.
	Port Number	Masukkan port layanan database Doris tujuan. Nilai default: 9030.
	Database Account	Masukkan akun database database Doris tujuan. Untuk informasi selengkapnya tentang izin yang diperlukan untuk akun tersebut, lihat bagian Izin yang diperlukan untuk akun database di topik ini.
	Database Password	Masukkan password yang sesuai dengan akun database.

Setelah konfigurasi selesai, klik Test Connectivity and Proceed di bagian bawah halaman. Di kotak dialog CIDR Blocks of DTS Servers, klik Test Connectivity.
Catatan
Pastikan blok alamat IP layanan DTS telah ditambahkan ke pengaturan keamanan database sumber dan tujuan, baik secara otomatis maupun manual, untuk mengizinkan akses dari server DTS. Untuk informasi selengkapnya, lihat Tambahkan daftar putih alamat IP server DTS.

Konfigurasikan objek tugas.

Di halaman Configure Objects, Anda dapat mengonfigurasi objek yang akan disinkronkan.

Konfigurasi	Deskripsi
Synchronization Types	Incremental Synchronization dipilih secara default. Anda juga perlu memilih Schema Synchronization dan Full Data Synchronization. Setelah pemeriksaan awal selesai, DTS menginisialisasi objek sinkronisasi di kluster tujuan dengan data penuh dari instans sumber. Data ini berfungsi sebagai garis dasar untuk sinkronisasi inkremental berikutnya. Penting Setelah Anda menyinkronkan data dari instans ApsaraDB RDS for MySQL ke database Doris yang dikelola sendiri, tipe data akan dikonversi. Jika Anda tidak memilih Schema Synchronization, Anda harus membuat tabel yang menggunakan model Unique Key atau model Duplicate key di database Doris tujuan sebelum sinkronisasi data. Untuk informasi selengkapnya, lihat Pemetaan tipe data, Kolom tambahan, dan Model Unique Key.
Processing Mode of Conflicting Tables	Precheck and Report Errors: Memeriksa keberadaan tabel dengan nama yang sama di database tujuan. Jika ditemukan tabel dengan nama yang sama, kesalahan akan dilaporkan selama pemeriksaan awal dan tugas sinkronisasi data tidak dimulai. Jika tidak, pemeriksaan awal berhasil. Catatan Jika Anda tidak dapat menghapus atau mengganti nama tabel dengan nama yang sama di database tujuan, Anda dapat menggunakan fitur pemetaan nama objek untuk mengubah nama tabel di database tujuan. Untuk informasi selengkapnya, lihat Petakan nama objek. Ignore Errors and Proceed: Melewati pemeriksaan tabrakan nama di database tujuan. Peringatan Memilih Ignore Errors and Proceed dapat menyebabkan ketidakkonsistenan data dan membahayakan bisnis Anda. Misalnya: Jika skema tabel konsisten dan catatan di database tujuan memiliki nilai primary key atau unique key yang sama dengan catatan di database sumber: Selama sinkronisasi data penuh, DTS mempertahankan catatan di kluster tujuan. Catatan yang sesuai dari database sumber tidak disinkronkan. Selama sinkronisasi inkremental, catatan dari database sumber menimpa catatan di database tujuan. Jika skema tabel tidak konsisten, inisialisasi data mungkin gagal. Hal ini dapat mengakibatkan hanya sinkronisasi kolom parsial atau kegagalan sinkronisasi total. Harap berhati-hati.
Capitalization of Object Names in Destination Instance	Anda dapat mengonfigurasi kebijakan huruf besar/kecil untuk nama objek database, tabel, dan kolom di instans tujuan. Secara default, DTS Default Policy dipilih. Anda juga dapat memilih untuk menggunakan kebijakan default database sumber atau tujuan. Untuk informasi selengkapnya, lihat Kebijakan huruf besar/kecil untuk nama objek tujuan.
Source Objects	Di kotak Source Objects, klik objek, lalu klik untuk memindahkannya ke kotak Selected Objects. Catatan Pilih database atau tabel sebagai objek yang akan disinkronkan.
Selected Objects	Untuk mengubah nama objek sinkronisasi di instans tujuan, klik kanan objek di kotak Selected Objects. Untuk informasi selengkapnya, lihat Petakan nama objek. Jika Anda memilih Schema Synchronization untuk Synchronization Types, memilih tabel sebagai objek sinkronisasi, dan perlu mengatur jumlah bucket (parameter `bucket_count`), klik kanan tabel di kotak Selected Objects. Di bagian Parameter Settings, atur Enable Parameter Settings ke Yes, atur parameter Value sesuai kebutuhan, lalu klik OK. Catatan Untuk memilih operasi SQL inkremental yang akan disinkronkan pada tingkat database atau tabel, klik kanan objek sinkronisasi di kotak Selected Objects dan pilih operasi SQL yang diinginkan di kotak dialog yang muncul. Untuk mengatur klausa WHERE untuk memfilter data, klik kanan tabel di kotak Selected Objects dan atur kondisi filter di kotak dialog yang muncul. Untuk informasi selengkapnya, lihat Atur kondisi filter. Jika Anda menggunakan fitur pemetaan nama objek, objek lain yang bergantung pada objek yang dipetakan mungkin gagal disinkronkan.

Klik Next: Advanced Settings.

Parameter	Deskripsi
Dedicated Cluster for Task Scheduling	Secara default, DTS menjadwalkan tugas pada kluster bersama, sehingga Anda tidak perlu memilih. Untuk stabilitas tugas yang lebih baik, Anda dapat membeli kluster khusus untuk menjalankan tugas sinkronisasi DTS. Untuk informasi selengkapnya, lihat Apa itu kluster khusus DTS?.
Retry Time for Failed Connections	Jika koneksi ke database sumber atau tujuan gagal setelah tugas sinkronisasi dimulai, DTS melaporkan kesalahan dan segera mencoba menghubungkan kembali. Durasi retry default adalah 720 menit. Anda dapat menyesuaikan waktu retry ke nilai antara 10 hingga 1.440 menit. Kami merekomendasikan pengaturan minimal 30 menit. Jika DTS berhasil terhubung kembali dalam waktu retry yang ditentukan, tugas akan dilanjutkan secara otomatis. Jika tidak, tugas gagal. Catatan Untuk beberapa instans DTS dengan sumber atau tujuan yang sama—misalnya instans DTS A dan instans DTS B—jika waktu retry jaringan diatur 30 menit untuk A dan 60 menit untuk B, maka waktu yang lebih singkat (30 menit) yang berlaku. Karena DTS mengenakan biaya untuk waktu proses tugas selama retry koneksi, kami merekomendasikan agar Anda menyesuaikan waktu retry berdasarkan kebutuhan bisnis atau segera melepaskan instans DTS setelah instans database sumber dan tujuan dilepas.
Retry Time for Other Issues	Setelah tugas sinkronisasi dimulai, jika terjadi masalah non-konektivitas di database sumber atau tujuan—seperti kesalahan eksekusi DDL atau DML—DTS melaporkan kesalahan dan segera melakukan operasi retry berkelanjutan. Durasi retry default adalah 10 menit. Anda juga dapat menyesuaikan waktu retry ke nilai antara 1 hingga 1.440 menit. Kami merekomendasikan pengaturan minimal 10 menit. Jika operasi terkait berhasil dalam waktu retry yang ditetapkan, tugas sinkronisasi akan dilanjutkan secara otomatis. Jika tidak, tugas gagal. Penting Nilai Retry Time for Other Issues harus lebih kecil daripada Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization	Selama fase sinkronisasi data penuh, DTS mengonsumsi sumber daya baca dan tulis dari database sumber dan tujuan, yang dapat meningkatkan beban mereka. Anda dapat mengatur batas laju untuk tugas sinkronisasi data penuh guna mengurangi tekanan pada database tujuan dengan mengonfigurasi Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s). Catatan Opsi ini tersedia hanya jika Synchronization Types diatur ke Full Data Synchronization. Anda juga dapat menyesuaikan laju sinkronisasi data penuh setelah instans sinkronisasi berjalan.
Enable Throttling for Incremental Data Synchronization	Anda juga dapat mengatur batas laju untuk tugas sinkronisasi inkremental guna mengurangi tekanan pada database tujuan dengan mengatur RPS of Incremental Data Synchronization dan Data synchronization speed for incremental synchronization (MB/s).
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Berdasarkan kebutuhan bisnis Anda, pilih apakah akan menulis informasi SQL heartbeat ke database sumber saat instans DTS berjalan. Yes: Informasi SQL heartbeat tidak ditulis ke database sumber. Hal ini dapat menyebabkan instans DTS melaporkan keterlambatan. No: Menulis informasi SQL heartbeat ke database sumber, yang dapat mengganggu fitur seperti backup fisik dan kloning database sumber.
Environment Tag	Label lingkungan yang digunakan untuk mengidentifikasi instans. Anda dapat memilih label lingkungan sesuai kebutuhan. Dalam contoh ini, Anda tidak perlu mengonfigurasi parameter ini.
Configure ETL	Tentukan apakah akan mengaktifkan fitur ekstrak, transformasi, dan muat (ETL). Untuk informasi selengkapnya, lihat Apa itu ETL? Nilai yang valid: Yes: mengonfigurasi fitur ETL. Anda dapat memasukkan pernyataan pemrosesan data di editor kode. Untuk informasi selengkapnya, lihat Konfigurasi ETL dalam tugas migrasi data atau sinkronisasi data. No: tidak mengonfigurasi fitur ETL.
Monitoring and Alerting	Tentukan apakah akan mengonfigurasi peringatan. Jika sinkronisasi gagal atau latensi melebihi ambang batas yang ditentukan, notifikasi akan dikirim ke kontak peringatan. Do Not Set: Tidak ada peringatan yang diatur. Set: Mengonfigurasi peringatan. Anda juga harus mengatur ambang batas peringatan dan notifikasi peringatan. Untuk informasi selengkapnya, lihat Konfigurasi pemantauan dan peringatan selama konfigurasi tugas.

Opsional: Setelah menyelesaikan konfigurasi di atas, klik Next: Configure Database and Table Fields untuk mengatur Primary Key Column, Distribution Key, dan Engine untuk tabel yang akan disinkronkan di database tujuan.
Catatan
- Langkah ini tersedia hanya jika Anda memilih Schema Synchronization untuk Synchronization Types saat mengonfigurasi objek tugas. Anda dapat mengatur Definition Status ke All lalu memodifikasi pengaturan.
- Anda dapat memilih beberapa kolom untuk Primary Key Column guna membentuk primary key komposit. Anda harus memilih satu atau beberapa kolom dari Primary Key Column sebagai Distribution Key.
- Untuk tabel yang tidak memiliki primary key maupun kendala UNIQUE, Anda harus mengatur Engine ke duplicate. Jika tidak, instans mungkin gagal atau data hilang.

Simpan tugas dan lakukan pemeriksaan awal.
- Untuk melihat parameter konfigurasi instans ini untuk operasi API, arahkan kursor mouse ke tombol Next: Save Task Settings and Precheck, lalu klik Preview OpenAPI parameters di tooltip.
- Jika Anda telah selesai melihat parameter API, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
Catatan
- Sebelum pekerjaan sinkronisasi dimulai, pemeriksaan awal dilakukan. Pekerjaan hanya dapat dimulai setelah lulus pemeriksaan awal.
- Jika pemeriksaan awal gagal, klik View Details di sebelah item yang gagal, selesaikan masalah sesuai petunjuk, lalu jalankan kembali pemeriksaan awal.
- Jika muncul peringatan selama pemeriksaan awal:
  Jika item pemeriksaan gagal dan tidak dapat diabaikan, klik View Details di sebelah item tersebut. Kemudian, ikuti petunjuk untuk memperbaiki masalah dan jalankan kembali pemeriksaan awal.
  Untuk item pemeriksaan yang dapat diabaikan, klik Confirm Alert Details, Ignore, OK, dan Precheck Again secara berurutan untuk melewati peringatan dan menjalankan kembali pemeriksaan awal. Mengabaikan peringatan untuk item pemeriksaan dapat menyebabkan masalah seperti ketidakkonsistenan data dan menimbulkan risiko bagi bisnis Anda.

Beli instance.

Saat Success Rate mencapai 100%, klik Next: Purchase Instance.

Di halaman Purchase, pilih metode penagihan dan spesifikasi tautan untuk instans sinkronisasi data. Untuk informasi selengkapnya, lihat tabel berikut.

Kategori	Parameter	Deskripsi
New Instance Class	Metode Penagihan	Langganan: Anda membayar saat membuat instans. Ini cocok untuk kebutuhan jangka panjang, lebih terjangkau daripada bayar sesuai penggunaan, dan menawarkan diskon lebih besar untuk durasi langganan yang lebih lama. Bayar sesuai penggunaan: Ditagih per jam. Ini cocok untuk kebutuhan jangka pendek. Anda dapat melepaskan instans segera setelah digunakan untuk menghemat biaya.
	Konfigurasi Kelompok Sumber Daya	Kelompok sumber daya tempat instans berada. Default-nya adalah default resource group. Untuk informasi selengkapnya, lihat Apa itu Manajemen Sumber Daya?.
	Spesifikasi Tautan	DTS menyediakan spesifikasi sinkronisasi dengan tingkat kinerja berbeda. Spesifikasi tautan memengaruhi laju sinkronisasi. Anda dapat memilih salah satu berdasarkan skenario bisnis Anda. Untuk informasi selengkapnya, lihat Spesifikasi tautan sinkronisasi data.
	Durasi Langganan	Dalam mode langganan, pilih durasi dan jumlah untuk instans langganan. Anda dapat memilih 1 hingga 9 bulan untuk langganan bulanan, atau 1, 2, 3, atau 5 tahun untuk langganan tahunan. Catatan Opsi ini muncul hanya ketika metode penagihan adalah Subscription.

Setelah menyelesaikan konfigurasi, baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start, lalu klik OK di kotak dialog OK.
Anda dapat melihat progres tugas di halaman sinkronisasi data.

Pemetaan tipe data

Kategori	Tipe data di ApsaraDB RDS for MySQL	Tipe data di Doris
Numerik	TINYINT	TINYINT
	TINYINT UNSIGNED	SMALLINT
	SMALLINT	SMALLINT
	SMALLINT UNSIGNED	INT
	MEDIUMINT	INT
	MEDIUMINT UNSIGNED	BIGINT
	INT	INT
	INT UNSIGNED	BIGINT
	BIGINT	BIGINT
	BIGINT UNSIGNED	LARGEINT
	BIT(M)	INT
	Decimal	Decimal Catatan ZEROFILL tidak didukung.
	Numeric	Decimal
	Float	Float
	Double	DOUBLE
	BOOL BOOLEAN	BOOLEAN
TANGGAL DAN WAKTU	DATE	DATEV2
	DATETIME[(fsp)]	DATETIMEV2
	Timestamp[(fsp)]	DATETIMEV2
	Time[(fsp)]	VARCHAR
	YEAR[(4)]	INT
STRING	CHAR VARCHAR	VARCHAR Penting Untuk menghindari kehilangan data, data tipe CHAR dan VARCHAR(n) dikonversi ke VARCHAR(4*n) setelah disinkronkan ke database Doris tujuan. Jika Anda tidak menentukan panjang data, nilai default VARCHAR(65533) digunakan. Jika panjang data melebihi 65533, data tersebut dikonversi ke tipe STRING setelah disinkronkan ke database Doris tujuan.
	BINARY VARBINARY	STRING
	TINYTEXT TEXT MEDIUMTEXT LONGTEXT	STRING
	TINYBLOB BLOB MEDIUMBLOB LONGBLOB	STRING
	ENUM	STRING
	SET	STRING
	JSON	STRING

Kolom tambahan

Catatan

Tabel berikut menjelaskan kolom tambahan yang secara otomatis ditambahkan oleh DTS atau yang harus Anda tambahkan secara manual ke tabel tujuan yang menggunakan model Duplicate Key.

Nama	Tipe data	Nilai default	Deskripsi
_is_deleted	Int	0	Menunjukkan apakah data dihapus. Insert: Nilainya 0. Update: Nilainya 0. Delete: Nilainya 1.
_version	Bigint	0	Untuk data penuh: Nilainya 0. Untuk data inkremental: Nilainya adalah timestamp yang sesuai (dalam detik) di log biner database sumber.
_record_id	Bigint	0	Untuk data penuh: Nilainya 0. Untuk data inkremental: Nilainya adalah ID catatan entri log inkremental, yang merupakan pengidentifikasi unik untuk log tersebut. Catatan Nilai ID bersifat unik dan auto-incrementing.

Prasyarat

Catatan penggunaan

Penagihan

Operasi SQL yang mendukung sinkronisasi inkremental

Izin yang diperlukan untuk akun database

Prosedur

Dari konsol DTS

Dari konsol DMS

Pemetaan tipe data

Kolom tambahan

Kolom tambahan