全部产品
Search
文档中心

Data Transmission Service:Sinkronisasi data dari klaster PolarDB for MySQL ke database Doris yang dikelola sendiri

更新时间:Dec 28, 2025

Layanan Transmisi Data (DTS) memungkinkan Anda menyinkronkan data dari klaster PolarDB for MySQL ke database Doris untuk analitik data skala besar. Topik ini menjelaskan cara menyinkronkan data ke database Doris yang diterapkan pada instance Elastic Compute Service (ECS).

Prasyarat

Database Doris tujuan telah dibuat. Ruang penyimpanan yang tersedia di database ini harus lebih besar daripada ruang penyimpanan yang digunakan oleh klaster sumber PolarDB for MySQL.

Catatan

Untuk informasi mengenai versi database sumber dan tujuan yang didukung, lihat Ikhtisar solusi sinkronisasi data.

Catatan penggunaan

Kategori

Deskripsi

Batasan database sumber

  • Persyaratan untuk objek sinkronisasi:

    • Semua tabel yang akan disinkronkan memiliki primary key atau kendala UNIQUE:

      Pastikan field tabel bersifat unik. Jika tidak, data duplikat dapat muncul di database tujuan.

    • Objek sinkronisasi mencakup tabel yang tidak memiliki primary key maupun kendala UNIQUE:

      Saat mengonfigurasi instans, pilih Schema Synchronization untuk Synchronization Types. Pada langkah Configurations for Databases, Tables, and Columns, atur Engine menjadi duplicate untuk tabel-tabel tersebut. Jika tidak, instans dapat gagal atau data hilang.

      Catatan

      Selama sinkronisasi skema, DTS menambahkan kolom ke tabel tujuan. Untuk informasi selengkapnya, lihat Informasi kolom tambahan.

  • Jika Anda menyinkronkan data pada tingkat tabel dan perlu mengedit tabel, seperti memetakan nama kolom, satu tugas sinkronisasi data mendukung maksimal 1.000 tabel. Jika melebihi batas ini, kesalahan akan dilaporkan saat Anda mengirimkan tugas. Dalam kasus ini, pisahkan tabel menjadi beberapa tugas sinkronisasi atau konfigurasikan tugas untuk menyinkronkan seluruh database.

  • Log biner:

    • Anda harus mengaktifkan binary logging dan mengatur parameter loose_polar_log_bin ke ON. Jika tidak, kesalahan akan dilaporkan selama pemeriksaan awal dan instans DTS gagal dimulai. Untuk informasi selengkapnya tentang cara mengaktifkan binary logging dan memodifikasi parameter, lihat Enable binary logging dan Set cluster and node parameters.

      Catatan

      Mengaktifkan binary logging untuk klaster PolarDB for MySQL mengonsumsi ruang penyimpanan dan menimbulkan biaya.

    • Log biner klaster PolarDB for MySQL harus dipertahankan minimal selama 3 hari. Kami merekomendasikan agar Anda mempertahankannya selama 7 hari. Jika tidak, tugas DTS dapat gagal karena DTS tidak dapat memperoleh log biner. Dalam kasus ekstrem, hal ini dapat menyebabkan inkonsistensi data atau kehilangan data. Masalah yang disebabkan oleh periode retensi log biner yang lebih pendek dari periode yang diperlukan tidak dicakup oleh Perjanjian Tingkat Layanan (SLA) DTS.

      Catatan

      Untuk informasi selengkapnya tentang cara mengatur periode retensi log biner klaster PolarDB for MySQL, lihat Modify the retention period.

  • Selama sinkronisasi skema awal dan sinkronisasi data penuh awal, jangan lakukan operasi Data Definition Language (DDL) yang mengubah skema database atau tabel. Jika tidak, tugas sinkronisasi data akan gagal.

    Catatan

    Selama sinkronisasi data penuh awal, DTS melakukan query ke database sumber. Hal ini membuat kunci metadata, yang dapat memblokir operasi DDL pada database sumber.

  • Selama waktu proses instans sinkronisasi, perubahan data dari operasi yang tidak direkam dalam log biner, seperti data yang dipulihkan dari backup fisik atau data yang dihasilkan oleh operasi kaskade, tidak disinkronkan ke database tujuan.

    Catatan

    Jika hal ini terjadi, Anda dapat menghapus database atau tabel yang berisi data tersebut dari objek sinkronisasi, lalu menambahkannya kembali. Hal ini diperbolehkan jika bisnis Anda mengizinkannya. Untuk informasi selengkapnya, lihat Modify synchronization objects.

Batasan lainnya

  • Anda tidak dapat menyinkronkan data dari node read-only klaster sumber PolarDB for MySQL.

  • Anda tidak dapat menyinkronkan tabel eksternal OSS dari klaster sumber PolarDB for MySQL.

  • Failover primary/secondary pada instans database tidak didukung selama sinkronisasi data penuh awal. Jika failover terjadi, segera konfigurasi ulang tugas sinkronisasi.

  • Anda hanya dapat menyinkronkan data ke tabel yang menggunakan model Unique Key atau Duplicate key di database Doris. Jika Anda menyinkronkan data ke tabel tujuan yang menggunakan model Duplicate key, dan salah satu operasi berikut terjadi, data duplikat dapat muncul di database tujuan. Dalam kasus ini, Anda dapat menghapus duplikat data berdasarkan kolom tambahan seperti _is_deleted, _version, dan _record_id:

    • Operasi retry terjadi pada instans sinkronisasi data.

    • Operasi restart dieksekusi pada instans sinkronisasi data.

    • Dua atau lebih operasi DML dieksekusi untuk baris data yang sama setelah instans sinkronisasi data dimulai.

      Catatan

      Ketika tabel tujuan adalah tabel yang menggunakan model Duplicate key, DTS mengonversi pernyataan UPDATE atau DELETE menjadi pernyataan INSERT.

  • Saat Anda mengonfigurasi parameter di kotak Selected Objects, Anda hanya dapat mengatur parameter bucket_count.

    Catatan

    Nilai bucket_count harus berupa bilangan bulat positif. Nilai default-nya adalah auto.

  • Selama sinkronisasi data, jangan membuat klaster di database Doris tujuan. Jika tidak, tugas sinkronisasi data akan gagal. Anda dapat me-restart instans sinkronisasi data untuk melanjutkan tugas sinkronisasi data yang gagal.

  • Database Doris hanya mendukung nama database dan tabel yang diawali huruf. Jika nama database atau tabel yang ingin Anda sinkronkan tidak diawali huruf, gunakan fitur pemetaan nama objek untuk mengganti namanya.

  • Jika nama objek yang akan disinkronkan, seperti database, tabel, atau kolom, mengandung karakter Tionghoa, gunakan fitur pemetaan nama objek untuk mengganti namanya. Misalnya, Anda dapat mengubah nama tersebut menjadi bahasa Inggris. Jika tidak, tugas dapat gagal.

  • Operasi DDL yang memodifikasi beberapa kolom sekaligus dan operasi DDL berturut-turut pada tabel yang sama tidak didukung.

  • Selama sinkronisasi data, jangan menambahkan node backend (BE) ke database Doris. Jika tidak, tugas akan gagal. Anda dapat me-restart instans sinkronisasi data untuk melanjutkan tugas sinkronisasi data yang gagal.

  • Dalam skenario penggabungan multi-tabel, di mana data dari beberapa tabel sumber disinkronkan ke satu tabel tujuan, pastikan tabel sumber memiliki skema yang sama. Jika tidak, inkonsistensi data atau kegagalan tugas dapat terjadi.

  • Di PolarDB for MySQL, M dalam VARCHAR(M) merepresentasikan panjang karakter. Di Doris, N dalam VARCHAR(N) merepresentasikan panjang byte. Jika Anda tidak menggunakan fitur sinkronisasi skema DTS, kami merekomendasikan agar Anda mengatur panjang field VARCHAR di database Doris menjadi empat kali panjang field VARCHAR yang sesuai di database MySQL.

  • Saat Anda menggunakan DMS atau tool gh-ost untuk melakukan operasi DDL Online pada sumber, DTS hanya menyinkronkan pernyataan DDL aslinya ke tujuan. Dalam skenario ini, DTS tidak perlu menyinkronkan sejumlah besar data tabel sementara, tetapi hal ini dapat menyebabkan tabel terkunci di tujuan.

    Catatan

    DTS tidak mendukung penyinkronan perubahan DDL Online yang dibuat dengan tool seperti pt-online-schema-change. Jika perubahan semacam itu ada di sumber, data dapat hilang di tujuan, atau instans sinkronisasi dapat gagal.

  • Selama sinkronisasi data penuh awal, DTS menggunakan resource baca dan tulis dari database sumber dan tujuan. Hal ini dapat meningkatkan beban pada server database. Sebelum menyinkronkan data, evaluasi kinerja database sumber dan tujuan. Kami merekomendasikan agar Anda menyinkronkan data selama jam sepi. Misalnya, sinkronkan data ketika beban CPU database sumber dan tujuan berada di bawah 30%.

  • Selama sinkronisasi data penuh awal, operasi INSERT konkuren menyebabkan fragmentasi pada tabel database tujuan. Setelah sinkronisasi data penuh awal selesai, ruang penyimpanan yang digunakan oleh tabel di database tujuan lebih besar daripada di instans sumber.

  • Selama sinkronisasi data, jangan gunakan tool seperti pt-online-schema-change untuk melakukan operasi DDL Online pada objek sinkronisasi di database sumber. Jika tidak, sinkronisasi akan gagal.

  • Jika data dari sumber selain DTS ditulis ke database tujuan selama sinkronisasi data, inkonsistensi data dapat terjadi antara database sumber dan tujuan.

  • DTS secara berkala menjalankan perintah CREATE DATABASE IF NOT EXISTS `test` pada database sumber untuk memajukan offset log biner.

  • Jika sebuah instans gagal, helpdesk DTS akan mencoba memulihkan instans tersebut dalam waktu 8 jam. Selama proses pemulihan, operasi seperti me-restart instans atau menyesuaikan parameternya dapat dilakukan.

    Catatan

    Saat parameter disesuaikan, hanya parameter instans DTS yang dimodifikasi. Parameter di database tidak dimodifikasi. Parameter yang dapat dimodifikasi termasuk tetapi tidak terbatas pada yang dijelaskan dalam Modify instance parameters.

Penagihan

Jenis sinkronisasiBiaya konfigurasi tugas
Sinkronisasi skema dan sinkronisasi data penuhGratis.
Sinkronisasi data inkrementalDikenakan biaya. Untuk informasi selengkapnya, lihat Billing overview.

Operasi SQL yang mendukung sinkronisasi inkremental

Jenis operasi

Pernyataan SQL

DML

INSERT, UPDATE, dan DELETE

DDL

  • ADD COLUMN

  • MODIFY COLUMN

  • CHANGE COLUMN

  • DROP COLUMN dan DROP TABLE

  • TRUNCATE TABLE

  • RENAME TABLE

    Penting

    Operasi RENAME TABLE dapat menyebabkan inkonsistensi data. Misalnya, jika objek sinkronisasi hanya tabel tertentu dan Anda mengganti nama tabel tersebut di instans sumber selama sinkronisasi, data tabel tersebut tidak disinkronkan ke database tujuan. Untuk mencegah masalah ini, pilih seluruh database tempat tabel tersebut berada sebagai objek sinkronisasi saat Anda mengonfigurasi tugas sinkronisasi data. Pastikan database tempat tabel tersebut berada sebelum dan sesudah operasi RENAME TABLE keduanya termasuk dalam objek sinkronisasi.

Izin yang diperlukan untuk akun database

Database

Izin yang diperlukan

Metode pembuatan dan otorisasi

Klaster sumber PolarDB for MySQL

Izin baca dan tulis pada objek yang akan disinkronkan

Create and manage a database account

Database Doris tujuan

Izin USAGE_PRIV dan izin baca-tulis berikut: SELECT_PRIV, LOAD_PRIV, ALTER_PRIV, CREATE_PRIV, dan DROP_PRIV

Authentication and Authorization

Prosedur

  1. Buka halaman daftar tugas sinkronisasi data di wilayah tujuan menggunakan salah satu metode berikut.

    Dari Konsol DTS

    1. Login ke Konsol DTS.

    2. Di panel navigasi sebelah kiri, klik Data Synchronization.

    3. Di pojok kiri atas halaman, pilih wilayah tempat instans sinkronisasi berada.

    Dari Konsol DMS

    Catatan

    Operasi aktual dapat berbeda tergantung pada mode dan tata letak konsol DMS. Untuk informasi selengkapnya, lihat Simple mode console dan Customize the layout and style of the DMS console.

    1. Login ke Konsol DMS.

    2. Dari bilah menu atas, pilih Data + AI > Data Transmission (DTS) > Data Synchronization.

    3. Di sebelah kanan Data Synchronization Tasks, pilih wilayah instans sinkronisasi.

  2. Klik Create Task untuk membuka halaman konfigurasi tugas.

  3. Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter-parameternya.

    Kategori

    Konfigurasi

    Deskripsi

    N/A

    Task Name

    DTS secara otomatis menghasilkan nama tugas. Kami merekomendasikan agar Anda menentukan nama deskriptif untuk memudahkan identifikasi. Nama tersebut tidak perlu unik.

    Source Database

    Select Existing Connection

    • Untuk menggunakan instans database yang terdaftar di sistem (baru dibuat atau disimpan), pilih instans database yang diinginkan dari daftar drop-down. Informasi database di bawah ini akan dikonfigurasi secara otomatis.

      Catatan

      Di konsol DMS, item konfigurasi ini adalah Select a DMS database instance..

    • Jika Anda belum mendaftarkan instans database ke sistem atau tidak perlu menggunakan instans terdaftar, konfigurasikan informasi database secara manual di bawah ini.

    Database Type

    Pilih PolarDB for MySQL.

    Access Method

    Pilih Alibaba Cloud Instance.

    Instance Region

    Pilih wilayah tempat klaster sumber PolarDB for MySQL berada.

    Replicate Data Across Alibaba Cloud Accounts

    Contoh ini menggunakan instans database di bawah Akun Alibaba Cloud saat ini. Pilih No.

    PolarDB Cluster ID

    Pilih ID klaster sumber PolarDB for MySQL.

    Database Account

    Masukkan akun database klaster sumber PolarDB for MySQL. Untuk informasi selengkapnya tentang izin yang diperlukan, lihat Permissions required for database accounts.

    Database Password

    Masukkan password yang sesuai dengan akun database.

    Encryption

    Pilih metode koneksi sesuai kebutuhan. Untuk informasi selengkapnya tentang enkripsi Secure Sockets Layer (SSL), lihat Configure SSL encryption.

    Destination Database

    Select Existing Connection

    • Untuk menggunakan instans database yang terdaftar di sistem (baru dibuat atau disimpan), pilih instans database yang diinginkan dari daftar drop-down. Informasi database di bawah ini akan dikonfigurasi secara otomatis.

      Catatan

      Di konsol DMS, item konfigurasi ini adalah Select a DMS database instance..

    • Jika Anda belum mendaftarkan instans database ke sistem atau tidak perlu menggunakan instans terdaftar, konfigurasikan informasi database secara manual di bawah ini.

    Database Type

    Pilih Doris.

    Access Method

    Pilih metode akses berdasarkan lokasi penerapan database tujuan. Contoh ini menggunakan Self-managed Database on ECS.

    Catatan

    Jika Anda menggunakan metode akses lain untuk menghubungkan database yang dikelola sendiri ke DTS, Anda harus melakukan persiapan. Untuk informasi selengkapnya, lihat Preparations.

    Instance Region

    Pilih wilayah tempat database Doris tujuan berada.

    ECS Instance ID

    Pilih ID instance ECS tempat database Doris tujuan berada.

    Catatan

    Jika database Doris tujuan diterapkan pada beberapa instance ECS (misalnya, node BE atau FE diterapkan pada instance ECS lain), Anda harus menambahkan blok CIDR server DTS secara manual ke aturan keamanan setiap instance ECS tempat node tersebut diterapkan.

    Port Number

    Masukkan port layanan database Doris tujuan. Nilai default-nya adalah 9030.

    Database Account

    Masukkan akun database Doris tujuan. Untuk informasi selengkapnya tentang izin yang diperlukan, lihat Permissions required for database accounts.

    Database Password

    Masukkan password yang sesuai dengan akun database.

  4. Setelah konfigurasi selesai, klik Test Connectivity and Proceed di bagian bawah halaman. Di kotak dialog CIDR Blocks of DTS Servers, klik Test Connectivity.

    Catatan

    Pastikan blok alamat IP layanan DTS telah ditambahkan ke pengaturan keamanan database sumber dan tujuan, baik secara otomatis maupun manual, untuk mengizinkan akses dari server DTS. Untuk informasi selengkapnya, lihat Add the IP address whitelist of DTS servers.

  5. Konfigurasikan objek tugas.

    1. Di halaman Configure Objects, Anda dapat mengonfigurasi objek yang akan disinkronkan.

      Konfigurasi

      Deskripsi

      Synchronization Types

      Incremental Synchronization dipilih secara default. Anda juga perlu memilih Schema Synchronization dan Full Data Synchronization. Setelah pemeriksaan awal selesai, DTS menginisialisasi objek sinkronisasi di klaster tujuan dengan data penuh dari instans sumber. Data ini berfungsi sebagai garis dasar untuk sinkronisasi inkremental berikutnya.

      Penting

      Saat data disinkronkan dari klaster PolarDB for MySQL ke database Doris, tipe data dikonversi. Jika Anda tidak memilih Schema Synchronization, Anda harus membuat tabel yang menggunakan model Unique atau Duplicate di database Doris tujuan terlebih dahulu. Untuk informasi selengkapnya, lihat Data type mappings, Additional column information, dan Unique Key Model.

      Processing Mode of Conflicting Tables

      • Precheck and Report Errors: Memeriksa apakah tabel dengan nama yang sama ada di database tujuan. Jika tabel dengan nama yang sama tidak ada, pemeriksaan berhasil. Jika tabel dengan nama yang sama ada, pemeriksaan awal gagal dan tugas sinkronisasi data tidak dimulai.

        Catatan

        Jika Anda tidak dapat menghapus atau mengganti nama tabel dengan nama yang sama di database tujuan, Anda dapat memetakannya ke nama tabel yang berbeda di database tujuan. Untuk informasi selengkapnya, lihat Map schemas, tables, and columns.

      • Ignore Errors and Proceed: Melewati pemeriksaan untuk tabel dengan nama yang sama di database tujuan.

        Peringatan

        Jika Anda memilih Ignore Errors and Proceed, inkonsistensi data dapat terjadi, yang dapat menimbulkan risiko bagi bisnis Anda. Misalnya:

        • Jika skema tabel sama dan catatan di database tujuan memiliki nilai primary key atau unique key yang sama dengan catatan di database sumber, catatan dari database sumber akan menimpa catatan di database tujuan.

        • Jika skema tabel berbeda, data mungkin gagal diinisialisasi, hanya beberapa kolom data yang dapat disinkronkan, atau sinkronisasi dapat gagal. Lakukan dengan hati-hati.

      Capitalization of Object Names in Destination Instance

      Anda dapat mengonfigurasi kebijakan huruf besar/kecil untuk nama objek database, tabel, dan kolom di instans tujuan. Secara default, DTS Default Policy dipilih. Anda juga dapat memilih untuk menggunakan kebijakan default database sumber atau tujuan. Untuk informasi selengkapnya, lihat Case policy for destination object names.

      Source Objects

      Di kotak Source Objects, klik objek, lalu klik 向右 untuk memindahkannya ke kotak Selected Objects.

      Catatan

      Anda dapat memilih database atau tabel sebagai objek sinkronisasi.

      Selected Objects

      • Untuk mengubah nama objek sinkronisasi di instans tujuan, klik kanan objek di kotak Selected Objects. Untuk informasi selengkapnya tentang cara mengatur nama, lihat Map schemas, tables, and columns.

      • Jika Anda memilih Schema Synchronization untuk Synchronization Types, memilih objek pada tingkat tabel, dan perlu mengatur jumlah bucket (parameter bucket_count), klik kanan tabel di kotak Selected Objects. Di bagian Parameter Settings, atur Enable Parameter Settings ke Yes, atur Value sesuai kebutuhan, lalu klik OK.

      Catatan
      • Untuk memilih operasi SQL untuk sinkronisasi inkremental pada tingkat database atau tabel, klik kanan objek sinkronisasi di kotak Selected Objects dan pilih operasi SQL yang diinginkan di kotak dialog yang muncul.

      • Untuk mengatur klausa WHERE untuk memfilter data, klik kanan tabel yang ingin Anda sinkronkan di kotak Selected Objects dan atur kondisi filter di kotak dialog yang muncul. Untuk informasi selengkapnya tentang cara mengatur kondisi filter, lihat Set filter conditions.

      • Jika Anda menggunakan fitur pemetaan nama objek, objek lain yang bergantung pada objek yang dipetakan mungkin gagal disinkronkan.

    2. Klik Next: Advanced Settings.

      Konfigurasi

      Deskripsi

      Dedicated Cluster for Task Scheduling

      Secara default, DTS menjadwalkan tugas pada klaster bersama, sehingga Anda tidak perlu melakukan pemilihan. Untuk stabilitas tugas yang lebih baik, Anda dapat membeli klaster khusus untuk menjalankan tugas sinkronisasi DTS. Untuk informasi selengkapnya, lihat What is a DTS dedicated cluster?.

      Retry Time for Failed Connections

      Jika koneksi ke database sumber atau tujuan gagal setelah tugas sinkronisasi dimulai, DTS melaporkan kesalahan dan segera mulai mencoba menghubungkan kembali. Durasi retry default adalah 720 menit. Anda dapat menyesuaikan waktu retry ke nilai antara 10 hingga 1.440 menit. Kami merekomendasikan pengaturan minimal 30 menit. Jika DTS berhasil terhubung kembali dalam waktu retry yang ditentukan, tugas akan dilanjutkan secara otomatis. Jika tidak, tugas gagal.

      Catatan
      • Untuk beberapa instans DTS dengan sumber atau tujuan yang sama, seperti instans DTS A dan instans DTS B, jika waktu retry jaringan diatur 30 menit untuk A dan 60 menit untuk B, waktu yang lebih singkat yaitu 30 menit yang berlaku.

      • Karena DTS menagih berdasarkan waktu proses tugas selama retry koneksi, kami merekomendasikan agar Anda menyesuaikan waktu retry berdasarkan kebutuhan bisnis atau segera melepaskan instans DTS setelah instans database sumber dan tujuan dilepas.

      Retry Time for Other Issues

      Setelah tugas sinkronisasi dimulai, jika terjadi masalah non-konektivitas di database sumber atau tujuan, seperti kesalahan eksekusi DDL atau DML, DTS melaporkan kesalahan dan segera mulai melakukan operasi retry berkelanjutan. Durasi retry default adalah 10 menit. Anda juga dapat menyesuaikan waktu retry ke nilai antara 1 hingga 1.440 menit. Kami merekomendasikan pengaturan minimal 10 menit. Jika operasi terkait berhasil dalam waktu retry yang ditentukan, tugas sinkronisasi akan dilanjutkan secara otomatis. Jika tidak, tugas gagal.

      Penting

      Nilai Retry Time for Other Issues harus lebih kecil daripada Retry Time for Failed Connections.

      Enable Throttling for Full Data Synchronization

      Selama fase sinkronisasi data penuh, DTS mengonsumsi resource baca dan tulis dari database sumber dan tujuan, yang dapat meningkatkan beban mereka. Anda dapat mengatur batas laju untuk tugas sinkronisasi data penuh guna mengurangi tekanan pada database tujuan dengan mengonfigurasi Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s).

      Catatan

      Enable Throttling for Incremental Data Synchronization

      Anda juga dapat mengatur batas laju untuk tugas sinkronisasi inkremental guna mengurangi tekanan pada database tujuan dengan mengatur RPS of Incremental Data Synchronization dan Data synchronization speed for incremental synchronization (MB/s).

      Whether to delete SQL operations on heartbeat tables of forward and reverse tasks

      Berdasarkan kebutuhan bisnis Anda, pilih apakah akan menulis informasi SQL heartbeat ke database sumber selama instans DTS berjalan.

      • Yes: Informasi SQL heartbeat tidak ditulis ke database sumber. Hal ini dapat menyebabkan instans DTS melaporkan delay.

      • No: Menulis informasi SQL heartbeat ke database sumber, yang dapat mengganggu fitur seperti backup fisik dan cloning database sumber.

      Environment Tag

      Jika diperlukan, Anda dapat memilih tag lingkungan untuk mengidentifikasi instans. Dalam contoh ini, Anda tidak perlu memilih tag.

      Configure ETL

      Tentukan apakah akan mengaktifkan fitur extract, transform, and load (ETL). Untuk informasi selengkapnya, lihat What is ETL?. Nilai yang valid:

      Monitoring and Alerting

      Tentukan apakah akan mengonfigurasi peringatan. Jika sinkronisasi gagal atau latensi melebihi ambang batas yang ditentukan, notifikasi akan dikirim ke kontak peringatan.

    3. Opsional: Setelah menyelesaikan konfigurasi di atas, klik Next: Configure Database and Table Fields untuk mengatur Primary Key Column, Distribution Key, dan Engine untuk tabel yang ingin Anda sinkronkan di tujuan.

      Catatan
      • Langkah ini hanya tersedia jika Anda memilih Schema Synchronization untuk Synchronization Types saat mengonfigurasi objek tugas. Anda dapat mengatur Definition Status ke All lalu memodifikasi pengaturan.

      • Untuk Primary Key Column, Anda dapat memilih beberapa kolom untuk membentuk primary key komposit. Anda harus memilih satu atau beberapa kolom dari Primary Key Column sebagai Distribution Key.

      • Untuk tabel yang tidak memiliki primary key maupun unique key, Anda harus mengatur Engine ke duplicate. Jika tidak, instans dapat gagal atau data hilang.

  6. Simpan tugas dan lakukan pemeriksaan awal.

    • Untuk melihat parameter konfigurasi instans ini untuk operasi API, arahkan kursor mouse ke tombol Next: Save Task Settings and Precheck, lalu klik Preview OpenAPI parameters di tooltip.

    • Jika Anda telah selesai melihat parameter API, klik Next: Save Task Settings and Precheck di bagian bawah halaman.

    Catatan
    • Sebelum tugas sinkronisasi dimulai, pemeriksaan awal dilakukan. Tugas hanya dapat dimulai setelah lulus pemeriksaan awal.

    • Jika pemeriksaan awal gagal, klik View Details di sebelah item yang gagal, selesaikan masalah sesuai petunjuk, lalu jalankan kembali pemeriksaan awal.

    • Jika peringatan muncul selama pemeriksaan awal:

      • Jika item pemeriksaan gagal dan tidak dapat diabaikan, klik View Details di sebelah item tersebut. Lalu, ikuti instruksi untuk memperbaiki masalah dan jalankan kembali pemeriksaan awal.

      • Untuk item pemeriksaan yang dapat diabaikan, klik Confirm Alert Details, Ignore, OK, dan Precheck Again secara berurutan untuk melewati peringatan dan menjalankan kembali pemeriksaan awal. Mengabaikan peringatan untuk item pemeriksaan dapat menyebabkan masalah seperti inkonsistensi data dan menimbulkan risiko bagi bisnis Anda.

  7. Beli instance.

    1. Ketika Success Rate mencapai 100%, klik Next: Purchase Instance.

    2. Di halaman Purchase, pilih metode penagihan dan spesifikasi link untuk instans sinkronisasi data. Untuk informasi selengkapnya, lihat tabel berikut.

      Kategori

      Parameter

      Deskripsi

      New Instance Class

      Metode Penagihan

      • Langganan: Anda membayar saat membuat instans. Ini cocok untuk kebutuhan jangka panjang, lebih terjangkau daripada bayar sesuai penggunaan, dan menawarkan diskon lebih besar untuk durasi langganan yang lebih lama.

      • Bayar sesuai penggunaan: Ditagih per jam. Ini cocok untuk kebutuhan jangka pendek. Anda dapat melepaskan instans segera setelah digunakan untuk menghemat biaya.

      Konfigurasi Kelompok Sumber Daya

      Kelompok sumber daya tempat instans berada. Default-nya adalah default resource group. Untuk informasi selengkapnya, lihat What is Resource Management?.

      Spesifikasi Link

      DTS menyediakan spesifikasi sinkronisasi dengan tingkat kinerja berbeda. Spesifikasi link memengaruhi laju sinkronisasi. Anda dapat memilih salah satu berdasarkan skenario bisnis Anda. Untuk informasi selengkapnya, lihat Data synchronization link specifications.

      Durasi Langganan

      Dalam mode langganan, pilih durasi dan kuantitas untuk instans langganan. Anda dapat memilih 1 hingga 9 bulan untuk langganan bulanan, atau 1, 2, 3, atau 5 tahun untuk langganan tahunan.

      Catatan

      Opsi ini hanya muncul ketika metode penagihan adalah Subscription.

    3. Setelah menyelesaikan konfigurasi, baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.

    4. Klik Buy and Start, lalu klik OK di kotak dialog OK.

      Anda dapat melihat progres tugas di halaman sinkronisasi data.

Pemetaan tipe data

Kategori

Tipe data di PolarDB for MySQL

Tipe data di Doris

Numerik

TINYINT

TINYINT

TINYINT UNSIGNED

SMALLINT

SMALLINT

SMALLINT

SMALLINT UNSIGNED

INT

MEDIUMINT

INT

MEDIUMINT UNSIGNED

BIGINT

INT

INT

INT UNSIGNED

BIGINT

BIGINT

BIGINT

BIGINT UNSIGNED

LARGEINT

BIT(M)

INT

Decimal

Decimal

Catatan

ZEROFILL tidak didukung.

Numeric

Decimal

Float

Float

Double

DOUBLE

  • BOOL

  • BOOLEAN

BOOLEAN

TANGGAL DAN WAKTU

DATE

DATEV2

DATETIME[(fsp)]

DATETIMEV2

Timestamp[(fsp)]

DATETIMEV2

Time[(fsp)]

VARCHAR

YEAR[(4)]

INT

STRING

  • CHAR

  • VARCHAR

VARCHAR

Penting

Untuk menghindari kehilangan data, data tipe CHAR dan VARCHAR(n) dikonversi ke VARCHAR(4*n) setelah disinkronkan ke database Doris tujuan.

  • Jika Anda tidak menentukan panjang data, nilai default VARCHAR(65533) digunakan.

  • Data dengan panjang lebih dari 65.533 karakter dikonversi ke tipe STRING setelah disinkronkan ke database Doris tujuan.

  • BINARY

  • VARBINARY

STRING

  • TINYTEXT

  • TEXT

  • MEDIUMTEXT

  • LONGTEXT

STRING

  • TINYBLOB

  • BLOB

  • MEDIUMBOLB

  • LONGBLOB

STRING

ENUM

STRING

SET

STRING

JSON

STRING

Informasi kolom tambahan

Catatan

Tabel berikut menjelaskan kolom tambahan yang secara otomatis ditambahkan DTS atau yang harus Anda tambahkan secara manual ke tabel tujuan yang menggunakan model Duplicate.

Nama

Tipe data

Nilai default

Deskripsi

_is_deleted

Int

0

Menunjukkan apakah data dihapus.

  • Insert: Nilainya 0.

  • Update: Nilainya 0.

  • Delete: Nilainya 1.

_version

Bigint

0

  • Untuk sinkronisasi data penuh, nilainya 0.

  • Untuk sinkronisasi data inkremental, nilainya adalah timestamp yang sesuai (dalam detik) di log biner database sumber.

_record_id

Bigint

0

  • Untuk sinkronisasi data penuh, nilainya 0.

  • Untuk sinkronisasi data inkremental, nilainya adalah ID record dari log inkremental. ID ini adalah pengidentifikasi unik log tersebut.

    Catatan

    Nilai ID bersifat unik dan bertambah.