All Products
Search
Document Center

Data Transmission Service:Migrasi data dari kluster PolarDB for MySQL ke database Doris yang dikelola sendiri

Last Updated:Dec 28, 2025

Layanan Transmisi Data (DTS) memungkinkan Anda memigrasikan data dari kluster PolarDB for MySQL ke database Doris untuk analitik data skala besar. Topik ini menjelaskan prosedur menggunakan database Doris yang di-deploy pada instance ECS sebagai database tujuan.

Prasyarat

Database Doris tujuan telah dibuat. Ruang penyimpanan yang tersedia di database ini harus lebih besar daripada ruang penyimpanan yang digunakan oleh kluster sumber PolarDB for MySQL.

Catatan

Untuk informasi selengkapnya mengenai versi database sumber dan tujuan yang didukung, lihat Ikhtisar solusi migrasi.

Catatan penggunaan

Kategori

Deskripsi

Batasan database sumber

  • Persyaratan bandwidth: Server yang menghosting database sumber harus memiliki bandwidth keluar yang mencukupi. Jika tidak, kecepatan migrasi data akan terpengaruh.

  • Persyaratan untuk objek migrasi:

    • Semua tabel yang akan dimigrasikan memiliki primary key atau kendala UNIQUE:

      Pastikan bidang tabel bersifat unik. Jika tidak, data duplikat mungkin ada di database tujuan.

    • Objek migrasi mencakup tabel yang tidak memiliki primary key maupun kendala UNIQUE:

      Saat mengonfigurasi instans, kami menyarankan Anda memilih Schema Migration untuk Migration Types dan, pada langkah Configurations for Databases, Tables, and Columns, atur Engine tabel menjadi duplicate. Jika tidak, instans mungkin gagal atau terjadi kehilangan data.

      Catatan

      Selama migrasi skema, DTS menambahkan kolom ke tabel tujuan. Untuk informasi selengkapnya, lihat Informasi kolom tambahan.

  • Jika Anda melakukan migrasi data tingkat tabel dan perlu mengedit tabel, seperti memetakan nama kolom, satu tugas migrasi data dapat memigrasikan maksimal 1.000 tabel. Jika melebihi batas ini, kesalahan akan dilaporkan setelah Anda mengirimkan tugas. Dalam kasus ini, bagi tabel tersebut ke dalam beberapa tugas migrasi atau konfigurasikan tugas untuk memigrasikan seluruh database.

  • Jika Anda melakukan migrasi inkremental:

    • Anda harus mengaktifkan binary logging dan mengatur parameter loose_polar_log_bin ke on. Jika tidak, pemeriksaan awal akan melaporkan kesalahan dan tugas migrasi data tidak dapat dimulai. Untuk informasi selengkapnya tentang cara mengaktifkan binary logging dan memodifikasi parameter, lihat Aktifkan binary logging dan Modifikasi parameter.

      Catatan

      Mengaktifkan binary logging untuk kluster PolarDB for MySQL mengonsumsi ruang penyimpanan dan menimbulkan biaya penyimpanan.

    • Log biner kluster PolarDB for MySQL harus dipertahankan minimal selama 3 hari. Kami merekomendasikan periode retensi 7 hari. Jika tidak, DTS mungkin gagal mendapatkan log biner, yang dapat menyebabkan tugas gagal. Dalam kasus ekstrem, hal ini dapat menyebabkan inkonsistensi data atau kehilangan data. Masalah yang disebabkan oleh periode retensi log biner yang lebih pendek dari persyaratan DTS tidak dicakup oleh Perjanjian Tingkat Layanan (SLA) DTS.

      Catatan

      Untuk informasi selengkapnya tentang cara mengatur periode retensi log biner kluster PolarDB for MySQL, lihat Modifikasi periode retensi.

  • Batasan operasional untuk database sumber:

    • Selama migrasi skema dan migrasi data penuh, jangan lakukan operasi DDL yang mengubah skema database atau tabel. Jika tidak, tugas migrasi data akan gagal.

      Catatan

      Selama migrasi data penuh, DTS melakukan kueri ke database sumber. Hal ini membuat kunci metadata, yang dapat memblokir operasi DDL pada database sumber.

    • Jika Anda hanya melakukan migrasi data penuh, jangan menulis data baru ke instans sumber. Jika tidak, akan terjadi inkonsistensi data antara sumber dan tujuan. Untuk menjaga konsistensi data secara real-time, pilih migrasi skema, migrasi data penuh, dan migrasi data inkremental.

  • Perubahan data dari operasi yang tidak direkam dalam log biner selama migrasi tidak akan dimigrasikan ke database tujuan. Contoh operasi tersebut termasuk pemulihan data menggunakan backup fisik dan operasi kaskade.

    Catatan

    Jika hal ini terjadi, Anda dapat melakukan migrasi data penuh lagi ketika bisnis Anda mengizinkan.

Batasan lainnya

  • DTS tidak mendukung migrasi node read-only dari instans sumber PolarDB for MySQL.

  • DTS tidak mendukung migrasi tabel eksternal OSS dari instans sumber PolarDB for MySQL.

  • DTS tidak mendukung skenario alih bencana primary/standby untuk instans database selama migrasi data penuh. Dalam skenario tersebut, konfigurasi ulang tugas migrasi sesegera mungkin.

  • Data hanya dapat dimigrasikan ke tabel yang menggunakan engine Unique atau Duplicate di database Doris. Jika tabel tujuan menggunakan engine Duplicate, data duplikat mungkin ada di database tujuan dalam kasus berikut. Anda dapat menghapus duplikat berdasarkan kolom tambahan: _is_deleted, _version, dan _record_id.

    • Instans migrasi telah dicoba ulang.

    • Instans migrasi telah di-restart.

    • Setelah instans migrasi dimulai, dua atau lebih operasi DML dilakukan pada catatan data yang sama yang akan dimigrasikan.

      Catatan

      Jika tabel tujuan menggunakan engine Duplicate, DTS mengonversi pernyataan UPDATE atau DELETE menjadi pernyataan INSERT.

  • Saat Anda mengonfigurasi parameter di kotak Selected Objects, saat ini Anda hanya dapat mengatur parameter bucket_count (jumlah bucket).

    Catatan

    Nilai parameter bucket_count hanya boleh berupa bilangan bulat positif. Nilai default-nya adalah auto.

  • Selama migrasi data, jangan membuat kluster baru di database Doris tujuan. Jika tidak, tugas akan gagal. Anda dapat mencoba me-restart instans migrasi untuk memulihkan tugas yang gagal.

  • Database Doris hanya mendukung nama database dan nama tabel yang diawali huruf. Jika nama database atau tabel yang ingin Anda migrasikan tidak diawali huruf, Anda harus menggunakan fitur pemetaan nama objek untuk mengganti nama database atau tabel tersebut.

  • Jika nama objek yang ingin Anda migrasikan, seperti database, tabel, atau kolom, mengandung karakter Tionghoa, Anda harus menggunakan fitur pemetaan nama objek untuk mengganti nama objek tersebut. Misalnya, Anda dapat mengubah nama dari bahasa Tionghoa ke bahasa Inggris. Jika tidak, tugas mungkin gagal.

  • Anda tidak dapat memigrasikan operasi DDL yang memodifikasi beberapa kolom sekaligus atau operasi DDL yang terus-menerus memodifikasi tabel yang sama.

  • Selama migrasi data, jangan menambahkan node Backend (BE) ke database Doris. Jika tidak, tugas akan gagal. Anda dapat mencoba me-restart instans migrasi untuk memulihkan tugas yang gagal.

  • Dalam skenario penggabungan multi-tabel, di mana data dari beberapa tabel sumber dimigrasikan ke satu tabel tujuan, pastikan tabel sumber memiliki skema yang sama. Jika tidak, inkonsistensi data atau kegagalan tugas mungkin terjadi.

  • Di PolarDB for MySQL, M pada tipe data VARCHAR(M) merepresentasikan panjang karakter. Di Doris, N pada tipe data VARCHAR(N) merepresentasikan panjang byte. Jika Anda tidak menggunakan fitur migrasi skema yang disediakan oleh DTS, kami menyarankan Anda mengatur panjang bidang VARCHAR di Doris menjadi empat kali panjang bidang VARCHAR di MySQL.

  • Saat Anda melakukan perubahan DDL online pada sumber menggunakan DMS atau tool gh-ost, DTS hanya memigrasikan pernyataan DDL aslinya ke tujuan. Dalam skenario ini, DTS tidak perlu memigrasikan data tabel sementara dalam jumlah besar, tetapi hal ini dapat menyebabkan tabel terkunci di tujuan.

    Catatan

    Migrasi perubahan DDL online yang dilakukan menggunakan tool seperti pt-online-schema-change pada sumber tidak didukung. Jika perubahan semacam itu ada di sumber, hal ini dapat menyebabkan kehilangan data di tujuan atau kegagalan instans migrasi.

  • Selama migrasi data penuh, DTS menggunakan resource baca dan tulis dari database sumber dan tujuan. Hal ini dapat meningkatkan beban server database. Sebelum memigrasikan data, evaluasi dampak migrasi data terhadap performa database sumber dan tujuan. Kami menyarankan Anda melakukan migrasi data pada jam sepi, misalnya ketika beban CPU database sumber dan tujuan kurang dari 30%.

  • Selama migrasi data penuh, operasi INSERT konkuren menyebabkan fragmentasi pada tabel database tujuan. Setelah migrasi data penuh selesai, ukuran ruang tabel yang digunakan di database tujuan lebih besar daripada di database sumber.

  • Selama migrasi data, jangan gunakan tool seperti pt-online-schema-change untuk melakukan operasi DDL online pada objek yang akan dimigrasikan dari database sumber. Jika tidak, tugas migrasi data akan gagal.

  • Inkonsistensi data antara database sumber dan tujuan dapat terjadi jika data dari sumber lain ditulis ke database tujuan selama migrasi data.

  • DTS secara berkala menjalankan perintah CREATE DATABASE IF NOT EXISTS `test` pada database sumber untuk memajukan offset log biner.

  • Jika sebuah instans gagal, helpdesk DTS akan mencoba memulihkan instans tersebut dalam waktu 8 jam. Selama proses pemulihan, operasi seperti me-restart instans atau menyesuaikan parameternya mungkin dilakukan.

    Catatan

    Saat parameter disesuaikan, hanya parameter instans DTS yang dimodifikasi. Parameter di dalam database tidak dimodifikasi. Parameter yang mungkin dimodifikasi mencakup tetapi tidak terbatas pada yang dijelaskan dalam Modifikasi parameter instans.

Penagihan

Jenis migrasi

Biaya Konfigurasi Link

Biaya transfer data

Migrasi skema dan migrasi data penuh

Gratis.

Contoh ini gratis.

Catatan

Saat Access Method database tujuan diatur ke Public IP Address, Anda akan dikenai biaya transfer data. Untuk informasi selengkapnya, lihat Ikhtisar penagihan.

Migrasi data inkremental

Dikenai biaya. Untuk informasi selengkapnya, lihat Ikhtisar penagihan.

Operasi SQL yang mendukung migrasi inkremental

Jenis operasi

Pernyataan SQL

DML

INSERT, UPDATE, dan DELETE

DDL

  • ADD COLUMN

  • MODIFY COLUMN

  • CHANGE COLUMN

  • DROP COLUMN dan DROP TABLE

  • TRUNCATE TABLE

  • RENAME TABLE

    Penting

    Operasi RENAME TABLE dapat menyebabkan inkonsistensi data antara database sumber dan tujuan. Misalnya, jika Anda memilih sebuah tabel sebagai objek yang akan dimigrasikan dan mengganti nama tabel tersebut selama migrasi data, data tabel tersebut tidak akan dimigrasikan ke database tujuan. Untuk mencegah situasi ini, Anda dapat memilih database tempat tabel tersebut berada sebagai objek yang akan dimigrasikan saat mengonfigurasi tugas migrasi data. Pastikan database tempat tabel tersebut berada sebelum dan sesudah operasi RENAME TABLE ditambahkan ke objek yang akan dimigrasikan.

Izin yang diperlukan untuk akun database

Database

Migrasi skema

Migrasi penuh

Migrasi inkremental

Kluster sumber PolarDB for MySQL

Izin SELECT

Izin SELECT

Izin baca dan tulis

Database Doris tujuan

Izin akses (Usage_priv) dan izin baca/tulis (Select_priv, Load_priv, Alter_priv, Create_priv, dan Drop_priv) pada database

Buat dan otorisasi akun database:

Prosedur

  1. Gunakan salah satu metode berikut untuk membuka halaman Migrasi Data dan pilih wilayah tempat instans migrasi data berada.

    Konsol DTS

    1. Masuk ke Konsol DTS.

    2. Di panel navigasi sebelah kiri, klik Data Migration.

    3. Di pojok kiri atas halaman, pilih wilayah tempat instans migrasi data berada.

    Konsol DMS

    Catatan

    Operasi aktual dapat berbeda tergantung pada mode dan tata letak konsol DMS. Untuk informasi selengkapnya, lihat Mode sederhana dan Sesuaikan tata letak dan gaya konsol DMS.

    1. Masuk ke Konsol DMS.

    2. Di bilah navigasi atas, arahkan pointer ke Data + AI > DTS (DTS) > Data Migration.

    3. Dari daftar drop-down di sebelah kanan Data Migration Tasks, pilih wilayah tempat instans sinkronisasi data berada.

  2. Klik Create Task untuk membuka halaman konfigurasi tugas.

  3. Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter-parameter tersebut.

    Kategori

    Konfigurasi

    Deskripsi

    N/A

    Task Name

    Nama task DTS. DTS secara otomatis menghasilkan nama task. Kami menyarankan Anda menentukan nama yang informatif agar task mudah diidentifikasi. Anda tidak perlu menentukan nama task yang unik.

    Source Database

    Select Existing Connection

    • Jika Anda menggunakan instans database yang telah terdaftar di DTS, pilih instans tersebut dari daftar drop-down. DTS akan secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi selengkapnya, lihat Manage database connections.

      Catatan

      Di Konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance.

    • Jika Anda gagal mendaftarkan instans ke DTS atau tidak ingin menggunakan instans yang telah terdaftar di DTS, Anda harus mengonfigurasi informasi database berikut.

    Database Type

    Pilih PolarDB for MySQL.

    Access Method

    Pilih Alibaba Cloud Instance.

    Instance Region

    Pilih wilayah tempat kluster PolarDB for MySQL sumber berada.

    Replicate Data Across Alibaba Cloud Accounts

    Pada contoh ini, digunakan instans database dari Akun Alibaba Cloud saat ini. Pilih No.

    PolarDB Cluster ID

    Pilih ID kluster PolarDB for MySQL sumber.

    Database Account

    Masukkan akun database kluster PolarDB for MySQL sumber. Untuk informasi selengkapnya mengenai izin yang diperlukan, lihat Permissions required for database accounts.

    Database Password

    Password yang digunakan untuk mengakses instans database.

    Encryption

    Pilih metode koneksi sesuai kebutuhan. Untuk informasi selengkapnya mengenai enkripsi SSL, lihat Set SSL encryption.

    Destination Database

    Select Existing Connection

    • Jika Anda menggunakan instans database yang telah terdaftar di DTS, pilih instans tersebut dari daftar drop-down. DTS akan secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi selengkapnya, lihat Manage database connections.

      Catatan

      Di Konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance.

    • Jika Anda gagal mendaftarkan instans ke DTS atau tidak ingin menggunakan instans yang telah terdaftar di DTS, Anda harus mengonfigurasi informasi database berikut.

    Database Type

    Pilih Doris.

    Access Method

    Pilih jenis koneksi berdasarkan lokasi penerapan database tujuan. Pada contoh ini, pilih Self-managed Database on ECS.

    Catatan

    Jika Anda menghubungkan ke database yang dikelola sendiri menggunakan jenis koneksi lain, Anda juga harus melakukan persiapan tambahan. Untuk informasi selengkapnya, lihat Preparations.

    Instance Region

    Pilih wilayah tempat database Doris tujuan berada.

    ECS Instance ID

    Pilih ID Instance ECS tempat database Doris tujuan diterapkan.

    Catatan

    Jika database Doris tujuan diterapkan pada multiple Instance ECS (misalnya, node BE atau FE diterapkan pada Instance ECS lain), Anda harus menambahkan secara manual blok CIDR server DTS ke aturan keamanan setiap Instance ECS tempat node tersebut diterapkan.

    Port Number

    Masukkan port layanan database Doris tujuan. Nilai default-nya adalah 9030.

    Database Account

    Masukkan akun database Doris tujuan. Untuk informasi selengkapnya mengenai izin yang diperlukan, lihat Permissions required for database accounts.

    Database Password

    Password yang digunakan untuk mengakses instans database.

  4. Di bagian bawah halaman, klik Test Connectivity and Proceed, lalu klik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers yang muncul.

    Catatan

    Pastikan blok CIDR server DTS dapat ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan untuk mengizinkan akses dari server DTS. Untuk informasi selengkapnya, lihat Tambahkan alamat IP server DTS ke daftar putih.

  5. Konfigurasikan objek yang akan dimigrasikan.

    1. Di halaman Configure Objects, konfigurasikan objek yang ingin Anda migrasikan.

      Konfigurasi

      Deskripsi

      Migration Types

      • Untuk melakukan migrasi data penuh saja, pilih Schema Migration dan Full Data Migration.

      • Untuk memastikan kelangsungan layanan selama migrasi data, pilih Schema Migration, Full Data Migration, dan Incremental Data Migration.

      Penting
      • Setelah Anda memigrasikan data dari kluster PolarDB for MySQL ke database Doris, tipe data akan dikonversi. Jika Anda tidak memilih Schema Migration, Anda harus membuat tabel yang menggunakan model Unique Key atau Duplicate Key di database Doris tujuan sebelum migrasi data. Untuk informasi selengkapnya, lihat bagian Pemetaan tipe data dan Informasi kolom tambahan dalam topik ini serta Model Unique Key.

      • Untuk memastikan konsistensi data, jangan menulis data ke instans sumber selama migrasi data jika Incremental Data Migration tidak dipilih.

      Processing Mode of Conflicting Tables

      • Precheck and Report Errors: Memeriksa apakah tabel dengan nama yang sama sudah ada di database target. Jika tidak ada tabel dengan nama yang sama, item pemeriksaan ini lolos. Jika ada tabel dengan nama yang sama, kesalahan akan dilaporkan selama fase pemeriksaan awal dan tugas migrasi data tidak akan dimulai.

        Catatan

        Jika Anda tidak dapat menghapus atau mengganti nama tabel dengan nama yang sama di database tujuan, Anda dapat mengubah nama tabel di database tujuan. Untuk informasi selengkapnya, lihat Petakan nama tabel dan kolom.

      • Ignore Errors and Proceed: Melewati pemeriksaan apakah tabel dengan nama yang sama sudah ada di database target.

        Peringatan

        Memilih Ignore Errors and Proceed dapat menyebabkan inkonsistensi data dan menimbulkan risiko bagi bisnis Anda. Misalnya:

        • Jika skema tabel konsisten dan DTS menemukan catatan di database tujuan yang memiliki nilai primary key yang sama dengan catatan di database sumber, DTS tidak menyimpan catatan di kluster tujuan. Catatan dari database sumber akan menimpa catatan di database tujuan.

        • Jika skema tabel tidak konsisten, hanya data dari beberapa kolom yang mungkin dimigrasikan, atau migrasi dapat gagal. Lakukan dengan hati-hati.

      Capitalization of Object Names in Destination Instance

      Huruf kapital untuk nama database, nama tabel, dan nama kolom di instans tujuan. Secara default, DTS default policy dipilih. Anda dapat memilih opsi lain untuk memastikan huruf kapital nama objek konsisten dengan database sumber atau tujuan. Untuk informasi selengkapnya, lihat Tentukan huruf kapital nama objek di instans tujuan.

      Source Objects

      Pilih satu atau beberapa objek dari bagian Source Objects. Klik ikon 向右小箭头 untuk menambahkan objek ke bagian Selected Objects.

      Catatan

      Anda dapat memilih database atau tabel sebagai objek yang akan dimigrasikan.

      Selected Objects

      • Untuk mengganti nama objek migrasi di instans tujuan, klik kanan objek migrasi di Selected Objects. Untuk informasi selengkapnya, lihat Pemetaan skema, nama tabel, dan nama kolom.

      • Jika Migration Types diatur ke Schema Migration, objek dipilih pada granularitas tabel, dan Anda perlu mengatur jumlah bucketing (parameter bucket_count), klik kanan tabel yang akan dimigrasikan di daftar Selected Objects. Di area Parameter Settings, atur Enable Parameter Settings ke Yes, atur Value sesuai kebutuhan, lalu klik OK.

      Catatan
      • Untuk memilih operasi SQL untuk migrasi inkremental pada tingkat database atau tabel, klik kanan objek yang akan dimigrasikan di Selected Objects dan pilih operasi SQL yang diinginkan di kotak dialog yang muncul.

      • Untuk mengatur kondisi WHERE untuk memfilter data, klik kanan tabel yang akan dimigrasikan di bagian Selected Objects dan atur kondisi filter di kotak dialog yang muncul. Untuk informasi selengkapnya, lihat Atur kondisi filter.

      • Jika Anda menggunakan fitur pemetaan nama objek, migrasi objek lain yang bergantung pada objek yang dipetakan mungkin gagal.

    2. Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.

      Konfigurasi

      Deskripsi

      Dedicated Cluster for Task Scheduling

      Secara default, DTS menjadwalkan tugas migrasi data ke kluster bersama jika Anda tidak menentukan kluster khusus. Jika Anda ingin meningkatkan stabilitas tugas migrasi data, beli kluster khusus. Untuk informasi selengkapnya, lihat Apa itu kluster khusus DTS.

      Retry Time for Failed Connections

      Rentang waktu percobaan ulang untuk koneksi yang gagal. Jika database sumber atau tujuan gagal terhubung setelah tugas migrasi data dimulai, DTS segera mencoba menghubungkan kembali dalam rentang waktu percobaan ulang. Nilai valid: 10 hingga 1.440. Satuan: menit. Nilai default: 720. Kami menyarankan Anda mengatur parameter ini ke nilai lebih dari 30. Jika DTS berhasil terhubung kembali ke database sumber dan tujuan dalam rentang waktu percobaan ulang yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal.

      Catatan
      • Jika Anda menentukan rentang waktu percobaan ulang yang berbeda untuk beberapa tugas migrasi data yang berbagi database sumber atau tujuan yang sama, nilai yang ditentukan terakhir akan menggantikan nilai sebelumnya.

      • Saat DTS mencoba menghubungkan kembali, Anda dikenai biaya untuk instans DTS. Kami menyarankan Anda menentukan rentang waktu percobaan ulang berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepaskan instans DTS sesegera mungkin setelah database sumber dan instans tujuan dilepas.

      Retry Time for Other Issues

      Rentang waktu percobaan ulang untuk masalah lainnya. Misalnya, jika operasi DDL atau DML gagal dilakukan setelah tugas migrasi data dimulai, DTS segera mencoba mengulang operasi tersebut dalam rentang waktu percobaan ulang. Nilai valid: 1 hingga 1.440. Satuan: menit. Nilai default: 10. Kami menyarankan Anda mengatur parameter ini ke nilai lebih dari 10. Jika operasi yang gagal berhasil dilakukan dalam rentang waktu percobaan ulang yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal.

      Penting

      Nilai parameter Retry Time for Other Issues harus lebih kecil daripada nilai parameter Retry Time for Failed Connections.

      Enable Throttling for Full Data Migration

      Menentukan apakah akan mengaktifkan pembatasan kecepatan untuk migrasi data penuh. Selama migrasi data penuh, DTS menggunakan resource baca dan tulis dari database sumber dan tujuan. Hal ini dapat meningkatkan beban server database. Anda dapat mengaktifkan pembatasan kecepatan untuk migrasi data penuh berdasarkan kebutuhan bisnis Anda. Untuk mengonfigurasi pembatasan kecepatan, Anda harus mengonfigurasi parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s). Hal ini mengurangi beban server database tujuan.

      Catatan

      Anda dapat mengonfigurasi parameter ini hanya jika Anda memilih Full Data Migration untuk parameter Migration Types.

      Enable Throttling for Incremental Data Migration

      Menentukan apakah akan mengaktifkan pembatasan kecepatan untuk migrasi data inkremental. Untuk mengonfigurasi pembatasan kecepatan, Anda harus mengonfigurasi parameter RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s). Hal ini mengurangi beban server database tujuan.

      Catatan

      Anda dapat mengonfigurasi parameter ini hanya jika Anda memilih Incremental Data Migration untuk parameter Migration Types.

      Whether to delete SQL operations on heartbeat tables of forward and reverse tasks

      Berdasarkan kebutuhan bisnis Anda, pilih apakah akan menulis informasi SQL heartbeat ke database sumber saat instans DTS berjalan.

      • Yes: Informasi SQL heartbeat tidak ditulis ke database sumber. Hal ini dapat menyebabkan instans DTS melaporkan keterlambatan.

      • No: Menulis informasi SQL heartbeat ke database sumber, yang dapat mengganggu fitur seperti backup fisik dan kloning database sumber.

      Environment Tag

      Anda dapat memilih tag lingkungan untuk mengidentifikasi instans sesuai kebutuhan. Dalam contoh ini, Anda tidak perlu memilih tag.

      Configure ETL

      Menentukan apakah akan mengaktifkan fitur ekstrak, transformasi, muat (ETL). Untuk informasi selengkapnya, lihat Apa itu ETL? Nilai valid:

      Monitoring and Alerting

      Menentukan apakah akan mengonfigurasi peringatan untuk tugas migrasi data. Jika tugas gagal atau latensi migrasi melebihi ambang batas yang ditentukan, kontak peringatan akan menerima notifikasi. Nilai valid:

      • No: tidak mengonfigurasi peringatan.

      • Yes: mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan pengaturan notifikasi peringatan. Untuk informasi selengkapnya, lihat bagian Konfigurasikan pemantauan dan peringatan saat membuat tugas DTS dalam topik Konfigurasikan pemantauan dan peringatan.

    3. Opsional: Setelah menyelesaikan konfigurasi di atas, klik Next: Configure Database and Table Fields untuk mengatur Primary Key Column, Distribution Key, dan Engine untuk tabel tujuan.

      Catatan
      • Langkah ini tersedia hanya jika Anda memilih Schema Migration untuk Migration Types selama konfigurasi objek tugas. Anda kemudian dapat memilih All untuk Definition Status untuk melakukan modifikasi.

      • Primary Key Column dapat berupa primary key komposit yang terdiri dari beberapa kolom. Anda harus memilih satu atau beberapa kolom dari Primary Key Column sebagai Distribution Key.

      • Jika sebuah tabel tidak memiliki primary key maupun kendala UNIQUE, Anda harus mengatur Engine ke duplicate. Jika tidak, hal ini dapat menyebabkan kegagalan instans atau kehilangan data.

  6. Simpan pengaturan tugas dan jalankan pemeriksaan awal.

    • Untuk melihat parameter yang perlu ditentukan saat Anda memanggil operasi API terkait untuk mengonfigurasi tugas DTS, arahkan pointer ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.

    • Jika Anda tidak perlu melihat atau telah melihat parameter tersebut, klik Next: Save Task Settings and Precheck di bagian bawah halaman.

    Catatan
    • Sebelum Anda dapat memulai tugas migrasi data, DTS melakukan pemeriksaan awal. Anda hanya dapat memulai tugas migrasi data setelah tugas tersebut lolos pemeriksaan awal.

    • Jika tugas gagal lolos pemeriksaan awal, klik View Details di sebelah setiap item yang gagal. Setelah menganalisis penyebab berdasarkan hasil pemeriksaan, atasi masalah tersebut. Kemudian, jalankan pemeriksaan awal lagi.

    • Jika peringatan dipicu untuk suatu item selama pemeriksaan awal:

      • Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan atasi masalah tersebut. Kemudian, jalankan pemeriksaan awal lagi.

      • Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog View Details, klik Ignore. Di pesan yang muncul, klik OK. Kemudian, klik Precheck Again untuk menjalankan pemeriksaan awal lagi. Jika Anda mengabaikan item peringatan, inkonsistensi data dapat terjadi, dan bisnis Anda mungkin terpapar risiko potensial.

  7. Beli instance.

    1. Tunggu hingga Success Rate menjadi 100%. Lalu, klik Next: Purchase Instance.

    2. Di halaman Purchase Instance, konfigurasikan parameter Instance Class untuk instans migrasi data. Tabel berikut menjelaskan parameter-parameter tersebut.

      Bagian

      Parameter

      Deskripsi

      New Instance Class

      Resource Group

      Kelompok sumber daya tempat instans migrasi data berada. Nilai default: default resource group. Untuk informasi selengkapnya, lihat Apa itu Resource Management?

      Instance Class

      DTS menyediakan kelas instans dengan kecepatan migrasi yang berbeda-beda. Anda dapat memilih kelas instans berdasarkan skenario bisnis Anda. Untuk informasi selengkapnya, lihat Kelas instans untuk instans migrasi data.

    3. Baca dan setujui Data Transmission Service (Pay-as-you-go) Service Terms dengan memilih kotak centang.

    4. Klik Buy and Start. Pada pesan yang muncul, klik OK.

      Anda dapat melihat progres tugas di halaman Data Migration.

      Catatan
      • Jika tugas migrasi data tidak dapat digunakan untuk memigrasikan data inkremental, tugas tersebut akan berhenti secara otomatis. Completed akan ditampilkan di bagian Status .

      • Jika tugas migrasi data dapat digunakan untuk memigrasikan data inkremental, tugas tersebut tidak akan berhenti secara otomatis. Tugas migrasi data inkremental tidak pernah berhenti atau selesai. Running akan ditampilkan di bagian Status.

Pemetaan tipe data

Kategori

Tipe data di PolarDB for MySQL

Tipe data di Doris

Numerik

TINYINT

TINYINT

TINYINT UNSIGNED

SMALLINT

SMALLINT

SMALLINT

SMALLINT UNSIGNED

INT

MEDIUMINT

INT

MEDIUMINT UNSIGNED

BIGINT

INT

INT

INT UNSIGNED

BIGINT

BIGINT

BIGINT

BIGINT UNSIGNED

LARGEINT

BIT(M)

INT

Decimal

Decimal

Catatan

ZEROFILL tidak didukung.

Numeric

Decimal

Float

Float

Double

DOUBLE

  • BOOL

  • BOOLEAN

BOOLEAN

TANGGAL DAN WAKTU

DATE

DATEV2

DATETIME[(fsp)]

DATETIMEV2

Timestamp[(fsp)]

DATETIMEV2

Time[(fsp)]

VARCHAR

YEAR[(4)]

INT

STRING

  • CHAR

  • VARCHAR

VARCHAR

Penting

Untuk menghindari kehilangan data, data tipe CHAR dan VARCHAR(n) dikonversi menjadi VARCHAR(4*n) setelah dimigrasikan ke database Doris tujuan.

  • Jika Anda tidak menentukan panjang data, nilai default VARCHAR(65533) digunakan.

  • Data dengan panjang lebih dari 65.533 karakter dikonversi menjadi tipe STRING setelah dimigrasikan ke database Doris tujuan.

  • BINARY

  • VARBINARY

STRING

  • TINYTEXT

  • TEXT

  • MEDIUMTEXT

  • LONGTEXT

STRING

  • TINYBLOB

  • BLOB

  • MEDIUMBOLB

  • LONGBLOB

STRING

ENUM

STRING

SET

STRING

JSON

STRING

Informasi kolom tambahan

Catatan

Tabel berikut menjelaskan kolom tambahan yang secara otomatis ditambahkan oleh DTS atau yang harus Anda tambahkan secara manual ke tabel tujuan yang menggunakan model Duplicate.

Nama

Tipe data

Nilai default

Deskripsi

_is_deleted

Int

0

Menunjukkan apakah data dihapus.

  • Insert: Nilainya 0.

  • Update: Nilainya 0.

  • Delete: Nilainya 1.

_version

Bigint

0

  • Untuk migrasi data penuh: Nilainya 0.

  • Untuk migrasi data inkremental: Nilainya adalah timestamp yang sesuai (dalam detik) di log biner database sumber.

_record_id

Bigint

0

  • Untuk migrasi data penuh: Nilainya 0.

  • Untuk migrasi data inkremental: Nilainya adalah ID catatan di log inkremental. ID ini secara unik mengidentifikasi log tersebut.

    Catatan

    Nilai ID bersifat unik dan bertambah.