Instans primary analitis berbasis DuckDB mendukung fitur-fitur seperti penyimpanan kolom (columnar storage), kompilasi just-in-time (JIT), eksekusi vektorisasi, manajemen memori efisien, dan pemrosesan paralel. Dibandingkan dengan engine InnoDB, performa kueri kompleks meningkat hingga ratusan kali lipat. Anda dapat menggunakan Data Transmission Service (DTS) untuk menyinkronkan skema database dan data dari instans RDS for MySQL ke instans primary analitis berbasis DuckDB, sehingga memungkinkan Anda membangun sistem intelijen bisnis (BI) enterprise, kueri interaktif, dan pelaporan real-time secara cepat.
Cakupan
Instans tujuan primary analitis berbasis DuckDB telah dibuat. Untuk informasi selengkapnya, lihat Buat instans primary analitis berbasis DuckDB.
Pastikan ruang penyimpanan pada instans tujuan primary analitis berbasis DuckDB lebih besar daripada ruang penyimpanan yang digunakan oleh database sumber.
Peringatan
Tabel yang akan disinkronkan pada instans RDS for MySQL harus memiliki primary key.
Ketika DTS melakukan sinkronisasi data penuh awal, sumber daya baca dan tulis pada database sumber dan tujuan akan dikonsumsi, yang dapat meningkatkan beban database. Kami menyarankan agar Anda melakukan sinkronisasi data pada jam sepi, misalnya ketika beban CPU kedua database berada di bawah 30%.
Jangan lakukan operasi DDL Online pada objek sinkronisasi di database sumber menggunakan alat seperti gh-ost atau pt-online-schema-change selama proses sinkronisasi data. Jika dilakukan, sinkronisasi akan gagal.
Karena batasan pada instans primary analitis berbasis DuckDB, kluster akan terkunci jika penggunaan ruang disk suatu node melebihi 80%. Perkirakan ruang yang diperlukan untuk objek yang akan disinkronkan terlebih dahulu dan pastikan kluster tujuan memiliki ruang penyimpanan yang cukup.
Indeks awalan tidak didukung. Jika database sumber memiliki indeks awalan, sinkronisasi data mungkin gagal.
Jika instans tujuan primary analitis berbasis DuckDB sedang dibackup saat tugas DTS sedang berjalan, tugas tersebut akan gagal.
Instans primary analitis berbasis DuckDB tidak dapat digunakan sebagai sumber data untuk sinkronisasi data.
Jika pernyataan
DMLberisiLIMIT, fungsi non-deterministik sepertiUUID(), atau transaksiXA, maka operasi tersebut dianggap sebagai operasiUnsafeuntuk replikasi. Hal ini dapat menyebabkan ketidakkonsistenan data. Hindari penggunaan pernyataan-pernyataan tersebut saat menyinkronkan data ke instans primary analitis berbasis DuckDB.
Penagihan
| Jenis sinkronisasi | Biaya konfigurasi tugas |
| Sinkronisasi skema dan sinkronisasi data penuh | Gratis. |
| Sinkronisasi data inkremental | Dikenai biaya. Untuk informasi selengkapnya, lihat Ikhtisar penagihan. |
Tipe instans sumber yang didukung
Tipe instans berikut didukung untuk database MySQL sumber dalam tugas sinkronisasi data:
RDS for MySQL
Database yang dikelola sendiri pada Instance ECS
Database yang dikelola sendiri di lingkungan on-premises
Topik ini menggunakan RDS for MySQL sebagai contoh untuk menjelaskan prosedur konfigurasi. Prosedurnya serupa jika database sumber adalah database MySQL yang dikelola sendiri.
Jika database sumber Anda adalah database MySQL yang dikelola sendiri, Anda harus melakukan persiapan tambahan. Untuk informasi selengkapnya, lihat Ikhtisar persiapan.
Operasi SQL yang didukung
Operasi DDL: CREATE TABLE, DROP TABLE, RENAME TABLE, TRUNCATE TABLE, ADD COLUMN, DROP COLUMN, dan MODIFY COLUMN
Operasi DML: INSERT, UPDATE, dan DELETE
Anda tidak dapat menentukan
ORDER BYatauLIMITdalam pernyataanUPDATEatauDELETE.Jika Anda mengubah tipe field tabel sumber selama sinkronisasi data, pekerjaan sinkronisasi akan melaporkan error dan berhenti. Anda dapat memperbaiki masalah tersebut secara manual. Untuk informasi selengkapnya, lihat Perbaiki kegagalan sinkronisasi akibat perubahan tipe field.
Izin akun database
Database | Izin yang diperlukan |
RDS MySQL | Kami menyarankan Anda menggunakan akun istimewa. Jika Anda menggunakan akun standar, akun tersebut harus memiliki izin REPLICATION CLIENT, REPLICATION SLAVE, SHOW VIEW, dan SELECT pada semua objek sinkronisasi. |
Instans primary analitis berbasis DuckDB | Kami menyarankan Anda menggunakan akun istimewa. Jika Anda menggunakan akun standar, akun tersebut harus memiliki izin READ dan WRITE. |
Prosedur
Masuk ke Konsol Data Transmission Service. Di panel navigasi sebelah kiri, pilih Data Synchronization. Di bilah navigasi atas, pilih wilayah.
Pada halaman Data Synchronization, klik Create Task untuk membuat tugas sinkronisasi.
Pada halaman , konfigurasikan database sumber dan tujuan untuk tugas sinkronisasi.
Informasi instans sumber
Konfigurasi
Deskripsi
Database Type
Connection Type
Cloud Instance
Instance Region
Wilayah instans sumber yang Anda pilih saat membeli instans sinkronisasi data. Parameter ini tidak dapat diubah.
Cross-account
No cross-account access
Instance ID
Pilih ID instans RDS sumber.
Database Account
Masukkan akun database instans RDS sumber. Untuk informasi tentang izin yang diperlukan, lihat Izin akun database.
Database Password
Masukkan password yang sesuai dengan akun database.
Connection Method
Pilih Unencrypted Connection atau SSL Secure Connection sesuai kebutuhan. Jika Anda memilih SSL Secure Connection, Anda harus mengaktifkan enkripsi Secure Sockets Layer (SSL) untuk instans RDS terlebih dahulu. Untuk informasi selengkapnya, lihat Use a cloud certificate to quickly enable SSL encryption.
PentingSaat ini, hanya wilayah Daratan Tiongkok dan Hong Kong (Tiongkok) yang mendukung pengaturan Connection Method.
Informasi instans tujuan
Konfigurasi
Deskripsi
Database Type
Connection Type
Cloud Instance
Instance Region
Wilayah instans tujuan yang Anda pilih saat membeli instans sinkronisasi data. Parameter ini tidak dapat diubah.
Cross-account
Single account
CatatanTugas sinkronisasi DTS mendukung sinkronisasi dan migrasi data lintas wilayah. Topik ini menggunakan contoh sinkronisasi data antar instans dalam wilayah dan VPC yang sama untuk menjelaskan cara memastikan konsistensi data. Untuk informasi selengkapnya tentang sinkronisasi data, lihat Ikhtisar skenario sinkronisasi data.
RDS Instance ID
ID instans DuckDB.
Database Account
Masukkan akun database instans primary analitis berbasis DuckDB. Untuk informasi tentang izin yang diperlukan, lihat Izin akun database.
Database Password
Masukkan password yang sesuai dengan akun database.
Connection Method
Pilih Unencrypted Connection atau SSL Secure Connection sesuai kebutuhan. Jika Anda memilih SSL Secure Connection, Anda harus mengaktifkan enkripsi SSL untuk instans RDS terlebih dahulu. Untuk informasi selengkapnya, lihat Use a cloud certificate to quickly enable SSL encryption.
PentingSaat ini, hanya wilayah Daratan Tiongkok dan Hong Kong (Tiongkok) yang mendukung pengaturan Connection Method.
Klik Test Connection To Proceed.
Pada kotak dialog Authorize DTS Servers To Access DB, klik Test Connection.
Konfigurasikan objek tugas.
Pada halaman Object Configuration, konfigurasikan objek yang akan disinkronkan.
Konfigurasi
Deskripsi
Synchronization Types
Jika Anda hanya perlu melakukan sinkronisasi penuh, kami menyarankan Anda memilih Schema Synchronization dan Full Synchronization.
Untuk melakukan sinkronisasi tanpa downtime, kami menyarankan Anda memilih Schema Synchronization, Full Synchronization, dan Incremental Synchronization.
CatatanJika Anda tidak memilih Schema Synchronization, pastikan database tujuan sudah berisi database dan tabel yang akan menerima data. Anda kemudian dapat menggunakan fitur pemetaan nama tabel dan kolom di kotak Selected Objects sesuai kebutuhan.
Jika Anda tidak memilih Incremental Synchronization, jangan menulis data baru ke instans sumber selama proses sinkronisasi data untuk memastikan konsistensi data.
Trigger Migration Method For Source Database
Pilih metode untuk memigrasikan trigger sesuai kebutuhan. Jika objek yang akan dimigrasikan tidak melibatkan trigger, Anda tidak perlu mengonfigurasi parameter ini. Untuk informasi selengkapnya, lihat Configure a method to synchronize or migrate triggers.
CatatanAnda hanya dapat mengonfigurasi parameter ini ketika Anda memilih Schema Synchronization untuk Synchronization Types.
Enable Migration Evaluation
Fitur ini mengevaluasi apakah skema database sumber dan tujuan, seperti panjang indeks, prosedur tersimpan, dan tabel dependen, memenuhi persyaratan. Anda dapat memilih Yes atau No sesuai kebutuhan.
CatatanAnda hanya dapat mengonfigurasi parameter ini ketika Anda memilih Schema Synchronization untuk Synchronization Types.
Jika Anda memilih Yes, pemeriksaan awal mungkin memerlukan waktu lebih lama. Anda dapat melihat Evaluation Result selama fase pemeriksaan awal. Hasil evaluasi tidak memengaruhi hasil pemeriksaan awal.
Synchronization Topology
Pilih One-way Synchronization.
Processing Mode For Tables With The Same Name In The Destination Database
Precheck And Report An Error: Memeriksa apakah tabel dengan nama yang sama ada di database tujuan. Jika tidak ada tabel dengan nama yang sama, item pemeriksaan lolos. Jika ada tabel dengan nama yang sama, error dilaporkan selama fase pemeriksaan awal dan tugas sinkronisasi data tidak dimulai.
CatatanJika Anda tidak dapat menghapus atau mengganti nama tabel dengan nama yang sama di database tujuan, Anda dapat mengubah nama tabel di database tujuan. Untuk informasi selengkapnya, lihat Map table and column names.
Ignore And Proceed: Melewati pemeriksaan untuk tabel dengan nama yang sama di database tujuan.
PeringatanJika Anda memilih Ignore And Proceed, ketidakkonsistenan data dapat terjadi, yang berpotensi menimbulkan risiko bagi bisnis Anda. Misalnya:
Jika skema tabel konsisten dan catatan di database tujuan memiliki nilai primary key yang sama dengan catatan di database sumber:
Selama sinkronisasi penuh, DTS mempertahankan catatan di kluster tujuan. Catatan dari database sumber tidak dimigrasikan ke database tujuan.
Selama sinkronisasi inkremental, DTS tidak mempertahankan catatan di kluster tujuan. Catatan dari database sumber akan menimpa catatan di database tujuan.
Jika skema tabel tidak konsisten, hanya data dari beberapa kolom yang mungkin disinkronkan, atau sinkronisasi dapat gagal. Lakukan dengan hati-hati.
Migrate Events
Pilih apakah akan memigrasikan event dari database sumber sesuai kebutuhan. Jika Anda memilih Yes, Anda juga harus mengikuti persyaratan terkait dan melakukan operasi selanjutnya. Untuk informasi selengkapnya, lihat Synchronize or migrate events.
Case-sensitivity For Destination Object Names
Anda dapat mengonfigurasi kebijakan case-sensitivity untuk nama database, tabel, dan kolom yang disinkronkan di instans tujuan. Secara default, DTS Default Policy dipilih. Anda juga dapat memilih untuk menjaga kebijakan konsisten dengan database sumber atau tujuan. Untuk informasi selengkapnya, lihat Case-sensitivity for destination object names.
Source Objects
Di kotak Source Objects, pilih objek yang akan disinkronkan dan klik
untuk memindahkannya ke kotak Selected Objects.CatatanAnda dapat memilih objek pada level database, tabel, dan kolom. Jika Anda memilih tabel atau kolom, objek lain seperti view, trigger, dan prosedur tersimpan tidak akan disinkronkan ke database tujuan.
Selected Objects
Untuk mengubah nama satu objek yang disinkronkan di instans tujuan, klik kanan objek tersebut di kotak Selected Objects. Untuk informasi tentang cara mengatur nama, lihat Map table and column names.
Untuk mengubah nama beberapa objek yang disinkronkan di instans tujuan secara batch, klik Batch Edit di pojok kanan atas kotak Selected Objects. Untuk informasi tentang cara mengatur nama, lihat Map table and column names.
CatatanUntuk memilih operasi SQL yang akan disinkronkan pada level database atau tabel, klik kanan objek di kotak Selected Objects dan pilih operasi SQL yang diinginkan di kotak dialog yang muncul.
Untuk mengatur klausa WHERE guna memfilter data, klik kanan tabel di kotak Selected Objects dan atur kondisi filter di kotak dialog yang muncul. Untuk informasi tentang cara mengatur kondisi filter, lihat Set a filter condition.
Klik Next: Advanced Configuration untuk mengonfigurasi parameter lanjutan.
Dalam contoh ini, konfigurasi default digunakan. Anda juga dapat mengonfigurasi parameter sesuai kebutuhan.
Klik Next: Data Validation untuk mengonfigurasi tugas validasi data.
Untuk menggunakan fitur validasi data, pilih metode validasi data sesuai kebutuhan. Anda dapat mempertahankan konfigurasi default untuk parameter lain atau mengonfigurasinya sesuai kebutuhan. Untuk informasi tentang cara mengonfigurasi parameter, lihat Configure data validation.
CatatanJika Anda memilih validasi skema, proses validasi mungkin melaporkan error "ketidakkonsistenan data" meskipun skema telah disinkronkan. Hal ini disebabkan oleh masalah kompatibilitas historis. Peringatan ini tidak menunjukkan masalah kritis dan tidak memengaruhi hasil sinkronisasi aktual. Untuk menghindari positif palsu, kami menyarankan agar Anda tidak mengaktifkan validasi skema.
Klik Next: Save Task And Precheck untuk melakukan pemeriksaan awal pada tugas sinkronisasi.
Setelah Precheck Passes With A Score Of 100%, klik Next: Purchase.
CatatanPemeriksaan awal dilakukan sebelum pekerjaan sinkronisasi dimulai. Pekerjaan hanya dapat dimulai setelah lolos pemeriksaan awal.
Jika pemeriksaan awal gagal, klik ikon
di sebelah item pemeriksaan yang gagal untuk melihat detailnya.Anda dapat memperbaiki masalah berdasarkan penyebabnya dan menjalankan kembali pemeriksaan awal.
Jika Anda tidak perlu memperbaiki item peringatan, Anda dapat mengklik Confirm To Shield lalu Ignore Alert Items And Rerun Precheck untuk melewati item peringatan dan menjalankan kembali pemeriksaan awal.
Pada halaman Purchase, pilih metode penagihan dan spesifikasi link untuk instans sinkronisasi data. Untuk informasi selengkapnya, lihat tabel berikut.
Kategori
Parameter
Deskripsi
Configuration
Billing Method
Subscription: Anda membayar saat membuat instans. Ini cocok untuk kebutuhan jangka panjang dan lebih hemat biaya dibandingkan pay-as-you-go. Semakin lama durasi langganan, semakin tinggi diskonnya.
Pay-as-you-go: Anda dikenai biaya per jam. Ini cocok untuk kebutuhan jangka pendek. Anda dapat melepaskan instans segera setelah digunakan untuk menghemat biaya.
Resource Group
Kelompok sumber daya tempat instans tersebut berada. Nilai default adalah default resource group. Untuk informasi selengkapnya, lihat What is Resource Management?.
Link Specification
DTS menyediakan spesifikasi sinkronisasi dengan tingkat kinerja berbeda. Spesifikasi link memengaruhi kecepatan sinkronisasi. Anda dapat memilih spesifikasi berdasarkan skenario bisnis Anda. Untuk informasi selengkapnya, lihat Specifications of data synchronization links.
Subscription Duration
Dalam mode langganan, pilih durasi dan jumlah untuk instans langganan. Anda dapat memilih langganan bulanan dari 1 hingga 9 bulan, atau langganan tahunan selama 1, 2, 3, atau 5 tahun.
CatatanOpsi ini hanya tersedia ketika metode penagihan adalah Subscription.
Setelah konfigurasi selesai, baca dan pilih Data Transmission Service (Pay-As-You-Go) Terms Of Service. Klik Purchase And Start, lalu pada kotak dialog Confirm, klik OK.
Setelah pembelian berhasil, Anda akan dikembalikan ke halaman Data Synchronization. Klik ID tugas yang telah Anda buat untuk menuju halaman detail tugas. Di panel navigasi sebelah kiri, klik Task Management untuk melihat progres. Saat status tugas berubah menjadi Synchronizing, data historis telah dimigrasikan dan data inkremental sedang disinkronkan secara real-time.
Perbaiki kegagalan sinkronisasi akibat perubahan tipe field
Jika Anda mengubah tipe field tabel sumber selama sinkronisasi data, pekerjaan sinkronisasi akan melaporkan error dan berhenti. Anda dapat mengikuti langkah-langkah berikut untuk memperbaiki masalah tersebut secara manual.
Di instans tujuan, buat tabel baru B (misalnya, customer_new) berdasarkan tabel A yang gagal (misalnya, customer). Sesuaikan tipe field tabel baru B sesuai kebutuhan.
Jalankan perintah INSERT INTO SELECT untuk menyalin data dari tabel A ke tabel baru B. Pastikan data di kedua tabel konsisten.
Ganti nama atau hapus tabel A yang gagal, lalu ganti nama tabel B menjadi customer.
Di konsol DTS, mulai ulang pekerjaan sinkronisasi data.