Topik ini menjelaskan cara menyinkronkan data dari database logika yang dikonfigurasi di Data Management (DMS) ke AnalyticDB for MySQL klaster V3.0 menggunakan Data Transmission Service (DTS). Setelah sinkronisasi, Anda dapat memanfaatkan AnalyticDB for MySQL untuk membangun sistem business intelligence (BI) internal, sistem kueri interaktif, dan sistem pelaporan waktu nyata.
Prasyarat
Database logika telah dikonfigurasikan di DMS. Database logika dibuat berdasarkan shard database dari beberapa klaster PolarDB for MySQL. Untuk informasi lebih lanjut, lihat Database Logika.
Klaster PolarDB for MySQL yang menampung database fisik DMS berada di wilayah yang sama dan menggunakan akun database serta kata sandi yang sama. Akun database memiliki izin baca pada database fisik. Untuk informasi lebih lanjut, lihat Buat dan Kelola Akun Database.
Klaster tujuan AnalyticDB for MySQL V3.0 telah dibuat. Untuk informasi lebih lanjut, lihat Buat Klaster.
Ruang penyimpanan yang tersedia di klaster AnalyticDB for MySQL V3.0 lebih besar daripada total ukuran data di database logika DMS.
Batasan
Selama sinkronisasi skema, DTS tidak menyinkronkan kunci asing dari database sumber ke database tujuan.
Selama sinkronisasi data penuh dan inkremental, DTS untuk sementara menonaktifkan pemeriksaan kendala dan operasi kaskade pada kunci asing di tingkat sesi. Jika Anda melakukan operasi pembaruan atau penghapusan kaskade pada database sumber selama sinkronisasi data, ketidaksesuaian data mungkin terjadi.
Kategori | Deskripsi |
Batasan pada database sumber |
|
Batasan lainnya |
|
Penagihan
| Jenis Sinkronisasi | Biaya Konfigurasi Tugas |
| Sinkronisasi skema dan data penuh | Gratis. |
| Sinkronisasi data inkremental | Dikenakan biaya. Untuk informasi lebih lanjut, lihat Ikhtisar Penagihan. |
Topologi sinkronisasi yang didukung
Sinkronisasi satu arah satu-ke-satu
Sinkronisasi satu arah satu-ke-banyak
Sinkronisasi satu arah banyak-ke-satu
Untuk informasi lebih lanjut tentang topologi sinkronisasi yang didukung oleh DTS, lihat Topologi Sinkronisasi.
Operasi SQL yang dapat disinkronkan
Jenis Operasi | Pernyataan SQL |
DML | INSERT, UPDATE, dan DELETE Catatan Saat data ditulis ke AnalyticDB for MySQL klaster V3.0 tujuan, pernyataan UPDATE secara otomatis diubah menjadi pernyataan REPLACE INTO. Jika pernyataan UPDATE dijalankan pada primary key, pernyataan UPDATE diubah menjadi pernyataan DELETE dan INSERT. |
Prosedur
-
Gunakan salah satu metode berikut untuk membuka halaman Sinkronisasi Data dan pilih wilayah tempat instance sinkronisasi data berada.
Konsol DTS
-
Masuk ke Konsol DTS.
-
Di panel navigasi sisi kiri, klik Data Synchronization.
-
Di pojok kiri atas halaman, pilih wilayah tempat tugas sinkronisasi data berada.
Konsol DMS
CatatanOperasi aktual mungkin bervariasi tergantung pada mode dan tata letak Konsol DMS. Untuk informasi lebih lanjut, lihat Mode Sederhana dan Sesuaikan Tata Letak dan Gaya Konsol DMS.
-
Masuk ke Konsol DMS.
-
Di bilah navigasi atas, gerakkan pointer di atas Data + AI dan pilih .
-
Dari daftar drop-down di sebelah kanan Data Synchronization Tasks, pilih wilayah tempat instance sinkronisasi data berada.
-
-
Klik Create Task untuk membuka halaman konfigurasi tugas.
-
Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter.
PeringatanSetelah mengonfigurasi database sumber dan tujuan, kami sarankan Anda membaca Limits yang ditampilkan di halaman. Jika tidak, tugas mungkin gagal atau ketidaksesuaian data dapat terjadi.
Bagian
Parameter
Deskripsi
N/A
Task Name
Nama tugas DTS. DTS secara otomatis menghasilkan nama tugas. Kami sarankan Anda menentukan nama deskriptif yang memudahkan identifikasi tugas. Anda tidak perlu menentukan nama tugas yang unik.
Source Database
Database Type
Jenis database sumber. Pilih DMS LogicDB.
Connection Type
Metode akses database sumber. Pilih Alibaba Cloud Instance.
Instance Region
Wilayah tempat database logika DMS berada.
Database Account
Akun dan kata sandi database yang dibagikan oleh klaster PolarDB for MySQL yang menampung database fisik DMS. Akun database harus memiliki izin baca pada database fisik. Untuk informasi lebih lanjut, lihat Buat dan kelola akun database.
Database Password
Kata sandi yang digunakan untuk mengakses database.
Destination Database
Database Type
Jenis database tujuan. Pilih AnalyticDB for MySQL 3.0.
Connection Type
Metode akses database tujuan. Pilih Alibaba Cloud Instance.
Instance Region
Wilayah tempat klaster tujuan AnalyticDB for MySQL V3.0 berada.
Instance ID
ID klaster tujuan AnalyticDB for MySQL V3.0.
Database Account
Akun database klaster tujuan AnalyticDB for MySQL V3.0. Akun tersebut harus memiliki izin baca dan tulis pada database tujuan.
Database Password
Kata sandi yang digunakan untuk mengakses database.
-
Di bagian bawah halaman, klik Test Connectivity and Proceed.
CatatanPastikan blok CIDR server DTS dapat ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan untuk mengizinkan akses dari server DTS. Untuk informasi lebih lanjut, lihat Tambahkan Blok CIDR Server DTS.
-
Konfigurasikan objek yang akan disinkronkan.
-
Di langkah Configure Objects, konfigurasikan objek yang ingin Anda sinkronkan.
Parameter
Deskripsi
Synchronization Types
Jenis sinkronisasi. Secara default, Incremental Data Synchronization dipilih. Anda juga harus memilih Schema Synchronization dan Full Data Synchronization. Setelah pra-pemeriksaan selesai, DTS menyinkronkan data historis objek yang dipilih dari database sumber ke klaster tujuan. Data historis ini menjadi dasar untuk sinkronisasi inkremental selanjutnya.
CatatanJika Full Data Synchronization dipilih, Anda dapat menyinkronkan skema dan data tabel yang dibuat dengan menjalankan pernyataan CREATE TABLE ke database tujuan.
Processing Mode of Conflicting Tables
Precheck and Report Errors: memeriksa apakah database tujuan berisi tabel yang memiliki nama yang sama dengan tabel di database sumber. Jika database sumber dan tujuan tidak berisi tabel dengan nama identik, pra-pemeriksaan berhasil. Jika tidak, kesalahan dilaporkan selama pra-pemeriksaan, dan tugas sinkronisasi data tidak dapat dimulai.
CatatanJika database sumber dan tujuan berisi tabel dengan nama identik dan tabel di database tujuan tidak dapat dihapus atau diganti namanya, Anda dapat menggunakan fitur pemetaan nama objek untuk mengganti nama tabel yang disinkronkan ke database tujuan. Untuk informasi lebih lanjut, lihat Petakan nama objek.
Ignore Errors and Proceed: melewati pra-pemeriksaan untuk nama tabel identik di database sumber dan tujuan.
PeringatanJika Anda memilih Ignore Errors and Proceed, ketidaksesuaian data mungkin terjadi dan bisnis Anda mungkin terpapar risiko potensial.
Jika database sumber dan tujuan memiliki skema yang sama dan catatan data di database tujuan memiliki nilai primary key atau unique key yang sama dengan catatan data di database sumber:
Selama sinkronisasi data penuh, DTS tidak menyinkronkan catatan data ke database tujuan. Catatan data yang ada di database tujuan dipertahankan.
Selama sinkronisasi data inkremental, DTS menyinkronkan catatan data ke database tujuan. Catatan data yang ada di database tujuan ditimpa.
Jika database sumber dan tujuan memiliki skema yang berbeda, data mungkin gagal diinisialisasi. Dalam hal ini, hanya beberapa kolom yang disinkronkan, atau instance sinkronisasi data gagal. Lanjutkan dengan hati-hati.
Source Objects
Pilih satu atau lebih objek dari bagian Source Objects dan klik ikon
untuk menambahkan objek ke bagian Selected Objects.CatatanAnda dapat memilih kolom, tabel, atau database sebagai objek yang akan disinkronkan. Jika Anda memilih tabel atau kolom sebagai objek yang akan disinkronkan, DTS tidak menyinkronkan objek lainnya, seperti view, trigger, dan prosedur tersimpan, ke database tujuan.
Jika Anda memilih database sebagai objek yang akan disinkronkan, DTS menyinkronkan data berdasarkan aturan default berikut:
Jika tabel yang akan disinkronkan di database sumber memiliki primary key, seperti primary key satu kolom atau primary key komposit, kolom primary key ditentukan sebagai kunci distribusi.
Jika tabel yang akan disinkronkan di database sumber tidak memiliki primary key, kolom primary key auto-increment secara otomatis dibuat di tabel tujuan. Ini dapat menyebabkan ketidaksesuaian data antara database sumber dan tujuan.
Selected Objects
Untuk mengganti nama objek yang ingin Anda sinkronkan ke instance tujuan, klik kanan objek di bagian Selected Objects. Untuk informasi lebih lanjut, lihat bagian "Petakan nama objek tunggal" dari topik Petakan nama objek.
Untuk mengganti nama beberapa objek sekaligus, klik Batch Edit di pojok kanan atas bagian Selected Objects. Untuk informasi lebih lanjut, lihat bagian "Petakan beberapa nama objek sekaligus" dari topik Petakan nama objek.
CatatanUntuk memilih operasi SQL yang dilakukan pada database atau tabel tertentu, klik kanan objek di bagian Selected Objects. Di kotak dialog yang muncul, pilih operasi SQL yang ingin Anda sinkronkan.
Untuk menentukan kondisi WHERE untuk memfilter data, klik kanan objek di bagian Selected Objects. Di kotak dialog yang muncul, tentukan kondisi tersebut. Untuk informasi lebih lanjut, lihat Tentukan kondisi filter.
-
Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.
Parameter
Deskripsi
Dedicated Cluster for Task Scheduling
Secara default, DTS menjadwalkan tugas ke klaster bersama jika Anda tidak menentukan klaster khusus. Jika ingin meningkatkan stabilitas instance sinkronisasi data, belilah klaster khusus. Untuk informasi lebih lanjut, lihat Apa itu Klaster Khusus DTS.
Retry Time for Failed Connections
Rentang waktu ulang untuk koneksi gagal. Jika database sumber atau tujuan gagal terhubung setelah tugas sinkronisasi data dimulai, DTS segera mencoba kembali koneksi dalam rentang waktu tersebut. Nilai valid: 10 hingga 1.440. Unit: menit. Nilai default: 720. Kami sarankan Anda mengatur parameter ini ke nilai lebih besar dari 30. Jika DTS berhasil terhubung kembali ke database sumber dan tujuan dalam rentang waktu yang ditentukan, DTS melanjutkan tugas sinkronisasi data. Jika tidak, tugas sinkronisasi data gagal.
Catatan-
Jika Anda menentukan rentang waktu ulang yang berbeda untuk beberapa tugas sinkronisasi data yang memiliki database sumber atau tujuan yang sama, rentang waktu ulang terpendek yang diambil prioritas.
-
Saat DTS mencoba kembali koneksi, Anda dikenakan biaya untuk instance DTS. Kami sarankan Anda menentukan rentang waktu ulang berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepaskan instance DTS sesegera mungkin setelah instance sumber dan tujuan dilepaskan.
Retry Time for Other Issues
Rentang waktu ulang untuk masalah lainnya. Misalnya, jika operasi DDL atau DML gagal dilakukan setelah tugas sinkronisasi data dimulai, DTS segera mencoba lagi operasi tersebut dalam rentang waktu tersebut. Nilai valid: 1 hingga 1.440. Unit: menit. Nilai default: 10. Kami sarankan Anda mengatur parameter ini ke nilai lebih besar dari 10. Jika operasi yang gagal berhasil dilakukan dalam rentang waktu yang ditentukan, DTS melanjutkan tugas sinkronisasi data. Jika tidak, tugas sinkronisasi data gagal.
PentingNilai parameter Retry Time for Other Issues harus lebih kecil dari nilai parameter Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization
Selama sinkronisasi data penuh, DTS menggunakan sumber daya baca dan tulis dari database sumber dan tujuan. Ini dapat meningkatkan beban pada server database. Anda dapat mengonfigurasi parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s) untuk tugas sinkronisasi data penuh guna mengurangi beban pada server database tujuan.
CatatanAnda hanya dapat mengonfigurasi parameter ini jika Full Data Synchronization dipilih untuk parameter Synchronization Types.
Enable Throttling for Incremental Data Synchronization
Menentukan apakah akan mengaktifkan pembatasan untuk sinkronisasi data inkremental. Anda dapat mengaktifkan pembatasan untuk sinkronisasi data inkremental berdasarkan kebutuhan bisnis Anda. Untuk mengonfigurasi pembatasan, Anda harus mengonfigurasi parameter RPS of Incremental Data Synchronization dan Data synchronization speed for incremental synchronization (MB/s). Ini mengurangi beban pada server database tujuan.
Environment Tag
Tag lingkungan yang digunakan untuk mengidentifikasi instance DTS. Anda dapat memilih tag lingkungan berdasarkan kebutuhan bisnis Anda. Dalam contoh ini, Anda tidak perlu memilih tag lingkungan.
Configure ETL
Menentukan apakah akan mengaktifkan fitur ekstraksi, transformasi, dan pemuatan (ETL). Untuk informasi lebih lanjut, lihat Apa itu ETL? Nilai valid:
-
Yes: mengonfigurasi fitur ETL. Anda dapat memasukkan pernyataan pemrosesan data di editor kode. Untuk informasi lebih lanjut, lihat Configure ETL in a data migration or data synchronization task.
-
No: tidak mengonfigurasi fitur ETL.
Monitoring and Alerting
Menentukan apakah akan mengonfigurasi peringatan untuk instance sinkronisasi data. Jika tugas gagal atau latensi sinkronisasi melebihi ambang batas yang ditentukan, kontak peringatan akan menerima notifikasi. Nilai valid:
-
No: tidak mengaktifkan peringatan.
-
Yes: mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan pengaturan notifikasi peringatan. Untuk informasi lebih lanjut, lihat bagian "Konfigurasi Pemantauan dan Peringatan saat Membuat Tugas DTS" dari topik Konfigurasi Pemantauan dan Peringatan.
-
-
Opsional: Di bagian bawah halaman, klik Next: Configure Database and Table Fields. Di halaman yang muncul, konfigurasikan Type, Primary Key Column, Distribution Key, dan informasi kunci partisi seperti Partition Key, Partitioning Rules, dan Partition Lifecycle untuk tabel yang akan disinkronkan di database tujuan.
Catatan-
Jika Anda mengatur Synchronization Types, Anda hanya dapat melakukan langkah ini jika Anda memilih Schema Synchronization untuk parameter Synchronization Types. Untuk memodifikasi parameter, atur parameter Definition Status ke All.
-
Di bidang Primary Key Column, Anda dapat menentukan beberapa kolom untuk membentuk primary key komposit. Dalam hal ini, Anda harus menentukan satu atau lebih kolom sebagai Distribution Key dan Partition Key. Untuk informasi lebih lanjut, lihat CREATE TABLE.
-
-
-
Simpan pengaturan tugas dan jalankan pra-pemeriksaan.
-
Untuk melihat parameter yang harus ditentukan saat Anda memanggil operasi API terkait untuk mengonfigurasi tugas DTS, gerakkan pointer ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.
-
Jika Anda tidak perlu melihat atau telah melihat parameter, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
Catatan-
Sebelum memulai tugas sinkronisasi data, DTS melakukan pra-pemeriksaan. Anda hanya dapat memulai tugas sinkronisasi data setelah tugas lulus pra-pemeriksaan.
-
Jika tugas sinkronisasi data gagal pra-pemeriksaan, klik View Details di sebelah setiap item yang gagal. Setelah menganalisis penyebab berdasarkan hasil pemeriksaan, perbaiki masalah tersebut. Kemudian, jalankan pra-pemeriksaan lagi.
-
Jika peringatan dipicu untuk suatu item selama pra-pemeriksaan:
-
Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan perbaiki masalah tersebut. Kemudian, jalankan pra-pemeriksaan lagi.
-
Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog Lihat Detail, klik Ignore. Di pesan yang muncul, klik OK. Kemudian, klik Precheck Again untuk menjalankan pra-pemeriksaan lagi. Jika Anda mengabaikan item peringatan, ketidaksesuaian data mungkin terjadi, dan bisnis Anda mungkin terpapar risiko potensial.
-
-
-
Beli instance.
-
Tunggu hingga Success Rate menjadi 100%. Kemudian, klik Next: Purchase Instance.
-
Di halaman buy, konfigurasikan parameter Metode Penagihan dan Kelas Instance untuk tugas sinkronisasi data. Tabel berikut menjelaskan parameter.
Bagian
Parameter
Deskripsi
New Instance Class
Metode Penagihan
Langganan: Anda membayar langganan saat membuat instance sinkronisasi data. Metode penagihan langganan lebih hemat biaya daripada metode penagihan bayar sesuai pemakaian untuk penggunaan jangka panjang.
Bayar sesuai pemakaian: Instance bayar sesuai pemakaian ditagih per jam. Metode penagihan bayar sesuai pemakaian cocok untuk penggunaan jangka pendek. Jika Anda tidak lagi memerlukan instance sinkronisasi data bayar sesuai pemakaian, Anda dapat melepaskan instance tersebut untuk mengurangi biaya.
Pengaturan Grup Sumber Daya
Grup sumber daya tempat instance sinkronisasi data berada. Nilai default: default resource group. Untuk informasi lebih lanjut, lihat Apa itu Resource Management?
Kelas Instance
DTS menyediakan kelas instance yang bervariasi dalam kecepatan sinkronisasi. Anda dapat memilih kelas instance berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Kelas instance instance sinkronisasi data.
Durasi Langganan
Jika Anda memilih metode penagihan langganan, tentukan durasi langganan dan jumlah instance sinkronisasi data yang ingin Anda buat. Durasi langganan bisa satu hingga sembilan bulan, satu tahun, dua tahun, tiga tahun, atau lima tahun.
CatatanParameter ini hanya tersedia jika Anda memilih metode penagihan Subscription.
-
Baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.
-
Klik Buy and Start. Di kotak dialog yang muncul, klik OK.
Anda dapat melihat kemajuan tugas di daftar tugas.
-