Layanan Transmisi Data (DTS) menyinkronkan data dari RDS SQL Server ke AnalyticDB for MySQL, memungkinkan transmisi data yang mudah untuk analitik real-time.
Prasyarat
-
Anda telah membuat instans RDS SQL Server. Untuk versi yang didukung, lihat Ikhtisar sinkronisasi. Untuk membuat instans, lihat Buat dan gunakan instans RDS SQL Server dengan cepat.
PentingDalam mode parsing log hibrida, di mana SQL Server Incremental Synchronization Mode diatur ke Use log parsing for incremental synchronization of non-heap tables and CDC for incremental synchronization of heap tables, versi database sumber berikut didukung:
Edisi Enterprise atau Enterprise Evaluation: Versi 2012, 2014, 2016, 2019, atau 2022.
Edisi Standard: Versi 2016, 2019, atau 2022.
-
Anda telah membuat klaster target AnalyticDB for MySQL. Untuk detailnya, lihat Buat klaster.
-
Ruang penyimpanan klaster target AnalyticDB for MySQL harus lebih besar daripada instans sumber RDS SQL Server.
-
Pisahkan sinkronisasi menjadi beberapa tugas jika salah satu kondisi berikut berlaku pada instans sumber:
-
Jumlah database melebihi 10.
-
Cadangan log dilakukan pada satu database lebih dari sekali per jam.
-
Operasi DDL dilakukan pada satu database lebih dari 100 kali per jam.
-
Volume log satu database melebihi 20 MB/s.
-
Change Data Capture (CDC) perlu diaktifkan untuk lebih dari 1.000 tabel.
-
Catatan penting
Selama sinkronisasi skema, DTS tidak menyinkronkan kunci asing dari database sumber ke database tujuan.
Selama sinkronisasi penuh dan inkremental, DTS sementara menonaktifkan pemeriksaan kendala dan operasi kaskade kunci asing pada tingkat session. Jika operasi pembaruan atau penghapusan kaskade terjadi di database sumber saat tugas sedang berjalan, ketidakkonsistenan data dapat terjadi.
Tipe | Deskripsi |
Batasan database sumber |
|
Batasan lainnya |
|
Kasus khusus | Jika instans sumber adalah instans RDS for SQL Server, DTS membuat akun |
Penagihan
Tipe sinkronisasi | Harga |
Sinkronisasi skema dan sinkronisasi data penuh | Gratis. |
Sinkronisasi data inkremental | Dikenakan biaya. Untuk informasi lebih lanjut, lihat Ikhtisar penagihan. |
Topologi sinkronisasi yang didukung
-
Sinkronisasi satu arah satu-ke-satu
-
Sinkronisasi satu arah satu-ke-banyak
-
Sinkronisasi kaskade satu arah
-
Sinkronisasi satu arah banyak-ke-satu
Untuk informasi lebih lanjut tentang setiap topologi, lihat Topologi sinkronisasi.
Operasi SQL yang didukung
|
Tipe operasi |
Pernyataan SQL |
|
DML |
INSERT, UPDATE, DELETE Catatan
|
|
DDL |
Catatan
|
Prosedur
Buka halaman daftar tugas sinkronisasi di wilayah tujuan. Anda dapat menggunakan salah satu dari dua metode berikut:
Dari konsol DTS
Masuk ke Konsol Data Transmission Service (DTS).
Di panel navigasi sebelah kiri, klik Data Synchronization.
Di pojok kiri atas halaman, pilih wilayah tempat instans sinkronisasi berada.
Dari konsol DMS
CatatanOperasi aktual dapat berbeda tergantung pada mode dan tata letak konsol DMS. Untuk informasi lebih lanjut, lihat Mode sederhana dan Sesuaikan tata letak dan gaya antarmuka DMS.
Masuk ke Data Management (DMS).
Di bilah menu atas, pilih .
Di sebelah kanan Data Synchronization Tasks, pilih wilayah tempat instans sinkronisasi berada.
Klik Create Task untuk membuka halaman konfigurasi tugas.
-
Konfigurasikan database sumber dan tujuan.
PeringatanSetelah memilih instans sumber dan tujuan, baca dengan cermat batasan yang ditampilkan di bagian atas halaman. Jika Anda tidak mengikuti batasan tersebut, tugas dapat gagal atau terjadi ketidakkonsistenan data.
Kategori
Konfigurasi
Deskripsi
Tidak ada
Task Name
DTS secara otomatis menghasilkan nama tugas. Kami merekomendasikan agar Anda menentukan nama deskriptif untuk memudahkan identifikasi. Nama tersebut tidak harus unik.
Source Database
Select Existing Connection
Untuk menggunakan instans database yang ditambahkan ke sistem (baru dibuat atau disimpan), pilih instans database dari daftar drop-down. Informasi database akan dikonfigurasi secara otomatis.
CatatanDi konsol DMS, item konfigurasi ini bernama Select a DMS database instance..
Jika Anda belum menambahkan instans database ke sistem, atau tidak perlu menggunakan instans yang sudah ditambahkan, konfigurasikan manual informasi database berikut.
Database Type
Pilih SQL Server.
Connection Type
Pilih Cloud instance.
Instance Region
Pilih wilayah tempat instans sumber RDS SQL Server berada.
Replicate Data Across Alibaba Cloud Accounts
Contoh ini menggunakan Akun Alibaba Cloud yang sama. Pilih No.
RDS Instance ID
Pilih ID instans sumber RDS SQL Server Anda.
Database Account
Masukkan akun database untuk instans sumber RDS SQL Server Anda. Akun ini harus memiliki izin kepemilikan pada objek yang akan disinkronkan.
Database Password
Masukkan kata sandi yang sesuai dengan akun database.
Encryption
Pilih Non-encrypted atau SSL-encrypted sesuai kebutuhan.
-
Jika enkripsi SSL tidak diaktifkan untuk database sumber, pilih Non-encrypted.
-
Jika enkripsi SSL diaktifkan untuk database sumber, pilih SSL-encrypted. DTS secara default mempercayai sertifikat sisi server.
Destination Database
Select Existing Connection
Untuk menggunakan instans database yang ditambahkan ke sistem (baru dibuat atau disimpan), pilih instans database dari daftar drop-down. Informasi database akan dikonfigurasi secara otomatis.
CatatanDi konsol DMS, item konfigurasi ini bernama Select a DMS database instance..
Jika Anda belum menambahkan instans database ke sistem, atau tidak perlu menggunakan instans yang sudah ditambahkan, konfigurasikan manual informasi database berikut.
Database Type
Pilih AnalyticDB MySQL 3.0.
Connection Type
Pilih Cloud instance.
Instance Region
Pilih wilayah tempat klaster tujuan AnalyticDB for MySQL berada.
Instance ID
Pilih ID klaster tujuan AnalyticDB for MySQL Anda.
Database Account
Masukkan akun database untuk klaster tujuan AnalyticDB for MySQL Anda. Akun ini harus memiliki izin baca dan tulis.
Database Password
Masukkan kata sandi yang sesuai dengan akun database.
Setelah menyelesaikan konfigurasi, klik Test Connectivity and Proceed di bagian bawah halaman.
CatatanPastikan blok CIDR alamat IP server DTS telah ditambahkan ke pengaturan keamanan database sumber dan tujuan untuk mengizinkan akses dari server DTS. Hal ini dapat dilakukan secara otomatis atau manual. Untuk informasi lebih lanjut, lihat Tambahkan blok CIDR alamat IP server DTS ke daftar putih.
Jika database sumber atau tujuan adalah database yang dikelola sendiri (di mana Access Method bukan Alibaba Cloud Instance), Anda juga harus mengklik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.
-
Konfigurasikan objek tugas.
-
Di halaman Configure Objects, konfigurasikan objek yang akan disinkronkan.
Konfigurasi
Deskripsi
Synchronization Types
Incremental Data Synchronization dipilih. Secara default, Anda juga harus memilih Schema Synchronization dan Full Data Synchronization. Setelah pemeriksaan awal selesai, DTS melakukan sinkronisasi data penuh objek yang dipilih dari instans sumber ke klaster tujuan. Hal ini berfungsi sebagai data garis dasar untuk sinkronisasi data inkremental berikutnya.
CatatanJika Anda memilih Full Synchronization, tabel yang pernyataan CREATE TABLE-nya dijalankan (baik skema maupun datanya) dapat disinkronkan ke database tujuan.
Processing Mode of Conflicting Tables
Precheck and Report Errors: Memeriksa apakah tabel dengan nama yang sama ada di database tujuan. Jika tabel dengan nama yang sama tidak ada, pemeriksaan awal lolos. Jika tabel dengan nama yang sama ada, pemeriksaan awal gagal dan tugas sinkronisasi data tidak dimulai.
CatatanJika Anda tidak dapat menghapus atau mengganti nama tabel dengan nama yang sama di database tujuan, Anda dapat memetakannya ke nama tabel yang berbeda. Untuk informasi lebih lanjut, lihat Map table and column names.
Ignore Errors and Proceed: Melewati pemeriksaan nama tabel duplikat di database tujuan.
PeringatanMemilih Ignore Errors and Proceed dapat menyebabkan ketidakkonsistenan data dan membahayakan bisnis Anda. Misalnya:
Jika skema tabel sama dan catatan di database tujuan memiliki nilai kunci primer atau kunci unik yang sama dengan catatan di database sumber:
Selama sinkronisasi penuh, DTS menyimpan catatan di klaster tujuan. Catatan yang sesuai dari database sumber tidak disinkronkan.
Selama sinkronisasi inkremental, catatan dari database sumber menimpa catatan di database tujuan.
Jika skema tabel berbeda, sinkronisasi data awal dapat gagal. Hal ini dapat mengakibatkan hanya data kolom parsial yang disinkronkan atau kegagalan sinkronisasi total. Harap berhati-hati.
Schema Mapping Mode of Source and Destination Databases
Pilih mode pemetaan skema berdasarkan kebutuhan bisnis Anda untuk memetakan skema antara database sumber dan tujuan.
PeringatanBanyak skema di database sumber tidak boleh memiliki tabel dengan nama yang sama. Jika tidak, ketidakkonsistenan data atau kegagalan tugas dapat terjadi.
SQL Server Incremental Synchronization Mode
Log-based Parsing for Non-heap Tables and CDC-based Incremental Synchronization for Heap Tables (Hybrid Log-based Parsing):
Kelebihan:
Mendukung skenario dengan tabel heap, tabel tanpa kunci primer, tabel terkompresi, dan tabel dengan kolom terhitung di database sumber.
Stabilitas tautan tinggi. Mode ini dapat memperoleh pernyataan DDL lengkap dan memberikan dukungan komprehensif untuk skenario DDL.
Kekurangan:
DTS membuat trigger dts_cdc_sync_ddl, tabel heartbeat dts_sync_progress, dan tabel penyimpanan DDL dts_cdc_ddl_history di database sumber. DTS juga mengaktifkan CDC pada tingkat database dan untuk beberapa tabel.
Anda tidak dapat menjalankan pernyataan SELECT INTO, TRUNCATE, RENAME COLUMN, atau modifikasi tipe kolom pada tabel yang memiliki CDC diaktifkan di database sumber. Trigger yang dibuat oleh DTS di database sumber tidak dapat dihapus secara manual.
CatatanTabel yang berisi tipe geometry, geography, atau hierarchyid tidak mendukung pengaktifan CDC.
Incremental Synchronization Based on Logs of Source Database (Heap tables are not supported):
Kelebihan:
Mode ini non-intrusif terhadap database sumber.
Kekurangan:
Tidak mendukung skenario dengan tabel heap, tabel tanpa kunci primer, tabel terkompresi, atau tabel dengan kolom terhitung di database sumber.
Polling and querying CDC instances for incremental synchronization:
Kelebihan:
Mendukung sinkronisasi penuh dan inkremental ketika database sumber adalah Amazon RDS for SQL Server, Azure SQL Database, Azure SQL Managed Instance, Azure SQL Server on Virtual Machine, atau Google Cloud SQL for SQL Server.
Mode ini menggunakan komponen Change Data Capture (CDC) asli SQL Server untuk memperoleh data inkremental. Hal ini membuat sinkronisasi inkremental lebih stabil dan mengonsumsi lebar pita jaringan lebih sedikit.
Kekurangan:
Akun database sumber yang digunakan oleh instans DTS harus memiliki izin untuk mengaktifkan CDC. Terdapat penundaan sekitar 10 detik untuk sinkronisasi data inkremental.
Dalam skenario yang melibatkan sinkronisasi banyak database dan tabel, mungkin terdapat risiko masalah stabilitas dan kinerja.
The maximum number of tables for which CDC is enabled that DTS supports.
Atur jumlah maksimum tabel yang dapat diaktifkan CDC-nya untuk instans sinkronisasi saat ini sesuai kebutuhan. Nilai default adalah 1.000.
CatatanItem konfigurasi ini tidak tersedia saat SQL Server Incremental Synchronization Mode diatur ke Incremental Synchronization Based on Logs of Source Database (Heap tables are not supported).
Select DDL and DML operations for instance-level synchronization
Pilih operasi SQL yang akan disinkronkan pada tingkat instans. Untuk operasi yang didukung, lihat Operasi SQL yang didukung.
CatatanUntuk memilih operasi SQL yang akan disinkronkan untuk database atau tabel, klik kanan objek sinkronisasi di kotak Selected Objects. Di kotak dialog yang muncul, pilih operasi SQL tersebut.
Source Objects
Di kotak Source Objects, klik objek yang akan disinkronkan, lalu klik
untuk memindahkannya ke kotak Selected Objects.CatatanSkenario ini melibatkan sinkronisasi antar database heterogen. Oleh karena itu, Anda hanya dapat memilih tabel sebagai objek sinkronisasi. Objek lain seperti tampilan, pemicu, dan prosedur tersimpan tidak disinkronkan ke database tujuan.
Selected Objects
Untuk mengganti nama satu objek sinkronisasi di instans tujuan, klik kanan objek tersebut di kotak Selected Objects. Untuk informasi lebih lanjut tentang mengganti nama objek, lihat Map a single database, table, or column.
Untuk mengubah nama beberapa objek sinkronisasi di instans tujuan secara batch, klik Batch Edit di pojok kanan atas kotak Selected Objects. Untuk informasi lebih lanjut, lihat Map databases, tables, and columns in a batch.
Catatan-
Untuk memilih operasi SQL pada tingkat database atau tabel, klik kanan objek yang disinkronkan di Selected Objects dan pilih operasi yang diperlukan di dialog pop-up.
-
Untuk memfilter data menggunakan kondisi WHERE, klik kanan tabel di Selected Objects dan atur kondisi filter di dialog pop-up. Untuk petunjuknya, lihat Set filter conditions.
-
Menggunakan pemetaan nama objek dapat menyebabkan objek dependen gagal disinkronkan.
-
Klik Next: Advanced Settings untuk mengonfigurasi parameter lanjutan.
Konfigurasi
Deskripsi
Dedicated Cluster for Task Scheduling
Secara default, DTS menjadwalkan tugas pada klaster bersama, dan Anda tidak perlu memilih klaster. Untuk kinerja yang lebih stabil, Anda dapat membeli klaster khusus untuk menjalankan tugas sinkronisasi DTS. Untuk informasi lebih lanjut, lihat Apa itu klaster khusus DTS?.
Retry Time for Failed Connections
Setelah tugas sinkronisasi dimulai, jika koneksi ke database sumber atau tujuan gagal, DTS melaporkan kesalahan dan segera mulai mencoba menghubungkan kembali. Durasi percobaan ulang default adalah 720 menit. Anda juga dapat menentukan durasi percobaan ulang kustom dari 10 hingga 1.440 menit. Kami merekomendasikan agar Anda mengatur durasi minimal 30 menit. Jika DTS berhasil terhubung kembali ke database dalam durasi yang ditentukan, tugas sinkronisasi secara otomatis dilanjutkan. Jika tidak, tugas gagal.
CatatanJika Anda memiliki beberapa instans DTS (misalnya, Instans A dan Instans B) yang berbagi sumber atau tujuan yang sama, dan Anda mengatur waktu percobaan ulang jaringan menjadi 30 menit untuk Instans A dan 60 menit untuk Instans B, durasi yang lebih pendek yaitu 30 menit digunakan untuk keduanya.
Karena DTS mengenakan biaya untuk waktu proses tugas selama periode percobaan ulang koneksi, kami merekomendasikan agar Anda menyesuaikan durasi percobaan ulang berdasarkan kebutuhan bisnis Anda atau segera melepaskan instans DTS setelah instans database sumber dan tujuan dilepaskan.
Retry Time for Other Issues
Setelah tugas sinkronisasi dimulai, jika terjadi masalah non-konektivitas lainnya pada database sumber atau tujuan (seperti pengecualian eksekusi DDL atau DML), DTS melaporkan kesalahan dan segera mulai melakukan operasi percobaan ulang berkelanjutan. Durasi percobaan ulang default adalah 10 menit. Anda juga dapat menyesuaikan durasi percobaan ulang dalam rentang 1 hingga 1.440 menit. Kami merekomendasikan agar Anda mengaturnya minimal 10 menit. Jika operasi terkait berhasil dalam durasi percobaan ulang yang ditetapkan, tugas sinkronisasi secara otomatis dilanjutkan. Jika tidak, tugas gagal.
PentingNilai untuk Retry Time for Other Issues harus kurang dari nilai untuk Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization
Selama tahap sinkronisasi penuh, DTS mengonsumsi sumber daya baca dan tulis dari database sumber dan tujuan, yang dapat meningkatkan beban database. Untuk mengurangi beban pada database sumber dan tujuan, Anda dapat mengatur batas laju untuk tugas sinkronisasi penuh dengan mengonfigurasi parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s).
CatatanItem konfigurasi ini hanya tersedia saat Synchronization Types diatur ke Full Data Synchronization.
Anda juga dapat menyesuaikan laju sinkronisasi penuh setelah instans sinkronisasi berjalan.
Enable Throttling for Incremental Data Synchronization
Anda juga dapat mengatur batas laju untuk tugas sinkronisasi inkremental. Untuk mengurangi tekanan pada database tujuan, atur RPS of Incremental Data Synchronization dan Data synchronization speed for incremental synchronization (MB/s).
Environment Tag
Pilih label lingkungan untuk mengidentifikasi instans. Tidak diperlukan untuk contoh ini.
Configure ETL
Pilih apakah akan mengaktifkan fitur ekstrak, transformasi, muat (ETL). Untuk informasi lebih lanjut, lihat Apa itu ETL? Nilai yang valid:
-
Yes: Mengaktifkan fitur ETL. Masukkan pernyataan pemrosesan data di editor kode. Untuk informasi lebih lanjut, lihat Konfigurasi ETL dalam tugas migrasi data atau sinkronisasi data.
-
No: Menonaktifkan fitur ETL.
Monitoring and Alerting
Tentukan apakah akan mengonfigurasi peringatan. Jika sinkronisasi gagal atau latensi melebihi ambang batas yang ditentukan, notifikasi akan dikirim ke kontak peringatan.
No: Tidak ada peringatan yang dikonfigurasi.
Yes: Konfigurasi peringatan dengan mengatur ambang batas peringatan dan menentukan pemberitahuan peringatan. Untuk informasi lebih lanjut, lihat Konfigurasi pemantauan dan peringatan selama konfigurasi tugas.
Klik Next: Data Validation untuk mengonfigurasi tugas validasi data.
Jika Anda ingin menggunakan fitur validasi data, lihat Konfigurasi validasi data untuk petunjuk konfigurasi.
Opsional: Setelah menyelesaikan konfigurasi di atas, klik Next: Configure Database and Table Fields untuk mengatur informasi Type, Primary Key Column, Distribution Key, dan kunci partisi (Partition Key, Partitioning Rules, dan Partition Lifecycle) untuk tabel yang akan disinkronkan di database tujuan.
CatatanLangkah ini hanya tersedia jika Anda memilih Schema Synchronization untuk Synchronization Types saat mengonfigurasi objek tugas. Anda kemudian dapat mengatur Definition Status ke All untuk melakukan modifikasi.
Primary Key Column dapat berupa kunci primer komposit yang terdiri dari beberapa kolom. Anda harus memilih satu atau beberapa kolom dari Primary Key Column untuk berfungsi sebagai Distribution Key dan Partition Key. Untuk informasi lebih lanjut, lihat CREATE TABLE.
-
Simpan tugas dan jalankan pemeriksaan awal.
Untuk melihat parameter API untuk mengonfigurasi instans ini, arahkan kursor ke tombol Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters di gelembung.
Jika Anda telah selesai melihat parameter API, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
CatatanSebelum pekerjaan sinkronisasi dimulai, DTS menjalankan pemeriksaan awal. Pekerjaan hanya dapat dimulai setelah semua item pemeriksaan awal lolos.
Jika pemeriksaan awal gagal, klik View Details untuk item yang gagal. Perbaiki masalah sesuai petunjuk, lalu jalankan kembali pemeriksaan awal.
Jika pemeriksaan awal mengembalikan peringatan:
Jika item pemeriksaan gagal dan tidak dapat diabaikan, klik View Details di sebelah item tersebut. Ikuti petunjuk untuk memperbaiki masalah, lalu jalankan kembali pemeriksaan awal.
Untuk item pemeriksaan yang dapat diabaikan, Anda dapat mengklik Confirm Alert Details, Ignore, OK, dan Precheck Again secara berurutan untuk melewati peringatan dan menjalankan kembali pemeriksaan awal. Jika Anda memilih untuk mengabaikan item peringatan, hal ini dapat menyebabkan masalah seperti ketidakkonsistenan data dan menimbulkan risiko bagi bisnis Anda.
-
Beli instans.
Saat Success Rate mencapai 100%, klik Next: Purchase Instance.
Di halaman Purchase, pilih metode penagihan dan spesifikasi tautan untuk instans sinkronisasi data. Tabel berikut menjelaskan parameter-parameter ini secara detail.
Kategori
Parameter
Deskripsi
New Instance Class
Metode Penagihan
Langganan: Anda membayar saat membuat instans. Ini cocok untuk kebutuhan jangka panjang dan lebih hemat biaya dibandingkan bayar sesuai penggunaan. Semakin lama durasi langganan, semakin tinggi diskonnya.
Bayar sesuai penggunaan: Anda dikenakan biaya per jam. Ini cocok untuk kebutuhan jangka pendek. Anda dapat melepaskan instans segera setelah digunakan untuk menghemat biaya.
Konfigurasi Kelompok Sumber Daya
Kelompok sumber daya tempat instans tersebut berada. Default-nya adalah kelompok sumber daya default. Untuk informasi lebih lanjut, lihat Apa itu Resource Management?.
Spesifikasi Tautan
DTS menyediakan spesifikasi sinkronisasi dengan tingkat kinerja berbeda. Spesifikasi tautan sinkronisasi memengaruhi laju sinkronisasi. Anda dapat memilih spesifikasi berdasarkan skenario bisnis Anda. Untuk informasi lebih lanjut, lihat Spesifikasi tautan sinkronisasi data.
Durasi Langganan
Dalam mode langganan, pilih durasi dan jumlah untuk instans langganan. Anda dapat memilih langganan bulanan dari 1 hingga 9 bulan, atau langganan tahunan selama 1, 2, 3, atau 5 tahun.
CatatanOpsi ini hanya tersedia saat metode penagihan adalah Subscription.
Setelah menyelesaikan konfigurasi, baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start. Di kotak dialog OK, klik OK.
Anda dapat melihat progres tugas di halaman Data Synchronization.