Anda dapat menyinkronkan data dari instance PolarDB-X 2.0 ke instance AnalyticDB for PostgreSQL menggunakan Data Transmission Service (DTS). Hal ini memungkinkan Anda mentransfer data dengan mudah. Anda juga dapat memanfaatkan layanan analisis data online dan fitur pemrosesan data offline yang disediakan oleh AnalyticDB for PostgreSQL untuk menganalisis data perusahaan secara real-time. Ini membantu Anda mengimplementasikan analisis data berperforma tinggi serta eksplorasi data online.
Prasyarat
Instance tujuan AnalyticDB for PostgreSQL telah dibuat. Ruang penyimpanan yang tersedia di instance tujuan lebih besar daripada total ukuran data di instance sumber PolarDB-X 2.0. Untuk informasi lebih lanjut tentang cara membuat instance, lihat Membuat Instance.
Sebuah basis data telah dibuat di instance tujuan AnalyticDB for PostgreSQL untuk menerima data. Untuk informasi lebih lanjut, lihat bagian "CREATE DATABASE" dalam topik Sintaks SQL.
Batasan
Kategori | Deskripsi |
Batasan pada basis data sumber |
|
Batasan lainnya |
|
Kasus khusus | DTS memperbarui tabel `dts_health_check`.`ha_health_check` di basis data sumber secara terjadwal untuk memajukan posisi file log biner. |
Penagihan
| Jenis sinkronisasi | Biaya konfigurasi tugas |
| Sinkronisasi skema dan data penuh | Gratis. |
| Sinkronisasi data tambahan | Dikenakan biaya. Untuk informasi lebih lanjut, lihat Ikhtisar penagihan. |
Operasi SQL yang dapat disinkronkan
Operasi DML: INSERT, UPDATE, dan DELETE
CatatanSaat data ditulis ke instance tujuan AnalyticDB for PostgreSQL, pernyataan UPDATE secara otomatis dikonversi menjadi REPLACE INTO. Jika pernyataan UPDATE dieksekusi pada kunci utama, pernyataan tersebut dikonversi menjadi DELETE dan INSERT.
Operasi DDL: ADD COLUMN
CatatanOperasi CREATE TABLE tidak didukung. Untuk menyinkronkan data dari tabel baru, Anda harus menambahkan tabel ke objek yang dipilih. Untuk informasi lebih lanjut, lihat Tambahkan Objek ke Tugas Sinkronisasi Data.
Izin yang diperlukan untuk akun basis data
Basis Data | Izin yang diperlukan | Referensi |
Instance sumber PolarDB-X 2.0 | Izin SELECT pada objek yang akan disinkronkan, izin REPLICATION SLAVE, dan izin REPLICATION CLIENT. | Kelola akun basis data dan Izin yang diperlukan untuk menyinkronkan data. |
Instance tujuan AnalyticDB for PostgreSQL | Izin baca dan tulis pada basis data tujuan. | Buat dan kelola akun basis data dan Kelola izin akun Catatan Anda dapat menggunakan akun awal atau akun yang memiliki izin RDS_SUPERUSER. |
Prosedur
Gunakan salah satu metode berikut untuk masuk ke halaman Sinkronisasi Data dan pilih wilayah tempat instance sinkronisasi data berada.
Konsol DTS
Masuk ke Konsol DTS.
Di panel navigasi sebelah kiri, klik Data Synchronization.
Di sudut kiri atas halaman, pilih wilayah tempat tugas sinkronisasi data berada.
Konsol DMS
CatatanOperasi aktual mungkin berbeda berdasarkan mode dan tata letak konsol DMS. Untuk informasi lebih lanjut, lihat Mode Sederhana dan Sesuaikan Tata Letak dan Gaya Konsol DMS.
Masuk ke Konsol DMS.
Di bilah navigasi atas, arahkan pointer ke Data + AI dan pilih .
Dari daftar drop-down di sebelah kanan Data Synchronization Tasks, pilih wilayah tempat instance sinkronisasi data berada.
Dari daftar drop-down di sebelah kanan Data Synchronization Tasks, pilih wilayah tempat instance sinkronisasi data berada.
Klik Create Task. Di wizard Buat Tugas, konfigurasikan basis data sumber dan tujuan.
Bagian
Parameter
Deskripsi
N/A
Task Name
Nama tugas DTS. DTS secara otomatis menghasilkan nama tugas. Kami menyarankan Anda menentukan nama deskriptif yang memudahkan identifikasi tugas. Anda tidak perlu menentukan nama tugas yang unik.
Source Database
Select an existing DMS database instance. (Optional. If you have not registered a DMS database instance, ignore this option and configure database settings in the section below.)
Basis data yang ingin Anda gunakan. Anda dapat memilih apakah akan menggunakan basis data yang ada berdasarkan kebutuhan bisnis Anda.
Jika Anda memilih basis data yang ada, DTS secara otomatis mengisi parameter untuk basis data tersebut.
Jika Anda tidak memilih basis data yang ada, Anda harus mengonfigurasi informasi basis data berikut.
Database Type
Jenis basis data sumber. Pilih PolarDB-X 2.0.
Access Method
Metode akses basis data sumber. Pilih Alibaba Cloud Instance.
Instance Region
Wilayah tempat instance PolarDB-X 2.0 berada.
Replicate Data Across Alibaba Cloud Accounts
Menentukan apakah akan menyinkronkan data antar akun Alibaba Cloud. Dalam contoh ini, No dipilih.
Instance ID
ID instance PolarDB-X 2.0.
Database Account
Akun basis data instance PolarDB-X 2.0. Untuk informasi lebih lanjut tentang izin yang diperlukan untuk akun tersebut, lihat bagian Izin yang diperlukan untuk akun basis data dari topik ini.
Database Password
Kata sandi yang digunakan untuk mengakses basis data.
Destination Database
Select an existing DMS database instance. (Optional. If you have not registered a DMS database instance, ignore this option and configure database settings in the section below.)
Basis data yang ingin Anda gunakan. Anda dapat memilih apakah akan menggunakan basis data yang ada berdasarkan kebutuhan bisnis Anda.
Jika Anda memilih basis data yang ada, DTS secara otomatis mengisi parameter untuk basis data tersebut.
Jika Anda tidak memilih basis data yang ada, Anda harus mengonfigurasi informasi basis data berikut.
Database Type
Jenis basis data tujuan. Pilih AnalyticDB for PostgreSQL.
Access Method
Metode akses basis data tujuan. Pilih Alibaba Cloud Instance.
Instance Region
Wilayah tempat instance AnalyticDB for PostgreSQL berada.
Instance ID
ID instance AnalyticDB for PostgreSQL.
Database Name
Nama basis data yang digunakan untuk menerima objek yang disinkronkan di instance tujuan AnalyticDB for PostgreSQL.
Database Account
Akun basis data instance AnalyticDB for PostgreSQL. Untuk informasi lebih lanjut tentang izin yang diperlukan untuk akun tersebut, lihat bagian Izin yang diperlukan untuk akun basis data dari topik ini.
Database Password
Kata sandi yang digunakan untuk mengakses basis data.
Di bagian bawah halaman, klik Test Connectivity and Proceed.
Jika basis data sumber atau tujuan adalah instance basis data Alibaba Cloud, seperti instance ApsaraDB RDS for MySQL atau instance ApsaraDB for MongoDB, DTS secara otomatis menambahkan blok CIDR server DTS ke daftar putih instance. Jika basis data sumber atau tujuan adalah basis data mandiri yang di-hosting pada instance Elastic Compute Service (ECS), DTS secara otomatis menambahkan blok CIDR server DTS ke aturan grup keamanan instance ECS, dan Anda harus memastikan bahwa instance ECS dapat mengakses basis data. Jika basis data diterapkan pada beberapa instance ECS, Anda harus secara manual menambahkan blok CIDR server DTS ke aturan grup keamanan setiap instance ECS. Jika basis data sumber atau tujuan adalah basis data mandiri yang diterapkan di pusat data atau disediakan oleh penyedia layanan cloud pihak ketiga, Anda harus secara manual menambahkan blok CIDR server DTS ke daftar putih basis data untuk mengizinkan DTS mengakses basis data. Untuk informasi lebih lanjut, lihat bagian "Blok CIDR Server DTS" dari topik Tambahkan Blok CIDR Server DTS.
PeringatanJika blok CIDR server DTS ditambahkan secara otomatis atau manual ke daftar putih basis data atau instance, atau ke aturan grup keamanan ECS, risiko keamanan mungkin timbul. Oleh karena itu, sebelum menggunakan DTS untuk menyinkronkan data, Anda harus memahami dan mengakui risiko potensial serta mengambil tindakan pencegahan, termasuk tetapi tidak terbatas pada langkah-langkah berikut: meningkatkan keamanan nama pengguna dan kata sandi, membatasi port yang diekspos, mengotentikasi panggilan API, memeriksa daftar putih atau aturan grup keamanan ECS secara berkala dan melarang blok CIDR yang tidak sah, atau menghubungkan basis data ke DTS menggunakan Express Connect, VPN Gateway, atau Smart Access Gateway.
Konfigurasikan objek yang akan disinkronkan dan pengaturan lanjutan.
Parameter
Deskripsi
Synchronization Types
Jenis sinkronisasi. Secara default, Incremental Data Synchronization dipilih. Anda juga harus memilih Schema Synchronization dan Full Data Synchronization. Setelah pra-pemeriksaan selesai, DTS menyinkronkan data historis objek yang dipilih dari basis data sumber ke klaster tujuan. Data historis ini adalah dasar untuk sinkronisasi tambahan selanjutnya.
Processing Mode of Conflicting Tables
Precheck and Report Errors: memeriksa apakah basis data tujuan berisi tabel yang memiliki nama yang sama dengan tabel di basis data sumber. Jika basis data sumber dan tujuan tidak berisi tabel dengan nama tabel identik, pra-pemeriksaan berhasil. Jika tidak, kesalahan dikembalikan selama pra-pemeriksaan, dan tugas sinkronisasi data tidak dapat dimulai.
CatatanJika basis data sumber dan tujuan berisi tabel dengan nama yang sama dan tabel di basis data tujuan tidak dapat dihapus atau diganti namanya, Anda dapat menggunakan fitur pemetaan nama objek untuk mengganti nama tabel yang disinkronkan ke basis data tujuan. Untuk informasi lebih lanjut, lihat Peta nama objek.
Ignore Errors and Proceed: melewati pra-pemeriksaan untuk nama tabel identik di basis data sumber dan tujuan.
PeringatanJika Anda memilih Ignore Errors and Proceed, ketidaksesuaian data mungkin terjadi dan bisnis Anda mungkin terpapar risiko potensial.
Jika basis data sumber dan tujuan memiliki skema yang sama dan catatan data di basis data tujuan memiliki nilai kunci utama atau nilai kunci unik yang sama dengan catatan data di basis data sumber:
Selama sinkronisasi data penuh, DTS tidak menyinkronkan catatan data ke basis data tujuan. Catatan data yang ada di basis data tujuan dipertahankan.
Selama sinkronisasi data tambahan, DTS menyinkronkan catatan data ke basis data tujuan. Catatan data yang ada di basis data tujuan ditimpa.
Jika basis data sumber dan tujuan memiliki skema yang berbeda, data mungkin gagal diinisialisasi. Dalam hal ini, hanya beberapa kolom yang disinkronkan, atau instance sinkronisasi data gagal. Lanjutkan dengan hati-hati.
Capitalization of Object Names in Destination Instance
Huruf besar/kecil nama basis data, nama tabel, dan nama kolom di instance tujuan. Secara default, DTS default policy dipilih. Anda dapat memilih opsi lain untuk memastikan bahwa huruf besar/kecil nama objek konsisten dengan yang ada di basis data sumber atau tujuan. Untuk informasi lebih lanjut, lihat Tentukan huruf besar/kecil nama objek di instance tujuan.
Source Objects
Pilih satu atau lebih objek dari bagian Source Objects dan klik ikon
untuk menambahkan objek ke bagian Selected Objects.CatatanAnda hanya dapat memilih tabel sebagai objek yang akan disinkronkan. Objek lainnya, seperti tampilan, pemicu, dan prosedur tersimpan, tidak disinkronkan ke basis data tujuan.
Selected Objects
Untuk mengganti nama objek yang ingin Anda sinkronkan ke instance tujuan, klik kanan objek di bagian Selected Objects. Untuk informasi lebih lanjut, lihat bagian "Peta nama objek tunggal" dari topik Peta nama objek.
Untuk mengganti nama beberapa objek sekaligus, klik Batch Edit di sudut kanan atas bagian Selected Objects. Untuk informasi lebih lanjut, lihat bagian "Peta beberapa nama objek sekaligus" dari topik Peta nama objek.
CatatanJika Anda menggunakan fitur pemetaan nama objek untuk mengganti nama objek, objek lain yang bergantung pada objek tersebut mungkin gagal disinkronkan.
Untuk menentukan kondisi WHERE untuk memfilter data, klik kanan objek di bagian Selected Objects. Di kotak dialog yang muncul, tentukan kondisi tersebut. Untuk informasi lebih lanjut, lihat Tentukan kondisi filter.
Untuk memilih operasi SQL yang dilakukan pada basis data atau tabel tertentu, klik kanan objek di bagian Selected Objects. Di kotak dialog yang muncul, pilih operasi SQL yang ingin Anda sinkronkan. Untuk informasi lebih lanjut, lihat bagian Operasi SQL yang dapat disinkronkan dari topik ini.
Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.
Parameter
Deskripsi
Dedicated Cluster for Task Scheduling
Secara default, DTS menjadwalkan tugas ke klaster bersama jika Anda tidak menentukan klaster khusus. Jika Anda ingin meningkatkan stabilitas instance sinkronisasi data, beli klaster khusus. Untuk informasi lebih lanjut, lihat Apa Itu Klaster Khusus DTS.
Set Alerts
Menentukan apakah akan mengonfigurasi peringatan untuk instance sinkronisasi data. Jika tugas gagal atau latensi sinkronisasi melebihi ambang batas yang ditentukan, kontak peringatan akan menerima notifikasi. Nilai valid:
No: tidak mengaktifkan peringatan.
Yes: mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan pengaturan notifikasi peringatan. Untuk informasi lebih lanjut, lihat bagian "Konfigurasikan Pemantauan dan Peringatan Saat Membuat Tugas DTS" dari topik Konfigurasikan Pemantauan dan Peringatan.
Retry Time for Failed Connections
Rentang waktu ulang untuk koneksi gagal. Jika basis data sumber atau tujuan gagal terhubung setelah tugas sinkronisasi data dimulai, DTS segera mencoba kembali koneksi dalam rentang waktu tersebut. Nilai valid: 10 hingga 1440. Unit: menit. Nilai default: 720. Kami menyarankan Anda mengatur parameter ini ke nilai lebih besar dari 30. Jika DTS berhasil terhubung kembali ke basis data sumber dan tujuan dalam rentang waktu yang ditentukan, DTS melanjutkan tugas sinkronisasi data. Jika tidak, tugas sinkronisasi data gagal.
CatatanJika Anda menentukan rentang waktu ulang yang berbeda untuk beberapa tugas sinkronisasi data yang memiliki basis data sumber atau tujuan yang sama, rentang waktu ulang terpendek yang diambil prioritas.
Saat DTS mencoba kembali koneksi, Anda akan dikenakan biaya untuk instance DTS. Kami menyarankan Anda menentukan rentang waktu ulang berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepaskan instance DTS sesegera mungkin setelah instance sumber dan tujuan dilepaskan.
Retry Time for Other Issues
Rentang waktu ulang untuk masalah lainnya. Misalnya, jika operasi DDL atau DML gagal dilakukan setelah tugas sinkronisasi data dimulai, DTS segera mencoba kembali operasi dalam rentang waktu tersebut. Nilai valid: 1 hingga 1440. Unit: menit. Nilai default: 10. Kami menyarankan Anda mengatur parameter ini ke nilai lebih besar dari 10. Jika operasi gagal berhasil dilakukan dalam rentang waktu yang ditentukan, DTS melanjutkan tugas sinkronisasi data. Jika tidak, tugas sinkronisasi data gagal.
PentingNilai parameter Retry Time for Other Issues harus lebih kecil dari nilai parameter Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization
Selama sinkronisasi data penuh, DTS menggunakan sumber daya baca dan tulis dari basis data sumber dan tujuan. Ini dapat meningkatkan beban pada server basis data. Anda dapat mengonfigurasi parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s) untuk tugas sinkronisasi data penuh guna mengurangi beban pada server basis data tujuan.
CatatanAnda hanya dapat mengonfigurasi parameter ini jika Full Data Synchronization dipilih untuk parameter Synchronization Types.
Enable Throttling for Incremental Data Synchronization
Menentukan apakah akan mengaktifkan pembatasan untuk sinkronisasi data tambahan. Anda dapat mengaktifkan pembatasan untuk sinkronisasi data tambahan berdasarkan kebutuhan bisnis Anda. Untuk mengonfigurasi pembatasan, Anda harus mengonfigurasi parameter RPS of Incremental Data Synchronization dan Data synchronization speed for incremental synchronization (MB/s). Ini mengurangi beban pada server basis data tujuan.
Environment Tag
Tag lingkungan yang digunakan untuk mengidentifikasi instance DTS. Anda dapat memilih tag lingkungan berdasarkan kebutuhan bisnis Anda. Dalam contoh ini, tidak ada tag lingkungan yang dipilih.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks
Configure ETL
Menentukan apakah akan mengaktifkan fitur ekstraksi, transformasi, dan pemuatan (ETL). Untuk informasi lebih lanjut, lihat Apa Itu ETL? Nilai valid:
Yes: mengonfigurasi fitur ETL. Anda dapat memasukkan pernyataan pemrosesan data di editor kode. Untuk informasi lebih lanjut, lihat Konfigurasikan ETL dalam Tugas Migrasi Data atau Tugas Sinkronisasi Data.
No: tidak mengonfigurasi fitur ETL.
Opsional. Setelah menyelesaikan konfigurasi sebelumnya, klik Next: Configure Database and Table Fields. Di halaman yang muncul, tentukan jenis, kolom kunci utama, dan kunci distribusi tabel yang ingin disinkronkan ke instance tujuan AnalyticDB for PostgreSQL.
CatatanLangkah ini hanya tersedia jika Anda memilih Schema Synchronization saat mengonfigurasi objek yang akan disinkronkan untuk tugas. Anda dapat mengatur parameter Definition Status ke All dan memodifikasi bidang basis data dan tabel.
Di bidang Primary Key Column, Anda dapat menentukan beberapa kolom untuk membentuk kunci utama komposit. Dalam hal ini, Anda harus menentukan satu atau lebih kolom kunci utama sebagai kolom kunci distribusi. Untuk informasi lebih lanjut, lihat Kelola Tabel dan Tentukan Distribusi Tabel.
Simpan pengaturan tugas dan jalankan pra-pemeriksaan.
Untuk melihat parameter yang harus ditentukan saat memanggil operasi API terkait untuk mengonfigurasi tugas DTS, arahkan pointer ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.
Jika Anda tidak perlu melihat atau telah melihat parameter tersebut, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
CatatanSebelum memulai tugas sinkronisasi data, DTS melakukan pra-pemeriksaan. Anda hanya dapat memulai tugas sinkronisasi data setelah tugas tersebut lulus pra-pemeriksaan.
Jika tugas sinkronisasi data gagal dalam pra-pemeriksaan, klik View Details di sebelah setiap item yang gagal. Setelah menganalisis penyebab berdasarkan hasil pemeriksaan, atasi masalah tersebut. Kemudian, jalankan kembali pra-pemeriksaan.
Jika peringatan dipicu untuk suatu item selama pra-pemeriksaan:
Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan atasi masalah tersebut. Kemudian, jalankan pra-pemeriksaan lagi.
Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog Lihat Detail, klik Ignore. Di pesan yang muncul, klik OK. Kemudian, klik Precheck Again untuk menjalankan pra-pemeriksaan lagi. Jika Anda mengabaikan item peringatan, ketidaksesuaian data mungkin terjadi, dan bisnis Anda mungkin terpapar risiko potensial.
Tunggu hingga Success Rate menjadi 100%. Kemudian, klik Next: Purchase Instance.
Di halaman buy, konfigurasikan parameter Metode Penagihan dan Kelas Instance untuk tugas sinkronisasi data. Tabel berikut menjelaskan parameter tersebut.
Bagian
Parameter
Deskripsi
New Instance Class
Metode Penagihan
Langganan: Anda membayar langganan saat membuat instance sinkronisasi data. Metode penagihan langganan lebih hemat biaya daripada metode penagihan bayar sesuai pemakaian untuk penggunaan jangka panjang.
Bayar sesuai pemakaian: Instance bayar sesuai pemakaian ditagih per jam. Metode penagihan bayar sesuai pemakaian cocok untuk penggunaan jangka pendek. Jika Anda tidak lagi memerlukan instance sinkronisasi data bayar sesuai pemakaian, Anda dapat melepaskan instance tersebut untuk mengurangi biaya.
Pengaturan Grup Sumber Daya
Grup sumber daya tempat instance sinkronisasi data berada. Nilai default: default resource group. Untuk informasi lebih lanjut, lihat Apa itu Resource Management?
Kelas Instance
DTS menyediakan kelas instance yang bervariasi dalam kecepatan sinkronisasi. Anda dapat memilih kelas instance berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Kelas instance dari instance sinkronisasi data.
Durasi Langganan
Jika Anda memilih metode penagihan langganan, tentukan durasi langganan dan jumlah instance sinkronisasi data yang ingin Anda buat. Durasi langganan bisa satu hingga sembilan bulan, satu tahun, dua tahun, tiga tahun, atau lima tahun.
CatatanParameter ini hanya tersedia jika Anda memilih metode penagihan Subscription.
Baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start. Di kotak dialog yang muncul, klik OK.
Anda dapat melihat kemajuan tugas di daftar tugas.