Topik ini menjelaskan cara menyinkronkan data dari instance ApsaraDB RDS for PostgreSQL ke instance AnalyticDB for PostgreSQL menggunakan Data Transmission Service (DTS).
Prasyarat
Instance tujuan AnalyticDB for PostgreSQL telah dibuat. Ruang penyimpanan yang tersedia pada instance ini lebih besar daripada total ukuran data di instance sumber ApsaraDB RDS for PostgreSQL. Untuk informasi lebih lanjut tentang cara membuat instance AnalyticDB for PostgreSQL, lihat Membuat Instance.
Database telah dibuat di instance tujuan AnalyticDB for PostgreSQL untuk menerima data. Untuk informasi lebih lanjut, lihat bagian CREATE DATABASE dalam topik Sintaks SQL.
Catatan Penggunaan
Kategori | Deskripsi |
Batasan pada database sumber |
|
Batasan lainnya |
|
Kasus khusus |
|
Penagihan
| Jenis Sinkronisasi | Biaya Konfigurasi Tugas |
| Sinkronisasi skema dan data penuh | Gratis. |
| Sinkronisasi data inkremental | Dikenakan biaya. Untuk informasi lebih lanjut, lihat Ikhtisar Penagihan. |
Operasi SQL yang mendukung sinkronisasi inkremental
Jenis Operasi | Pernyataan SQL |
DML | INSERT, UPDATE, dan DELETE |
DDL |
|
Izin yang diperlukan untuk akun database
Instance | Izin yang Diperlukan | Referensi |
Instance ApsaraDB RDS for PostgreSQL sumber | Izin akun istimewa yang merupakan pemilik database | |
Instance AnalyticDB for PostgreSQL tujuan | Hak baca dan tulis pada database tujuan | Buat akun database dan Kelola pengguna dan izin Catatan Anda juga dapat menggunakan akun awal atau akun yang memiliki izin RDS_SUPERUSER. |
Prosedur
Buka halaman Tugas Sinkronisasi Data.
Masuk ke Konsol Manajemen Data (DMS).
Di bilah navigasi atas, klik Data + AI.
Di panel navigasi kiri, pilih .
CatatanLangkah-langkah operasional dapat berbeda tergantung pada mode dan tata letak konsol DMS. Untuk informasi lebih lanjut, lihat Mode Sederhana dan Sesuaikan Tata Letak dan Gaya Konsol DMS.
Anda juga dapat membuka Halaman Tugas Sinkronisasi Data dari Konsol DTS Baru.
Di sebelah kanan Data Synchronization Tasks, pilih wilayah tempat instance sinkronisasi data berada.
CatatanJika Anda menggunakan konsol DTS baru, Anda harus memilih wilayah tempat instance sinkronisasi data berada di bilah navigasi atas.
Klik Create Task untuk membuka halaman konfigurasi tugas.
Opsional. Klik New Configuration Page di pojok kanan atas halaman.
CatatanLewati langkah ini jika tombol Back to Previous Version ditampilkan di pojok kanan atas halaman.
Parameter spesifik di halaman konfigurasi versi baru dan sebelumnya mungkin berbeda. Kami sarankan Anda menggunakan halaman konfigurasi versi baru.
Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter.
Bagian
Parameter
Deskripsi
Tidak Ada
Task Name
Nama tugas DTS. DTS secara otomatis menghasilkan nama tugas. Kami sarankan Anda menentukan nama deskriptif yang memudahkan identifikasi tugas. Anda tidak perlu menentukan nama tugas unik.
Source Database
Select a DMS database instance.
Database yang ingin Anda gunakan. Anda dapat memilih apakah akan menggunakan database yang ada berdasarkan kebutuhan bisnis Anda.
Jika Anda memilih database yang ada, DTS secara otomatis mengisi parameter untuk database tersebut.
Jika Anda tidak memilih database yang ada, Anda harus mengonfigurasi informasi database berikut.
CatatanDi konsol DMS, Anda dapat mengklik Add DMS Database Instance untuk mendaftarkan database dengan DMS. Untuk informasi lebih lanjut, lihat Daftarkan instance database Alibaba Cloud dan Daftarkan database yang dihosting pada layanan cloud pihak ketiga atau database yang dikelola sendiri.
Di konsol DTS, daftarkan database dengan DTS di halaman Database Connections atau halaman konfigurasi baru. Untuk informasi lebih lanjut, lihat Kelola koneksi database.
Database Type
Jenis database sumber. Pilih PostgreSQL.
Access Method
Metode akses database sumber. Pilih Alibaba Cloud Instance.
Instance Region
Wilayah tempat instance ApsaraDB RDS for PostgreSQL sumber berada.
Replicate Data Across Alibaba Cloud Accounts
Dalam contoh ini, database akun Alibaba Cloud saat ini digunakan. Pilih No.
Instance ID
ID instance ApsaraDB RDS for PostgreSQL sumber.
Database Name
Nama database yang menyimpan data yang akan disinkronkan di instance ApsaraDB RDS for PostgreSQL sumber.
Database Account
Akun database instance ApsaraDB RDS for PostgreSQL sumber. Untuk informasi lebih lanjut tentang izin yang diperlukan untuk akun database, lihat bagian Izin yang diperlukan untuk akun database dari topik ini.
Database Password
Kata sandi yang digunakan untuk mengakses database.
Encryption
Menentukan apakah akan mengenkripsi koneksi ke database sumber. Anda dapat mengonfigurasi parameter ini berdasarkan kebutuhan bisnis Anda. Dalam contoh ini, Non-encrypted dipilih.
Jika Anda ingin membuat koneksi terenkripsi SSL ke database sumber, lakukan langkah-langkah berikut: Pilih SSL-encrypted, unggah CA Certificate, Client Certificate, dan Private Key of Client Certificate sesuai kebutuhan, lalu tentukan Private Key Password of Client Certificate.
CatatanJika Anda menyetel Enkripsi ke SSL-encrypted untuk database PostgreSQL yang dikelola sendiri, Anda harus mengunggah CA Certificate.
Jika Anda ingin menggunakan sertifikat klien, Anda harus mengunggah Client Certificate dan Private Key of Client Certificate serta menentukan Private Key Password of Client Certificate.
Untuk informasi tentang cara mengonfigurasi enkripsi SSL untuk instance ApsaraDB RDS for PostgreSQL, lihat Enkripsi SSL.
Destination Database
Select a DMS database instance.
Database yang ingin Anda gunakan. Anda dapat memilih apakah akan menggunakan database yang ada berdasarkan kebutuhan bisnis Anda.
Jika Anda memilih database yang ada, DTS secara otomatis mengisi parameter untuk database tersebut.
Jika Anda tidak memilih database yang ada, Anda harus mengonfigurasi informasi database berikut.
CatatanDi konsol DMS, Anda dapat mengklik Add DMS Database Instance untuk mendaftarkan database dengan DMS. Untuk informasi lebih lanjut, lihat Daftarkan instance database Alibaba Cloud dan Daftarkan database yang dihosting pada layanan cloud pihak ketiga atau database yang dikelola sendiri.
Di konsol DTS, daftarkan database dengan DTS di halaman Database Connections atau halaman konfigurasi baru. Untuk informasi lebih lanjut, lihat Kelola koneksi database.
Database Type
Jenis database tujuan. Pilih AnalyticDB for PostgreSQL.
Access Method
Metode akses database tujuan. Pilih Alibaba Cloud Instance.
Instance Region
Wilayah tempat instance AnalyticDB for PostgreSQL tujuan berada.
Instance ID
ID instance AnalyticDB for PostgreSQL tujuan.
Database Name
Nama database yang digunakan untuk menerima data di instance AnalyticDB for PostgreSQL tujuan.
Database Account
Akun database instance AnalyticDB for PostgreSQL tujuan. Untuk informasi lebih lanjut tentang izin yang diperlukan untuk akun database, lihat bagian Izin yang diperlukan untuk akun database dari topik ini.
Database Password
Kata sandi yang digunakan untuk mengakses database.
Di bagian bawah halaman, klik Test Connectivity and Proceed.
Jika database sumber atau tujuan adalah instance database Alibaba Cloud, seperti instance ApsaraDB RDS for MySQL atau instance ApsaraDB for MongoDB, DTS secara otomatis menambahkan blok CIDR server DTS ke daftar putih instance. Jika database sumber atau tujuan adalah database yang dikelola sendiri yang dihosting pada instance Elastic Compute Service (ECS), DTS secara otomatis menambahkan blok CIDR server DTS ke aturan grup keamanan instance ECS, dan Anda harus memastikan bahwa instance ECS dapat mengakses database. Jika database diterapkan pada beberapa instance ECS, Anda harus secara manual menambahkan blok CIDR server DTS ke aturan grup keamanan setiap instance ECS. Jika database sumber atau tujuan adalah database yang dikelola sendiri yang diterapkan di pusat data atau disediakan oleh penyedia layanan cloud pihak ketiga, Anda harus secara manual menambahkan blok CIDR server DTS ke daftar putih database untuk mengizinkan DTS mengakses database. Untuk informasi lebih lanjut, lihat bagian "Blok CIDR Server DTS" dari topik Tambahkan Blok CIDR Server DTS.
PeringatanJika blok CIDR server DTS ditambahkan secara otomatis atau manual ke daftar putih database atau instance, atau ke aturan grup keamanan ECS, risiko keamanan mungkin timbul. Oleh karena itu, sebelum Anda menggunakan DTS untuk menyinkronkan data, Anda harus memahami dan mengakui potensi risiko serta mengambil tindakan pencegahan, termasuk tetapi tidak terbatas pada tindakan berikut: meningkatkan keamanan nama pengguna dan kata sandi Anda, membatasi port yang diekspos, mengotentikasi panggilan API, secara berkala memeriksa daftar putih atau aturan grup keamanan ECS dan melarang blok CIDR yang tidak sah, atau menghubungkan database ke DTS menggunakan Express Connect, VPN Gateway, atau Smart Access Gateway.
Konfigurasikan objek yang akan disinkronkan.
Di langkah Configure Objects, konfigurasikan objek yang ingin Anda sinkronkan.
Parameter
Deskripsi
Synchronization Types
Jenis sinkronisasi. Secara default, Incremental Data Synchronization dipilih. Anda juga harus memilih Schema Synchronization dan Full Data Synchronization. Setelah pra-pemeriksaan selesai, DTS akan menyinkronkan data historis dari objek yang dipilih dari database sumber ke klaster tujuan. Data historis ini menjadi dasar untuk sinkronisasi inkremental selanjutnya.
DDL and DML Operations to Be Synchronized
Operasi DDL dan DML yang ingin Anda sinkronkan. Untuk informasi lebih lanjut, lihat Operasi SQL yang Mendukung Sinkronisasi Inkremental.
CatatanUntuk memilih operasi SQL yang dilakukan pada database atau tabel tertentu, lakukan langkah-langkah berikut: Di bagian Selected Objects, klik kanan sebuah objek. Di kotak dialog yang muncul, pilih operasi SQL yang ingin Anda sinkronkan.
Processing Mode of Conflicting Tables
Precheck and Report Errors: Memeriksa apakah database tujuan mengandung tabel dengan nama yang sama seperti tabel di database sumber. Jika database sumber dan tujuan tidak mengandung tabel dengan nama identik, pra-pemeriksaan berhasil. Jika tidak, kesalahan akan dilaporkan selama pra-pemeriksaan, dan tugas sinkronisasi data tidak dapat dimulai.
CatatanJika database sumber dan tujuan mengandung tabel dengan nama yang sama dan tabel di database tujuan tidak dapat dihapus atau diganti namanya, Anda dapat menggunakan fitur pemetaan nama objek untuk mengganti nama tabel yang disinkronkan ke database tujuan. Untuk informasi lebih lanjut, lihat Pemetaan Nama Objek.
Ignore Errors and Proceed: Melewati pra-pemeriksaan untuk nama tabel identik di database sumber dan tujuan.
PeringatanJika Anda memilih Ignore Errors and Proceed, ketidaksesuaian data mungkin terjadi dan bisnis Anda mungkin terpapar risiko potensial.
Jika database sumber dan tujuan memiliki skema yang sama dan catatan data di database tujuan memiliki nilai primary key atau unique key yang sama dengan catatan data di database sumber:
Selama sinkronisasi data penuh, DTS tidak akan menyinkronkan catatan data tersebut ke database tujuan. Catatan data yang ada di database tujuan tetap dipertahankan.
Selama sinkronisasi data inkremental, DTS akan menyinkronkan catatan data tersebut ke database tujuan. Catatan data yang ada di database tujuan akan ditimpa.
Jika database sumber dan tujuan memiliki skema yang berbeda, data mungkin gagal diinisialisasi. Dalam hal ini, hanya beberapa kolom yang disinkronkan, atau instance sinkronisasi data gagal. Lanjutkan dengan hati-hati.
Capitalization of Object Names in Destination Instance
Penulisan kapitalisasi nama database, nama tabel, dan nama kolom di instance tujuan. Secara default, DTS default policy dipilih. Anda dapat memilih opsi lain untuk memastikan bahwa penulisan kapitalisasi nama objek konsisten dengan yang ada di database sumber atau tujuan. Untuk informasi lebih lanjut, lihat Tentukan Penulisan Kapitalisasi Nama Objek di Instance Tujuan.
Source Objects
Pilih satu atau lebih objek dari bagian Source Objects dan klik ikon
untuk menambahkan objek ke bagian Selected Objects.CatatanAnda dapat memilih kolom, tabel, atau skema sebagai objek yang akan disinkronkan.
Selected Objects
Untuk mengganti nama objek yang ingin Anda sinkronkan ke instance tujuan, klik kanan objek di bagian Selected Objects. Untuk informasi lebih lanjut, lihat bagian "Pemetaan Nama Objek Tunggal" dari topik Pemetaan Nama Objek.
Untuk mengganti nama beberapa objek sekaligus, klik Batch Edit di pojok kanan atas bagian Selected Objects. Untuk informasi lebih lanjut, lihat bagian "Pemetaan Beberapa Nama Objek Sekaligus" dari topik Pemetaan Nama Objek.
CatatanUntuk menentukan kondisi untuk memfilter data, klik kanan tabel di bagian Selected Objects. Di kotak dialog yang muncul, tentukan kondisi tersebut. Untuk informasi lebih lanjut, lihat Setel Kondisi Filter.
Untuk memilih operasi SQL yang dilakukan pada database atau tabel tertentu, klik kanan objek di bagian Selected Objects. Di kotak dialog yang muncul, pilih operasi SQL yang ingin Anda sinkronkan. Untuk informasi lebih lanjut, lihat bagian Operasi SQL yang Mendukung Sinkronisasi Inkremental dari topik ini.
Jika Anda menggunakan fitur pemetaan nama objek untuk mengganti nama objek, objek lain yang bergantung pada objek tersebut mungkin gagal disinkronkan.
Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.
Parameter
Deskripsi
Dedicated Cluster for Task Scheduling
Secara default, DTS menjadwalkan tugas ke klaster bersama jika Anda tidak menentukan klaster khusus. Jika Anda ingin meningkatkan stabilitas instance sinkronisasi data, belilah klaster khusus. Untuk informasi lebih lanjut, lihat Apa Itu Klaster Khusus DTS.
Retry Time for Failed Connections
Rentang waktu ulang untuk koneksi gagal. Jika database sumber atau tujuan gagal terhubung setelah tugas sinkronisasi data dimulai, DTS segera mencoba kembali koneksi dalam rentang waktu tersebut. Nilai valid: 10 hingga 1440. Unit: menit. Nilai default: 720. Kami sarankan Anda menyetel parameter ini ke nilai lebih besar dari 30. Jika DTS berhasil tersambung kembali ke database sumber dan tujuan dalam rentang waktu yang ditentukan, DTS melanjutkan tugas sinkronisasi data. Jika tidak, tugas sinkronisasi data gagal.
CatatanJika Anda menentukan rentang waktu ulang yang berbeda untuk beberapa tugas sinkronisasi data yang memiliki database sumber atau tujuan yang sama, rentang waktu ulang terpendek yang diambil akan didahulukan.
Saat DTS mencoba kembali koneksi, Anda akan dikenakan biaya untuk instance DTS. Kami sarankan Anda menentukan rentang waktu ulang berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepaskan instance DTS sesegera mungkin setelah instance sumber dan tujuan dilepaskan.
Retry Time for Other Issues
Rentang waktu ulang untuk masalah lainnya. Misalnya, jika operasi DDL atau DML gagal dilakukan setelah tugas sinkronisasi data dimulai, DTS segera mencoba kembali operasi tersebut dalam rentang waktu tersebut. Nilai valid: 1 hingga 1440. Unit: menit. Nilai default: 10. Kami sarankan Anda menyetel parameter ini ke nilai lebih besar dari 10. Jika operasi yang gagal berhasil dilakukan dalam rentang waktu yang ditentukan, DTS melanjutkan tugas sinkronisasi data. Jika tidak, tugas sinkronisasi data gagal.
PentingNilai parameter Retry Time for Other Issues harus lebih kecil daripada nilai parameter Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization
Selama sinkronisasi data penuh, DTS menggunakan sumber daya baca dan tulis dari database sumber dan tujuan. Ini dapat meningkatkan beban pada server database. Anda dapat mengonfigurasi parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s) untuk tugas sinkronisasi data penuh guna mengurangi beban pada server database tujuan.
CatatanAnda hanya dapat mengonfigurasi parameter ini jika Full Data Synchronization dipilih untuk parameter Synchronization Types.
Enable Throttling for Incremental Data Synchronization
Menentukan apakah akan mengaktifkan pembatasan untuk sinkronisasi data inkremental. Anda dapat mengaktifkan pembatasan untuk sinkronisasi data inkremental berdasarkan kebutuhan bisnis Anda. Untuk mengonfigurasi pembatasan, Anda harus mengonfigurasi parameter RPS of Incremental Data Synchronization dan Data synchronization speed for incremental synchronization (MB/s). Ini mengurangi beban pada server database tujuan.
Environment Tag
Tag lingkungan yang digunakan untuk mengidentifikasi instance DTS. Anda dapat memilih tag lingkungan berdasarkan kebutuhan bisnis Anda. Dalam contoh ini, Anda tidak perlu mengonfigurasi parameter ini.
Configure ETL
Menentukan apakah akan mengaktifkan fitur ekstraksi, transformasi, dan pemuatan (ETL). Untuk informasi lebih lanjut, lihat Apa Itu ETL? Nilai valid:
Yes: Mengonfigurasi fitur ETL. Anda dapat memasukkan pernyataan pemrosesan data di editor kode. Untuk informasi lebih lanjut, lihat Konfigurasikan ETL dalam Tugas Migrasi Data atau Sinkronisasi Data.
No: Tidak mengonfigurasi fitur ETL.
Monitoring and Alerting
Menentukan apakah akan mengonfigurasi peringatan untuk instance sinkronisasi data. Jika tugas gagal atau latensi sinkronisasi melebihi ambang batas yang ditentukan, kontak peringatan akan menerima notifikasi. Nilai valid:
No: Tidak mengaktifkan peringatan.
Yes: Mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan pengaturan notifikasi peringatan. Untuk informasi lebih lanjut, lihat bagian "Konfigurasikan Pemantauan dan Peringatan Saat Membuat Tugas DTS" dari topik Konfigurasikan Pemantauan dan Peringatan.
Klik Next Step: Data Verification untuk mengonfigurasi verifikasi data.
Untuk informasi lebih lanjut tentang cara menggunakan fitur verifikasi data, lihat Konfigurasikan Tugas Verifikasi Data.
Opsional. Setelah menyelesaikan konfigurasi sebelumnya, klik Next: Configure Database and Table Fields. Di halaman yang muncul, tentukan Type, Primary Key Column, dan Distribution Key untuk tabel yang ingin Anda sinkronkan ke instance tujuan AnalyticDB for PostgreSQL.
CatatanLangkah ini hanya tersedia jika Anda memilih Schema Synchronization untuk parameter Synchronization Types. Anda dapat menyetel Definition Status ke All dan modifikasi bidang database dan tabel.
Di bidang Primary Key Column, Anda dapat menentukan beberapa kolom untuk membentuk primary key komposit. Dalam hal ini, Anda harus menentukan satu atau lebih Primary Key Column sebagai Distribution Key. Untuk informasi lebih lanjut, lihat Kelola Tabel dan Tentukan Distribusi Tabel.
Simpan pengaturan tugas dan jalankan pra-pemeriksaan.
Untuk melihat parameter yang harus ditentukan saat Anda memanggil operasi API terkait untuk mengonfigurasi tugas DTS, arahkan pointer ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.
Jika Anda tidak perlu melihat atau telah melihat parameter, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
CatatanSebelum Anda dapat memulai tugas sinkronisasi data, DTS melakukan pra-pemeriksaan. Anda hanya dapat memulai tugas sinkronisasi data setelah tugas tersebut lulus pra-pemeriksaan.
Jika tugas sinkronisasi data gagal dalam pra-pemeriksaan, klik View Details di sebelah setiap item yang gagal. Setelah Anda menganalisis penyebab berdasarkan hasil pemeriksaan, atasi masalah tersebut. Kemudian, jalankan kembali pra-pemeriksaan.
Jika peringatan dipicu untuk suatu item selama pra-pemeriksaan:
Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan atasi masalah tersebut. Kemudian, jalankan pra-pemeriksaan lagi.
Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog Lihat Detail, klik Ignore. Di pesan yang muncul, klik OK. Kemudian, klik Precheck Again untuk menjalankan pra-pemeriksaan lagi. Jika Anda mengabaikan item peringatan, ketidaksesuaian data mungkin terjadi, dan bisnis Anda mungkin terpapar risiko potensial.
Tunggu hingga Success Rate menjadi 100%. Kemudian, klik Next: Purchase Instance.
Beli instance sinkronisasi data.
Di halaman buy, konfigurasikan parameter Metode Penagihan dan Kelas Instance untuk tugas sinkronisasi data. Tabel berikut menjelaskan parameter.
Bagian
Parameter
Deskripsi
New Instance Class
Metode Penagihan
Langganan: Anda membayar langganan saat membuat instance sinkronisasi data. Metode penagihan langganan lebih hemat biaya daripada metode penagihan bayar sesuai pemakaian untuk penggunaan jangka panjang.
Bayar sesuai pemakaian: Instance bayar sesuai pemakaian ditagih per jam. Metode penagihan bayar sesuai pemakaian cocok untuk penggunaan jangka pendek. Jika Anda tidak lagi memerlukan instance sinkronisasi data bayar sesuai pemakaian, Anda dapat melepaskan instance untuk mengurangi biaya.
Pengaturan Grup Sumber Daya
Grup sumber daya tempat instance sinkronisasi data berada. Nilai default: default resource group. Untuk informasi lebih lanjut, lihat Apa itu Manajemen Sumber Daya?
Kelas Instance
DTS menyediakan kelas instance yang bervariasi dalam kecepatan sinkronisasi. Anda dapat memilih kelas instance berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Kelas instance dari instance sinkronisasi data.
Durasi Langganan
Jika Anda memilih metode penagihan langganan, tentukan durasi langganan dan jumlah instance sinkronisasi data yang ingin Anda buat. Durasi langganan bisa satu hingga sembilan bulan, satu tahun, dua tahun, tiga tahun, atau lima tahun.
CatatanParameter ini hanya tersedia jika Anda memilih metode penagihan Subscription.
Baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start. Di kotak dialog yang muncul, klik OK.
Anda dapat melihat kemajuan tugas di daftar tugas.
