Layanan Transmisi Data (DTS) mendukung sinkronisasi data dari instans AnalyticDB for PostgreSQL ke instans Alibaba Cloud Message Queue for Kafka.
Fitur ini sedang dalam pratinjau undangan. Untuk menggunakan fitur ini, kirimkan tiket.
Cakupan
Sebuah topik telah dibuat di instans tujuan Alibaba Cloud Message Queue for Kafka untuk menerima data yang disinkronkan. Untuk informasi selengkapnya, lihat Langkah 1: Buat topik.
Ruang penyimpanan instans tujuan Alibaba Cloud Message Queue for Kafka harus lebih besar daripada ruang penyimpanan yang digunakan oleh instans sumber AnalyticDB for PostgreSQL.
Catatan penggunaan
Batasan database sumber
Tipe | Batasan |
Sebelum sinkronisasi |
|
Selama sinkronisasi |
|
Batasan database tujuan
Tipe | Batasan |
Sebelum sinkronisasi |
|
Selama sinkronisasi |
|
SQL sinkronisasi yang didukung |
|
Objek sinkronisasi yang didukung |
|
Deskripsi penagihan
Tipe sinkronisasi | Biaya konfigurasi tugas |
Sinkronisasi skema dan sinkronisasi data penuh | Gratis. |
Sinkronisasi inkremental | Dikenai biaya. Untuk informasi selengkapnya, lihat Ikhtisar penagihan. |
Prosedur
Buka halaman daftar tugas sinkronisasi data di wilayah tujuan. Anda dapat menggunakan salah satu metode berikut.
Dari Konsol DTS
Login ke Konsol DTS.
Di panel navigasi sebelah kiri, klik Data Synchronization.
Di pojok kiri atas halaman, pilih wilayah tempat instans sinkronisasi berada.
Dari Konsol DMS
CatatanOperasi aktual dapat berbeda tergantung pada mode dan tata letak konsol DMS. Untuk informasi selengkapnya, lihat Konsol mode sederhana dan Sesuaikan tata letak dan gaya konsol DMS.
Login ke Konsol DMS.
Dari bilah menu atas, pilih .
Di sebelah kanan Data Synchronization Tasks, pilih wilayah instans sinkronisasi.
Klik Create Task untuk membuka halaman konfigurasi tugas.
Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter-parameter tersebut.
Kategori
Konfigurasi
Deskripsi
Tidak ada
Task Name
DTS secara otomatis menghasilkan nama tugas. Kami menyarankan Anda menentukan nama deskriptif agar mudah diidentifikasi. Nama ini tidak perlu unik.
Source Database
Select Existing Connection
Untuk menggunakan instans database yang terdaftar di sistem (baru dibuat atau disimpan), pilih instans database yang diinginkan dari daftar drop-down. Informasi database di bawah ini akan dikonfigurasi secara otomatis.
CatatanDi konsol DMS, item konfigurasi ini adalah Select a DMS database instance..
Jika Anda belum mendaftarkan instans database ke sistem atau tidak perlu menggunakan instans terdaftar, konfigurasikan informasi database secara manual di bawah ini.
Database Type
Pilih AnalyticDB for PostgreSQL.
Access Method
Pilih Alibaba Cloud Instance.
Instance Region
Pilih wilayah tempat instans sumber AnalyticDB for PostgreSQL berada.
Replicate Data Across Alibaba Cloud Accounts
Contoh ini menunjukkan sinkronisasi dalam satu akun Alibaba Cloud. Pilih No.
Instance ID
Pilih ID instans sumber AnalyticDB for PostgreSQL.
Database Name
Masukkan nama database yang berisi data yang akan disinkronkan di instans sumber AnalyticDB for PostgreSQL.
Database Account
Masukkan akun database instans sumber AnalyticDB for PostgreSQL. Akun ini harus memiliki izin baca pada objek yang akan disinkronkan.
Database Password
Masukkan password yang sesuai dengan akun database tersebut.
Destination Database
Select Existing Connection
Untuk menggunakan instans database yang terdaftar di sistem (baru dibuat atau disimpan), pilih instans database yang diinginkan dari daftar drop-down. Informasi database di bawah ini akan dikonfigurasi secara otomatis.
CatatanDi konsol DMS, item konfigurasi ini adalah Select a DMS database instance..
Jika Anda belum mendaftarkan instans database ke sistem atau tidak perlu menggunakan instans terdaftar, konfigurasikan informasi database secara manual di bawah ini.
Database Type
Pilih Kafka.
Access Method
Pilih Alibaba Cloud Instance.
Instance Region
Pilih wilayah tempat instans tujuan Alibaba Cloud Message Queue for Kafka berada.
Kafka Instance ID
Pilih ID instans tujuan Alibaba Cloud Message Queue for Kafka.
Encryption
Berdasarkan kebutuhan bisnis dan keamanan Anda, pilih Non-encrypted atau SCRAM-SHA-256.
Topic
Dari daftar drop-down, pilih topik untuk menerima data.
Use Kafka Schema Registry
Kafka Schema Registry adalah lapisan layanan metadata yang menyediakan antarmuka RESTful untuk menyimpan dan mengambil skema Avro.
No: Jangan gunakan Kafka Schema Registry.
Yes: Gunakan Kafka Schema Registry. Anda harus memasukkan URL atau alamat IP tempat skema Avro terdaftar di Kafka Schema Registry.
Setelah menyelesaikan konfigurasi, klik Test Connectivity and Proceed di bagian bawah halaman.
CatatanPastikan blok alamat IP layanan DTS telah ditambahkan ke pengaturan keamanan database sumber dan tujuan, baik secara otomatis maupun manual, untuk mengizinkan akses dari server DTS. Untuk informasi selengkapnya, lihat Tambahkan daftar putih alamat IP server DTS.
Jika database sumber atau tujuan adalah database yang dikelola sendiri (Access Method bukan Alibaba Cloud Instance), Anda juga harus mengklik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.
Konfigurasikan objek tugas.
Di halaman Configure Objects, Anda dapat mengonfigurasi objek yang akan disinkronkan.
Konfigurasi
Deskripsi
Synchronization Types
Incremental Synchronization dipilih secara default. Anda juga perlu memilih Schema Synchronization dan Full Data Synchronization. Setelah pemeriksaan awal selesai, DTS menginisialisasi objek sinkronisasi di klaster tujuan dengan data penuh dari instans sumber. Data ini berfungsi sebagai garis dasar untuk sinkronisasi inkremental berikutnya.
CatatanSchema Synchronization tidak didukung ketika Access Method untuk instans Kafka tujuan adalah Alibaba Cloud Instance.
Processing Mode of Conflicting Tables
Precheck and Report Errors: Memeriksa keberadaan tabel dengan nama yang sama di database tujuan. Jika ditemukan tabel dengan nama yang sama, kesalahan akan dilaporkan selama pemeriksaan awal dan tugas sinkronisasi data tidak akan dimulai. Jika tidak ditemukan, pemeriksaan awal berhasil.
CatatanJika Anda tidak dapat menghapus atau mengganti nama tabel dengan nama yang sama di database tujuan, Anda dapat menggunakan fitur pemetaan nama objek untuk mengubah nama tabel di database tujuan. Untuk informasi selengkapnya, lihat Pemetaan nama objek.
Ignore Errors and Proceed: Melewati pemeriksaan tabrakan nama di database tujuan.
PeringatanMemilih Ignore Errors and Proceed dapat menyebabkan inkonsistensi data dan membahayakan bisnis Anda. Misalnya:
Jika skema tabel konsisten dan suatu catatan di database tujuan memiliki nilai kunci primer atau kunci unik yang sama dengan catatan di database sumber:
Selama sinkronisasi data penuh, DTS mempertahankan catatan di klaster tujuan. Catatan yang sesuai dari database sumber tidak disinkronkan.
Selama sinkronisasi inkremental, catatan dari database sumber akan menimpa catatan di database tujuan.
Jika skema tabel tidak konsisten, inisialisasi data dapat gagal. Hal ini dapat mengakibatkan hanya sebagian kolom yang disinkronkan atau kegagalan sinkronisasi total. Harap berhati-hati.
Data Format in Kafka
Pilih format penyimpanan data yang diperlukan untuk sinkronisasi ke instans Kafka.
Jika Anda memilih DTS Avro, Anda perlu mengurai data sesuai definisi skema DTS Avro. Untuk informasi selengkapnya, lihat Definisi skema DTS Avro dan Contoh deserialisasi DTS Avro.
Jika Anda memilih Canal JSON, lihat Canal JSON untuk deskripsi parameter dan contoh.
Kafka Data Compression Format
Pilih format kompresi yang diperlukan untuk pesan Kafka.
LZ4 (default): Menawarkan rasio kompresi lebih rendah dan kecepatan kompresi lebih tinggi.
GZIP: Menawarkan rasio kompresi lebih tinggi dan kecepatan kompresi lebih rendah.
CatatanFormat ini mengonsumsi lebih banyak sumber daya CPU.
Snappy: Menawarkan rasio kompresi menengah dan kecepatan kompresi menengah.
Policy for Shipping Data to Kafka Partitions
Pilih kebijakan sesuai kebutuhan.
Message acknowledgement mechanism
Pilih mekanisme konfirmasi pesan sesuai kebutuhan.
Topic That Stores DDL Information
Dari daftar drop-down, pilih topik untuk menyimpan informasi DDL.
CatatanJika Anda tidak memilih topik, informasi DDL akan disimpan di topik yang menerima data secara default.
Capitalization of Object Names in Destination Instance
Anda dapat mengonfigurasi kebijakan huruf besar/kecil untuk nama objek database, tabel, dan kolom di instans tujuan. Secara default, DTS Default Policy dipilih. Anda juga dapat memilih untuk menggunakan kebijakan default database sumber atau tujuan. Untuk informasi selengkapnya, lihat Kebijakan huruf besar/kecil untuk nama objek tujuan.
Source Objects
Di kotak Source Objects, klik objek, lalu klik
untuk memindahkannya ke kotak Selected Objects.CatatanAnda dapat memilih objek untuk disinkronkan pada level tabel.
Selected Objects
Tidak diperlukan konfigurasi tambahan dalam contoh ini. Anda dapat menggunakan fitur pemetaan untuk mengatur nama topik, jumlah partisi untuk topik, atau nama kolom untuk tabel sumber di instans Kafka tujuan.
CatatanUntuk memilih operasi SQL yang akan disinkronkan pada level database atau tabel, klik kanan objek di bagian Selected Objects dan pilih operasi SQL yang diinginkan di kotak dialog yang muncul.
Jika Anda menggunakan fitur pemetaan nama objek, objek lain yang bergantung pada objek yang dipetakan mungkin gagal disinkronkan.
Klik Next: Advanced Settings.
Konfigurasi
Deskripsi
Dedicated Cluster for Task Scheduling
Secara default, DTS menjadwalkan tugas pada klaster bersama, sehingga Anda tidak perlu memilihnya. Untuk stabilitas tugas yang lebih baik, Anda dapat membeli klaster khusus untuk menjalankan tugas sinkronisasi DTS. Untuk informasi selengkapnya, lihat Apa itu klaster khusus DTS?.
Enable Encryption For Data Transmission
Mengaktifkan transmisi terenkripsi dapat memengaruhi kinerja sinkronisasi DTS. Pilih apakah akan mengaktifkan fitur ini berdasarkan kebutuhan produksi dan keamanan Anda.
No (default)
Yes
Retry Time for Failed Connections
Jika koneksi ke database sumber atau tujuan gagal setelah tugas sinkronisasi dimulai, DTS melaporkan kesalahan dan segera mencoba menghubungkan kembali. Durasi ulang default adalah 720 menit. Anda dapat menyesuaikan waktu ulang ke nilai antara 10 hingga 1.440 menit. Kami menyarankan pengaturan minimal 30 menit. Jika DTS berhasil terhubung kembali dalam waktu ulang yang ditentukan, tugas akan dilanjutkan secara otomatis. Jika tidak, tugas gagal.
CatatanUntuk beberapa instans DTS dengan sumber atau tujuan yang sama, seperti instans DTS A dan instans DTS B, jika waktu ulang jaringan diatur 30 menit untuk A dan 60 menit untuk B, maka waktu yang lebih singkat—yaitu 30 menit—yang berlaku.
Karena DTS menagih berdasarkan waktu proses tugas selama percobaan koneksi ulang, kami menyarankan Anda menyesuaikan waktu ulang sesuai kebutuhan bisnis atau segera melepas instans DTS setelah instans database sumber dan tujuan dilepas.
Retry Time for Other Issues
Setelah tugas sinkronisasi dimulai, jika terjadi masalah non-konektivitas di database sumber atau tujuan—seperti kesalahan eksekusi DDL atau DML—DTS melaporkan kesalahan dan segera melakukan operasi ulang secara terus-menerus. Durasi ulang default adalah 10 menit. Anda juga dapat menyesuaikan waktu ulang ke nilai antara 1 hingga 1.440 menit. Kami menyarankan pengaturan minimal 10 menit. Jika operasi terkait berhasil dalam waktu ulang yang ditentukan, tugas sinkronisasi akan dilanjutkan secara otomatis. Jika tidak, tugas gagal.
PentingNilai Retry Time for Other Issues harus lebih kecil daripada Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization
Selama fase sinkronisasi data penuh, DTS mengonsumsi sumber daya baca dan tulis dari database sumber dan tujuan, yang dapat meningkatkan beban mereka. Anda dapat mengatur batas laju untuk tugas sinkronisasi data penuh guna mengurangi tekanan pada database tujuan dengan mengonfigurasi Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s).
CatatanItem konfigurasi ini tersedia hanya jika Synchronization Types diatur ke Full Data Synchronization.
Anda juga dapat menyesuaikan laju sinkronisasi data penuh setelah instans sinkronisasi berjalan.
Enable Throttling for Incremental Data Synchronization
Anda juga dapat mengatur batas laju untuk tugas sinkronisasi inkremental guna mengurangi tekanan pada database tujuan dengan mengatur RPS of Incremental Data Synchronization dan Data synchronization speed for incremental synchronization (MB/s).
Environment Tag
Anda dapat memilih tag lingkungan untuk mengidentifikasi instans sesuai kebutuhan. Contoh ini tidak memerlukan pemilihan.
Scene Label
Anda dapat memilih tag skenario untuk mengidentifikasi kasus penggunaan instans sesuai kebutuhan. Tag skenario tidak memengaruhi operasi normal tugas. Contoh ini tidak memerlukan pemilihan.
Configure ETL
Tentukan apakah akan mengaktifkan fitur ekstrak, transformasi, muat (ETL). Untuk informasi selengkapnya, lihat Apa itu ETL?. Nilai yang valid:
Yes: mengonfigurasi fitur ETL. Anda dapat memasukkan pernyataan pemrosesan data di editor kode. Untuk informasi selengkapnya, lihat Konfigurasi ETL dalam tugas migrasi data atau sinkronisasi data.
No: tidak mengonfigurasi fitur ETL.
Monitoring and Alerting
Tentukan apakah akan mengonfigurasi peringatan. Jika sinkronisasi gagal atau latensi melebihi ambang batas yang ditentukan, notifikasi akan dikirim ke kontak peringatan.
Do Not Set: Tidak ada peringatan yang diatur.
Set: Mengonfigurasi peringatan. Anda juga harus mengatur ambang batas peringatan dan notifikasi peringatan. Untuk informasi selengkapnya, lihat Konfigurasi pemantauan dan peringatan selama konfigurasi tugas.
Simpan tugas dan lakukan pemeriksaan awal.
Untuk melihat parameter konfigurasi instans ini untuk operasi API, arahkan mouse ke tombol Next: Save Task Settings and Precheck, lalu klik Preview OpenAPI parameters di tooltip.
Jika Anda telah selesai melihat parameter API, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
CatatanSebelum pekerjaan sinkronisasi dimulai, pemeriksaan awal dilakukan. Pekerjaan hanya dapat dimulai setelah lulus pemeriksaan awal.
Jika pemeriksaan awal gagal, klik View Details di sebelah item yang gagal, selesaikan masalah sesuai petunjuk, lalu jalankan ulang pemeriksaan awal.
Jika peringatan muncul selama pemeriksaan awal:
Jika item pemeriksaan gagal dan tidak dapat diabaikan, klik View Details di sebelah item tersebut. Kemudian, ikuti petunjuk untuk memperbaiki masalah dan jalankan ulang pemeriksaan awal.
Untuk item pemeriksaan yang dapat diabaikan, klik Confirm Alert Details, Ignore, OK, dan Precheck Again secara berurutan untuk melewati peringatan dan menjalankan ulang pemeriksaan awal. Mengabaikan peringatan untuk item pemeriksaan dapat menyebabkan masalah seperti inkonsistensi data dan menimbulkan risiko bagi bisnis Anda.
Beli instance.
Ketika Success Rate mencapai 100%, klik Next: Purchase Instance.
Di halaman Purchase, pilih metode penagihan dan spesifikasi tautan untuk instans sinkronisasi data. Untuk informasi selengkapnya, lihat tabel berikut.
Kategori
Parameter
Deskripsi
New Instance Class
Metode Penagihan
Langganan: Anda membayar saat membuat instans. Metode ini cocok untuk kebutuhan jangka panjang, lebih terjangkau dibandingkan bayar sesuai penggunaan, dan menawarkan diskon lebih besar untuk durasi langganan yang lebih lama.
Bayar sesuai penggunaan: Ditagih per jam. Metode ini cocok untuk kebutuhan jangka pendek. Anda dapat melepas instans segera setelah selesai digunakan untuk menghemat biaya.
Konfigurasi Kelompok Sumber Daya
Kelompok sumber daya tempat instans berada. Nilai default-nya adalah default resource group. Untuk informasi selengkapnya, lihat Apa itu Manajemen Sumber Daya?.
Spesifikasi Tautan
DTS menyediakan spesifikasi sinkronisasi dengan tingkat kinerja berbeda. Spesifikasi tautan memengaruhi laju sinkronisasi. Pilih salah satu berdasarkan skenario bisnis Anda. Untuk informasi selengkapnya, lihat Spesifikasi tautan sinkronisasi data.
Durasi Langganan
Dalam mode langganan, pilih durasi dan jumlah untuk instans langganan. Anda dapat memilih 1 hingga 9 bulan untuk langganan bulanan, atau 1, 2, 3, atau 5 tahun untuk langganan tahunan.
CatatanOpsi ini hanya muncul ketika metode penagihan adalah Subscription.
Setelah menyelesaikan konfigurasi, baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start, lalu klik OK di kotak dialog OK.
Anda dapat melihat progres tugas di halaman sinkronisasi data.
FAQ
Apakah saya dapat mengubah Kafka Data Compression Format?
Ya, Anda dapat menggunakan fitur Ubah Objek Sinkronisasi untuk melakukan perubahan tersebut.
Apakah saya dapat mengubah Message acknowledgement mechanism?
Ya, Anda dapat menggunakan fitur Ubah Objek Sinkronisasi untuk melakukan perubahan tersebut.