Anda dapat menggunakan Data Transmission Service (DTS) untuk menyinkronkan data dari instans Redis yang dikelola sendiri di ECS ke instans Tair yang kompatibel dengan Redis.
Mengubah tipe arsitektur database sumber atau tujuan setelah mengonfigurasi tugas sinkronisasi data akan menyebabkan tugas gagal.
Prasyarat
Anda memiliki instans Redis sumber yang dikelola sendiri dan instans Tair tujuan. Untuk membuat instans Tair tujuan, lihat Langkah 1: Buat instans.
CatatanDTS hanya mendukung instans Tair dalam mode koneksi langsung. Untuk versi yang didukung, lihat Ikhtisar solusi sinkronisasi.
DTS juga mendukung sinkronisasi satu arah antar instans Tair. Konfigurasinya serupa, sehingga Anda dapat merujuk ke topik ini.
Instans Tair tujuan harus memiliki ruang penyimpanan lebih besar daripada yang digunakan oleh database Redis sumber yang dikelola sendiri.
Jika Redis sumber menggunakan arsitektur kluster, setiap node harus mendukung perintah
PSYNC, dan semua node harus menggunakan kata sandi koneksi yang sama.Parameter repl-timeout pada instans Redis sumber secara default bernilai 60 detik. Kami menyarankan menjalankan
config set repl-timeout 600untuk mengaturnya menjadi 600 detik. Jika database sumber berisi data dalam jumlah besar, tingkatkan nilai repl-timeout sesuai kebutuhan.Akun sumber harus memiliki izin PSYNC dan SYNC.
Batasan
|
Tipe |
Deskripsi |
|
Batasan database sumber |
|
|
Batasan lainnya |
|
Penagihan
|
Tipe |
Biaya |
|
Sinkronisasi data penuh |
Gratis. |
|
Sinkronisasi data inkremental |
Dikenai biaya. Untuk detailnya, lihat Ikhtisar penagihan. |
Topologi sinkronisasi yang didukung
-
Sinkronisasi satu arah satu-ke-satu
-
Sinkronisasi satu arah satu-ke-banyak
-
Sinkronisasi satu arah bertingkat
Detail topologi dan catatan penggunaan dijelaskan dalam Topologi sinkronisasi data.
Perintah sinkronisasi yang didukung
-
APPEND
-
BITOP, BLPOP, BRPOP, BRPOPLPUSH
-
DECR, DECRBY, DEL
-
EVAL, EVALSHA, EXEC, EXPIRE, EXPIREAT
-
GEOADD, GETSET
-
HDEL, HINCRBY, HINCRBYFLOAT, HMSET, HSET, HSETNX
-
INCR, INCRBY, INCRBYFLOAT
-
LINSERT, LPOP, LPUSH, LPUSHX, LREM, LSET, LTRIM
-
MOVE, MSET, MSETNX, MULTI
-
PERSIST, PEXPIRE, PEXPIREAT, PFADD, PFMERGE, PSETEX
-
RENAME, RENAMENX, RESTORE, RPOP, RPOPLPUSH, RPUSH, RPUSHX
-
SADD, SDIFFSTORE, SELECT, SET, SETBIT, SETEX, SETNX, SETRANGE, SINTERSTORE, SMOVE, SPOP, SREM, SUNIONSTORE
-
ZADD, ZINCRBY, ZINTERSTORE, ZREM, ZREMRANGEBYLEX, ZUNIONSTORE, ZREMRANGEBYRANK, ZREMRANGEBYSCORE
-
SWAPDB, UNLINK (hanya didukung jika instans Redis sumber versi 4.0 atau lebih baru)
-
XADD, XCLAIM, XDEL, XAUTOCLAIM, XGROUP CREATECONSUMER, XTRIM
-
Perintah
PUBLISHtidak disinkronkan. -
Untuk skrip Lua yang dipanggil dengan
EVALatauEVALSHA, DTS tidak dapat menjamin bahwa skrip berhasil dieksekusi di tujuan selama sinkronisasi data inkremental. Hal ini karena tujuan tidak secara eksplisit mengembalikan hasil eksekusi. -
Untuk tipe data List, DTS tidak menghapus data yang sudah ada di tujuan saat mentransmisikan ulang data dengan
syncataupsync. Hal ini dapat menghasilkan data duplikat.
Prosedur
-
Buka halaman daftar tugas sinkronisasi di wilayah tujuan. Anda dapat menggunakan salah satu dari dua metode berikut:
Dari Konsol DTS
-
Masuk ke Konsol Data Transmission Service (DTS).
-
Di panel navigasi kiri, klik Data Synchronization.
-
Di pojok kiri atas halaman, pilih wilayah tempat instans sinkronisasi berada.
Dari Konsol DMS
CatatanOperasi aktual mungkin berbeda tergantung pada mode dan tata letak Konsol DMS. Untuk informasi lebih lanjut, lihat Mode sederhana dan Sesuaikan tata letak dan gaya antarmuka DMS.
-
Masuk ke Data Management (DMS).
-
Di bilah menu atas, pilih .
-
Di sebelah kanan Data Synchronization Tasks, pilih wilayah tempat instans sinkronisasi berada.
-
-
Klik Create Task untuk membuka halaman konfigurasi tugas.
Konfigurasikan database sumber dan tujuan.
Bagian
Parameter
Deskripsi
N/A
Task Name
DTS secara otomatis menghasilkan nama tugas. Kami menyarankan Anda menentukan nama deskriptif agar mudah diidentifikasi. Nama tidak harus unik.
Source Database
Select Existing Connection
-
Untuk menggunakan instans database yang ditambahkan ke sistem (baru dibuat atau disimpan), pilih instans database dari daftar drop-down. Informasi database akan dikonfigurasi secara otomatis.
CatatanDi Konsol DMS, item konfigurasi ini bernama Select a DMS database instance..
-
Jika Anda belum menambahkan instans database ke sistem, atau tidak perlu menggunakan instans yang sudah ditambahkan, konfigurasikan manual informasi database berikut.
Database Type
Pilih Tair/Redis.
Access Method
Pilih Self-managed Database on ECS.
Instance Region
Pilih wilayah instans ECS tempat database Redis sumber berada.
Replicate Data Across Alibaba Cloud Accounts
Dalam contoh ini, data disinkronkan dalam satu akun Alibaba Cloud yang sama. Pilih No.
ECS Instance ID
Pilih ID instans ECS tempat database Redis sumber berada.
CatatanJika database Redis sumber menggunakan arsitektur kluster, pilih ID instans ECS tempat node master salah satu shard berada. Anda juga harus menambahkan manual Blok CIDR server DTS di wilayah yang sesuai ke aturan keamanan semua instans ECS lainnya. Untuk informasi lebih lanjut, lihat Buat grup keamanan, Asosiasikan instans dengan grup keamanan, dan Tambahkan Blok CIDR server DTS ke daftar putih.
Instance Mode
Pilih Standalone atau Cluster sesuai arsitektur database Redis sumber Anda.
Port Number
Masukkan port layanan database Redis sumber. Nilai default adalah 6379.
CatatanJika database Redis sumber menggunakan arsitektur kluster, masukkan port layanan node master salah satu shard.
Authentication Method
Pilih metode autentikasi sesuai kebutuhan Anda. Dalam contoh ini, Password Login dipilih.
CatatanHanya Redis 6.0 dan yang lebih baru yang mendukung Account + Password Login.
Jika Anda memilih Secret-free login, pastikan akses tanpa kata sandi diaktifkan untuk database Redis. Untuk informasi cara mengaktifkan akses tanpa kata sandi pada instans Tair (Redis OSS-Compatible), lihat Aktifkan akses tanpa kata sandi melalui VPC.
Database Password
Masukkan kata sandi yang digunakan untuk menghubungkan ke database Redis sumber.
CatatanParameter ini opsional. Jika tidak ada kata sandi yang diatur, biarkan bidang ini kosong.
Masukkan kata sandi dalam format
<user>:<password>. Misalnya, jika username kustom untuk instans Redis Anda adalah admin dan kata sandinya Rp829dlwa, masukkanadmin:Rp829dlwa.
Encryption
Pilih Non-encrypted atau SSL-encrypted sesuai kebutuhan instans database Anda.
CatatanJika Anda menggunakan instans Redis yang dikelola sendiri (di mana Access Method bukan Alibaba Cloud Instance) dan Anda memilih SSL-encrypted, Anda juga harus mengunggah CA Certificate dan memasukkan CA Certificate Password.
Destination Database
Select Existing Connection
-
Untuk menggunakan instans database yang ditambahkan ke sistem (baru dibuat atau disimpan), pilih instans database dari daftar drop-down. Informasi database akan dikonfigurasi secara otomatis.
CatatanDi Konsol DMS, item konfigurasi ini bernama Select a DMS database instance..
-
Jika Anda belum menambahkan instans database ke sistem, atau tidak perlu menggunakan instans yang sudah ditambahkan, konfigurasikan manual informasi database berikut.
Database Type
Pilih Tair/Redis.
Access Method
Pilih Alibaba Cloud Instance.
Instance Region
Pilih wilayah instans Tair tujuan.
Replicate Data Across Alibaba Cloud Accounts
Dalam contoh ini, data disinkronkan dalam satu akun Alibaba Cloud yang sama. Pilih No.
Instance ID
Pilih ID instans Tair tujuan.
Authentication Method
Pilih metode autentikasi sesuai kebutuhan Anda. Dalam contoh ini, Password Login dipilih.
CatatanHanya Redis 6.0 dan yang lebih baru yang mendukung Account + Password Login.
Jika Anda memilih Secret-free login, pastikan akses tanpa kata sandi diaktifkan untuk database Redis. Untuk informasi cara mengaktifkan akses tanpa kata sandi pada instans Tair (Redis OSS-Compatible), lihat Aktifkan akses tanpa kata sandi melalui VPC.
Database Password
Masukkan kata sandi yang digunakan untuk menghubungkan ke instans Tair tujuan.
CatatanMasukkan kata sandi dalam format
<user>:<password>. Misalnya, jika username kustom untuk instans Tair Anda adalah admin dan kata sandinya Rp829dlwa, masukkanadmin:Rp829dlwa.Encryption
Pilih Non-encrypted atau SSL-encrypted sesuai kebutuhan instans database Anda.
CatatanJika Anda menggunakan instans Redis yang dikelola sendiri (di mana Access Method bukan Alibaba Cloud Instance) dan Anda memilih SSL-encrypted, Anda juga harus mengunggah CA Certificate dan memasukkan CA Certificate Password.
-
Setelah menyelesaikan konfigurasi, klik Test Connectivity and Proceed di bagian bawah halaman.
CatatanPastikan segmen alamat IP layanan DTS telah ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan agar server DTS dapat mengaksesnya. Untuk informasi lebih lanjut, lihat Tambahkan alamat IP server DTS ke daftar putih.
Jika database sumber atau tujuan adalah database yang dikelola sendiri (di mana Access Method bukan Alibaba Cloud Instance), Anda juga harus mengklik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers yang muncul.
Konfigurasikan objek tugas.
Di halaman Configure Objects, konfigurasikan objek yang akan disinkronkan.
Parameter
Deskripsi
Synchronization Types
Full Data Synchronization + Incremental Data Synchronization dipilih secara default.
Processing Mode of Conflicting Tables
-
Precheck and Report Errors: Memeriksa apakah tujuan kosong. Pemeriksaan awal lolos jika tujuan kosong. Jika tujuan tidak kosong, pemeriksaan awal gagal, error dilaporkan, dan pekerjaan sinkronisasi data tidak dimulai.
-
Ignore Errors and Proceed: Melewatkan pemeriksaan awal Check the existence of objects in the destination database..
PeringatanJika Anda memilih Ignore Errors and Proceed, data sumber akan menimpa data tujuan selama sinkronisasi jika kunci sumber dan tujuan memiliki nama yang sama. Hal ini dapat menyebabkan kehilangan data di tujuan. Pilih opsi ini dengan hati-hati.
Source Objects
Di kotak Source Objects, klik objek yang akan disinkronkan, lalu klik
untuk memindahkannya ke kotak Selected Objects.CatatanAnda hanya dapat memilih objek pada level database. Untuk menyinkronkan data kunci tertentu dalam database, gunakan fitur data filtering di panel Selected Objects.
Selected Objects
Untuk menentukan database tujuan (DB 0 hingga DB 255) atau memfilter data berdasarkan awalan, gunakan fitur pemetaan atau penyaringan. Di panel Selected Objects, klik kanan database yang akan disinkronkan, lalu konfigurasikan pengaturan di kotak dialog Edit Schema yang muncul. Untuk informasi lebih lanjut, lihat Map object names dan Specify filter conditions.
-
Klik Next: Advanced Settings untuk mengonfigurasi parameter lanjutan.
Parameter
Deskripsi
Dedicated Cluster for Task Scheduling
Secara default, DTS menjadwalkan tugas pada kluster bersama, dan Anda tidak perlu memilih kluster. Untuk kinerja yang lebih stabil, Anda dapat membeli kluster khusus untuk menjalankan tugas sinkronisasi DTS. Untuk informasi lebih lanjut, lihat Apa itu kluster khusus DTS?.
Retry Time for Failed Connections
Setelah tugas sinkronisasi dimulai, jika koneksi ke database sumber atau tujuan gagal, DTS melaporkan error dan segera mulai mencoba koneksi ulang. Durasi percobaan ulang default adalah 720 menit. Anda juga dapat menentukan durasi khusus dari 10 hingga 1.440 menit. Kami menyarankan Anda mengatur durasi minimal 30 menit. Jika DTS berhasil terhubung kembali ke database dalam durasi yang ditentukan, tugas sinkronisasi akan dilanjutkan secara otomatis. Jika tidak, tugas gagal.
Catatan-
Jika Anda memiliki beberapa instans DTS (misalnya, Instans A dan Instans B) yang berbagi sumber atau tujuan yang sama, dan Anda mengatur waktu percobaan ulang jaringan menjadi 30 menit untuk Instans A dan 60 menit untuk Instans B, durasi yang lebih pendek yaitu 30 menit akan digunakan untuk keduanya.
-
Karena DTS menagih berdasarkan waktu proses tugas selama periode percobaan ulang koneksi, kami menyarankan Anda menyesuaikan durasi percobaan ulang sesuai kebutuhan bisnis atau segera rilis instans DTS setelah instans database sumber dan tujuan dirilis.
Retry Time for Other Issues
Setelah tugas sinkronisasi dimulai, jika terjadi masalah non-koneksi lainnya pada database sumber atau tujuan (seperti exception eksekusi DDL atau DML), DTS melaporkan error dan segera mulai melakukan operasi percobaan ulang terus-menerus. Durasi percobaan ulang default adalah 10 menit. Anda juga dapat menyesuaikan durasi percobaan ulang dalam rentang 1 hingga 1.440 menit. Kami menyarankan Anda mengaturnya minimal 10 menit. Jika operasi terkait berhasil dalam durasi percobaan ulang yang ditetapkan, tugas sinkronisasi akan dilanjutkan secara otomatis. Jika tidak, tugas gagal.
PentingNilai Retry Time for Other Issues harus lebih kecil daripada Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization
Selama tahap sinkronisasi penuh, DTS mengonsumsi sumber daya baca dan tulis dari database sumber dan tujuan, yang dapat meningkatkan beban database. Untuk mengurangi beban pada database sumber dan tujuan, Anda dapat mengatur batas laju untuk tugas sinkronisasi penuh dengan mengonfigurasi parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s).
CatatanParameter ini tersedia hanya jika Synchronization Types mencakup Full Data Synchronization.
Enable Throttling for Incremental Data Synchronization
Anda juga dapat mengatur batas laju untuk tugas sinkronisasi inkremental. Untuk mengurangi tekanan pada database tujuan, atur RPS of Incremental Data Synchronization dan Data synchronization speed for incremental synchronization (MB/s).
Environment Tag
Anda dapat memilih tag lingkungan untuk mengidentifikasi instans. Tidak diperlukan tag untuk contoh ini.
Extend Expiration Time of Destination Database Key
Mengatur waktu kedaluwarsa tambahan untuk kunci yang disinkronkan dari database sumber ke database tujuan. Untuk memastikan konsistensi data, kami menyarankan mengatur waktu kedaluwarsa tambahan jika Anda menggunakan perintah seperti berikut:
CatatanDalam skenario yang melibatkan kunci terdistribusi, hal ini dapat mencegah kunci dilepas tepat waktu.
EXPIRE key seconds PEXPIRE key milliseconds EXPIREAT key timestamp PEXPIREAT key timestampMsUse Slave Node
Jika Instance Mode instans Redis sumber yang dikelola sendiri adalah Cluster, Anda dapat memilih untuk membaca data dari node master atau slave. Nilai default adalah No, yang berarti data dibaca dari node master.
Configure ETL
Pilih apakah akan mengaktifkan fitur ekstrak, transformasi, muat (ETL). Untuk informasi lebih lanjut, lihat Apa itu ETL? Nilai yang valid:
-
Yes: Mengaktifkan fitur ETL. Masukkan pernyataan pemrosesan data di editor kode. Untuk informasi lebih lanjut, lihat Konfigurasikan ETL dalam tugas migrasi data atau sinkronisasi data.
-
No: Menonaktifkan fitur ETL.
-
-
Klik Next: Data Validation untuk mengonfigurasi tugas validasi data.
Jika Anda ingin menggunakan fitur validasi data, lihat Konfigurasikan validasi data untuk instruksi konfigurasi.
-
Simpan tugas dan jalankan pemeriksaan awal.
-
Untuk melihat parameter API untuk mengonfigurasi instans ini, arahkan kursor ke tombol Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters di balon info.
-
Jika Anda telah selesai melihat parameter API, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
Catatan-
Sebelum pekerjaan sinkronisasi dimulai, DTS menjalankan pemeriksaan awal. Pekerjaan hanya dapat dimulai setelah semua item pemeriksaan awal lolos.
-
Jika pemeriksaan awal gagal, klik View Details untuk item yang gagal. Perbaiki masalah sesuai petunjuk, lalu jalankan pemeriksaan awal lagi.
-
Jika pemeriksaan awal mengembalikan peringatan:
-
Jika item pemeriksaan gagal dan tidak dapat diabaikan, klik View Details di sebelah item tersebut. Ikuti instruksi untuk memperbaiki masalah, lalu jalankan pemeriksaan awal lagi.
-
Untuk item pemeriksaan yang dapat diabaikan, Anda dapat mengklik Confirm Alert Details, Ignore, OK, dan Precheck Again secara berurutan untuk melewati peringatan dan menjalankan ulang pemeriksaan awal. Jika Anda memilih untuk mengabaikan item peringatan, hal ini dapat menyebabkan masalah seperti ketidakkonsistenan data dan menimbulkan risiko bagi bisnis Anda.
-
-
Beli instans.
-
Saat Success Rate mencapai 100%, klik Next: Purchase Instance.
-
Di halaman Purchase, pilih metode penagihan dan spesifikasi link untuk instans sinkronisasi data. Tabel berikut menjelaskan parameter ini secara detail.
Kategori
Parameter
Deskripsi
New Instance Class
Billing Method
-
Subscription: Anda membayar saat membuat instans. Ini cocok untuk kebutuhan jangka panjang dan lebih hemat biaya dibandingkan pay-as-you-go. Semakin lama durasi langganan, semakin tinggi diskonnya.
-
Pay-as-you-go: Anda ditagih per jam. Ini cocok untuk kebutuhan jangka pendek. Anda dapat segera merilis instans setelah digunakan untuk menghemat biaya.
Resource Group Configuration
Kelompok sumber daya tempat instans berada. Default-nya adalah kelompok sumber daya default. Untuk informasi lebih lanjut, lihat Apa itu Resource Management?.
Link Specification
DTS menyediakan spesifikasi sinkronisasi dengan tingkat kinerja berbeda. Spesifikasi link sinkronisasi memengaruhi laju sinkronisasi. Anda dapat memilih spesifikasi berdasarkan skenario bisnis Anda. Untuk informasi lebih lanjut, lihat Spesifikasi link sinkronisasi data.
Subscription Duration
Dalam mode subscription, pilih durasi dan jumlah untuk instans langganan. Anda dapat memilih langganan bulanan dari 1 hingga 9 bulan, atau langganan tahunan selama 1, 2, 3, atau 5 tahun.
CatatanOpsi ini hanya tersedia jika metode penagihan adalah Subscription.
-
-
Setelah menyelesaikan konfigurasi, baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start, lalu klik OK di kotak dialog OK.
Anda dapat melihat progres tugas di halaman Data Synchronization.
CatatanJika instans DTS Anda dikonfigurasi untuk sinkronisasi data penuh dan inkremental (artinya Synchronization Types mencakup Full Data Synchronization dan Incremental Data Synchronization), tugas akan muncul sebagai Incremental Data Synchronization di daftar tugas sinkronisasi.
-