Topik ini menjelaskan cara menggunakan Data Transmission Service (DTS) untuk memigrasikan data dari database Redis yang dikelola sendiri ke instans Tair (Redis OSS-Compatible). DTS mendukung migrasi data penuh dan inkremental. Kombinasi kedua jenis migrasi ini memungkinkan Anda memindahkan database Redis yang dikelola sendiri ke cloud secara lancar dengan gangguan layanan minimal.
Prasyarat
Anda telah membuat instans Redis sumber yang dikelola sendiri dan instans tujuan Tair (Redis OSS-Compatible). Untuk informasi selengkapnya tentang cara membuat instans Tair (Redis OSS-Compatible), lihat Langkah 1: Buat instans.
CatatanDTS saat ini hanya mendukung instans Tair (Redis OSS-Compatible) yang menggunakan mode koneksi langsung.
Untuk informasi versi database sumber dan tujuan yang didukung, lihat Ikhtisar solusi migrasi.
Redis yang dikelola sendiri dapat menjalankan perintah
psyncatausyncdengan baik.Instans tujuan Tair (Redis OSS-Compatible) harus memiliki ruang penyimpanan tersedia lebih besar daripada jumlah yang digunakan oleh database Redis sumber yang dikelola sendiri.
Catatan penggunaan
|
Jenis |
Deskripsi |
|
Batasan database sumber |
|
|
Batasan lainnya |
|
Penagihan
|
Jenis migrasi |
Biaya konfigurasi instans |
Biaya Lalu Lintas Internet |
|
Migrasi data penuh |
Gratis. |
Saat parameter Access Method database tujuan diatur ke Public IP Address, Anda dikenai biaya lalu lintas internet. Untuk informasi selengkapnya, lihat Ikhtisar penagihan. |
|
Migrasi data inkremental |
Dikenai biaya. Untuk informasi selengkapnya, lihat Ikhtisar penagihan. |
Jenis migrasi
Migrasi data penuh
DTS memigrasikan semua data yang ada dari objek yang dipilih dari database Redis yang dikelola sendiri ke instans tujuan Tair (Redis OSS-Compatible).
CatatanJika Anda hanya melakukan migrasi data penuh, jangan menulis data baru ke database Redis yang dikelola sendiri selama migrasi untuk memastikan konsistensi data.
Migrasi data inkremental
Selain migrasi data penuh, DTS memigrasikan pembaruan data inkremental dari database Redis yang dikelola sendiri ke instans tujuan Tair (Redis OSS-Compatible). Migrasi data inkremental memungkinkan migrasi lancar ke cloud tanpa gangguan layanan.
Perintah yang didukung untuk migrasi inkremental
-
APPEND
-
BITOP, BLPOP, BRPOP, BRPOPLPUSH
-
DECR, DECRBY, DEL
-
EVAL, EVALSHA, EXEC, EXPIRE, EXPIREAT
-
FLUSHALL, FLUSHDB
-
GEOADD, GETSET
-
HDEL, HINCRBY, HINCRBYFLOAT, HMSET, HSET, HSETNX
-
INCR, INCRBY, INCRBYFLOAT
-
LINSERT, LPOP, LPUSH, LPUSHX, LREM, LSET, LTRIM
-
MOVE, MSET, MSETNX, MULTI
-
PERSIST, PEXPIRE, PEXPIREAT, PFADD, PFMERGE, PSETEX, PUBLISH
-
RENAME, RENAMENX, RESTORE, RPOP, RPOPLPUSH, RPUSH, RPUSHX
-
SADD, SDIFFSTORE, SELECT, SET, SETBIT, SETEX, SETNX, SETRANGE, SINTERSTORE, SMOVE, SPOP, SREM, SUNIONSTORE
-
ZADD, ZINCRBY, ZINTERSTORE, ZREM, ZREMRANGEBYLEX, ZUNIONSTORE, ZREMRANGEBYRANK, ZREMRANGEBYSCORE
-
XADD, XCLAIM, XDEL, XAUTOCLAIM, XGROUP CREATECONSUMER, XTRIM
Persiapan (untuk migrasi inkremental)
Untuk memastikan tugas migrasi data inkremental berjalan sesuai harapan, nonaktifkan batasan pada buffer output replikasi. Topik ini menggunakan server yang menjalankan Linux sebagai contoh.
Jika Anda hanya perlu melakukan migrasi data penuh, Anda dapat melewati langkah ini.
-
Gunakan tool redis-cli untuk menghubungkan ke database Redis yang dikelola sendiri.
CatatanAnda dapat menggunakan redis-cli setelah menginstal Redis. Untuk informasi selengkapnya, kunjungi situs web komunitas Redis resmi.
redis-cli -h <host> -p <port> -a <password>Catatan-
<host>: Alamat koneksi database Redis yang dikelola sendiri. Anda dapat menggunakan 127.0.0.1 untuk koneksi lokal.
-
<port>: Port layanan database Redis yang dikelola sendiri. Nilai default adalah 6379.
-
<password>: Kata sandi database Redis yang dikelola sendiri.
Contoh:
redis-cli -h 127.0.0.1 -p 6379 -a Test123456 -
-
Jalankan perintah berikut untuk menonaktifkan batasan pada buffer output replikasi.
config set client-output-buffer-limit 'slave 0 0 0'
Prosedur
Buka halaman daftar tugas migrasi untuk wilayah tujuan menggunakan salah satu metode berikut.
Dari Konsol DTS
Masuk ke Konsol Data Transmission Service (DTS).
Di panel navigasi sebelah kiri, klik Data Migration.
Di pojok kiri atas halaman, pilih wilayah tempat instans migrasi berada.
Dari Konsol DMS
CatatanOperasi aktual dapat berbeda tergantung pada mode dan tata letak Konsol DMS. Untuk informasi selengkapnya, lihat Konsol mode sederhana dan Sesuaikan tata letak dan gaya Konsol DMS.
Masuk ke Konsol Data Management (DMS).
Di bilah menu atas, pilih .
Di sebelah kanan Data Migration Tasks, pilih wilayah tempat instans migrasi berada.
Klik Create Task untuk membuka halaman konfigurasi tugas.
Konfigurasikan database sumber dan tujuan.
Kategori
Parameter
Deskripsi
N/A
Task Name
DTS secara otomatis menghasilkan nama tugas. Kami menyarankan Anda menentukan nama deskriptif agar mudah diidentifikasi. Nama tersebut tidak harus unik.
Source Database
Select Existing Connection
Untuk menggunakan instans database yang telah ditambahkan ke sistem (dibuat atau disimpan), pilih instans database yang diinginkan dari daftar drop-down. Informasi database di bawah akan dikonfigurasi secara otomatis.
CatatanDi Konsol DMS, parameter ini bernama Select a DMS database instance..
Jika Anda belum mendaftarkan instans database ke sistem, atau tidak perlu menggunakan instans terdaftar, konfigurasikan informasi database secara manual di bawah.
Database Type
Pilih Tair/Redis.
Access Method
Pilih metode akses berdasarkan lokasi deployment database sumber. Contoh ini menggunakan Self-managed Database on ECS.
CatatanJika instans sumber adalah database yang dikelola sendiri, Anda juga harus menyelesaikan persiapan yang diperlukan.
Instance Region
Pilih wilayah tempat instans ECS yang meng-host database Redis sumber berada.
Replicate Data Across Alibaba Cloud Accounts
Dalam contoh ini, data dimigrasikan dalam satu Akun Alibaba Cloud yang sama. Pilih No.
ECS Instance ID
Pilih ID instans ECS yang meng-host database Redis sumber.
CatatanJika database Redis sumber menggunakan arsitektur kluster, pilih ID instans ECS tempat node master berada. Anda juga harus menambahkan blok CIDR server DTS untuk wilayah tersebut ke aturan grup keamanan semua instans kluster lainnya secara manual. Untuk informasi selengkapnya, lihat Buat grup keamanan, Kaitkan grup keamanan dengan instans (ENI primer), dan Tambahkan blok CIDR untuk server DTS ke daftar putih alamat IP.
Instance Mode
Pilih Standalone atau Cluster berdasarkan arsitektur database Redis sumber.
CatatanJika Access Method untuk Redis yang dikelola sendiri adalah Public IP Address, mode Cluster tidak didukung untuk Instance Mode.
Port
Masukkan port layanan database Redis sumber. Nilai default adalah 6379.
CatatanJika database Redis sumber menggunakan arsitektur kluster, masukkan port layanan dari node master mana pun.
Authentication Method
Pilih metode autentikasi sesuai kebutuhan Anda. Dalam contoh ini, Password Login dipilih.
CatatanHanya Redis 6.0 dan yang lebih baru yang mendukung Account + Password Login.
Jika Anda memilih Secret-free login, pastikan akses tanpa kata sandi diaktifkan untuk database Redis. Untuk informasi cara mengaktifkan akses tanpa kata sandi untuk instans Tair (Redis OSS-Compatible), lihat Aktifkan akses tanpa kata sandi melalui VPC.
Database Password
Masukkan kata sandi untuk menghubungkan ke database Redis sumber.
CatatanParameter ini opsional. Anda dapat mengosongkannya jika tidak ada kata sandi yang ditetapkan.
Kata sandi harus dalam format
<user>:<password>. Misalnya, jika username kustom untuk instans Redis adalahadmindan kata sandinya adalahRp829dlwa, masukkanadmin:Rp829dlwa.
Encryption
Pilih Non-encrypted atau SSL-encrypted sesuai kebutuhan instans database Anda.
CatatanJika Anda menggunakan instans Redis yang dikelola sendiri (parameter Access Method bukan Alibaba Cloud Instance) dan Anda memilih SSL-encrypted, Anda juga harus mengunggah CA Certificate dan memasukkan CA Certificate Password.
Destination Database
Select Existing Connection
Untuk menggunakan instans database yang telah ditambahkan ke sistem (dibuat atau disimpan), pilih instans database yang diinginkan dari daftar drop-down. Informasi database di bawah akan dikonfigurasi secara otomatis.
CatatanDi Konsol DMS, parameter ini bernama Select a DMS database instance..
Jika Anda belum mendaftarkan instans database ke sistem, atau tidak perlu menggunakan instans terdaftar, konfigurasikan informasi database secara manual di bawah.
Database Type
Pilih Tair/Redis.
Access Method
Pilih Alibaba Cloud Instance.
Instance Region
Pilih wilayah tempat instans tujuan Tair (Redis OSS-Compatible) berada.
Replicate Data Across Alibaba Cloud Accounts
Dalam contoh ini, data dimigrasikan dalam satu Akun Alibaba Cloud yang sama. Pilih No.
Instance ID
Pilih ID instans tujuan Tair (Redis OSS-Compatible).
Authentication Method
Pilih metode autentikasi sesuai kebutuhan Anda. Dalam contoh ini, Password Login dipilih.
CatatanHanya Redis 6.0 dan yang lebih baru yang mendukung Account + Password Login.
Jika Anda memilih Secret-free login, pastikan akses tanpa kata sandi diaktifkan untuk database Redis. Untuk informasi cara mengaktifkan akses tanpa kata sandi untuk instans Tair (Redis OSS-Compatible), lihat Aktifkan akses tanpa kata sandi melalui VPC.
Database Password
Masukkan kata sandi untuk menghubungkan ke instans tujuan Tair (Redis OSS-Compatible).
CatatanKata sandi harus dalam format
<user>:<password>. Misalnya, jika username kustom untuk instans Tair adalahadmindan kata sandinya adalahRp829dlwa, masukkanadmin:Rp829dlwa.Encryption
Pilih Non-encrypted atau SSL-encrypted sesuai kebutuhan instans database Anda.
CatatanJika Anda menggunakan instans Redis yang dikelola sendiri (parameter Access Method bukan Alibaba Cloud Instance) dan Anda memilih SSL-encrypted, Anda juga harus mengunggah CA Certificate dan memasukkan CA Certificate Password.
Setelah menyelesaikan konfigurasi, klik Test Connectivity and Proceed di bagian bawah halaman.
CatatanPastikan segmen alamat IP layanan DTS telah ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan untuk mengizinkan akses dari server DTS. Untuk informasi selengkapnya, lihat Tambahkan alamat IP server DTS ke daftar putih.
Jika database sumber atau tujuan adalah database yang dikelola sendiri (parameter Access Method bukan Alibaba Cloud Instance), Anda juga harus mengklik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers yang muncul.
Konfigurasikan objek tugas.
Di halaman Configure Objects, konfigurasikan objek yang ingin dimigrasikan.
Parameter
Deskripsi
Migration Types
Pilih Full Data Migration + Incremental Data Migration.
CatatanJika akun tidak memiliki izin
SYNCatauPSYNCpada database sumber, pilih Full Data Migration.Processing Mode of Conflicting Tables
Precheck and Report Errors: Memeriksa apakah tujuan kosong. Jika tujuan yang akan dimigrasikan kosong, pemeriksaan awal lolos. Jika tidak, kesalahan dilaporkan selama pemeriksaan awal, dan pekerjaan migrasi data tidak dimulai.
Ignore Errors and Proceed: Melewati item pemeriksaan Check the existence of objects in the destination database..
PeringatanJika Anda memilih Ignore Errors and Proceed dan kunci di tujuan memiliki nama yang sama dengan kunci di sumber selama migrasi, data dari sumber akan menimpa data di tujuan. Hal ini dapat menyebabkan kehilangan data di tujuan. Lanjutkan dengan hati-hati.
Source Objects
Di kotak Source Objects, klik objek yang akan dimigrasikan, lalu klik
untuk memindahkannya ke kotak Selected Objects.CatatanAnda dapat memilih objek di tingkat database. Jika perlu memigrasikan data untuk kunci tertentu dalam database, Anda dapat menggunakan fitur Filter task data with an SQL condition di panel Selected Objects.
Selected Objects
Untuk menentukan database tujuan (DB 0 hingga DB 255) atau memfilter data berdasarkan awalan, gunakan fungsi pemetaan dan pemfilteran. Di kotak Selected Objects, klik kanan database yang akan dimigrasikan, lalu konfigurasikan pengaturan di kotak dialog Edit Schema. Untuk informasi selengkapnya, lihat Object name mapping dan Filter task data with an SQL condition.
Klik Next: Advanced Settings untuk mengonfigurasi parameter lanjutan.
Parameter
Deskripsi
Dedicated Cluster for Task Scheduling
Secara default, DTS menjadwalkan tugas pada kluster bersama. Anda tidak perlu memilihnya. Jika ingin tugas yang lebih stabil, Anda dapat membeli klaster khusus untuk menjalankan tugas migrasi DTS.
Retry Time for Failed Connections
Setelah tugas migrasi dimulai, jika koneksi ke database sumber atau tujuan gagal, DTS melaporkan kesalahan dan segera mulai mencoba koneksi ulang. Durasi percobaan ulang default adalah 720 menit. Anda dapat menyesuaikan waktu percobaan ulang ke nilai antara 10 hingga 1440 menit. Kami menyarankan Anda mengatur durasi lebih dari 30 menit. Jika DTS berhasil terhubung kembali ke database sumber dan tujuan dalam durasi yang ditentukan, tugas migrasi akan dilanjutkan secara otomatis. Jika tidak, tugas gagal.
CatatanUntuk beberapa instans DTS yang berbagi sumber atau tujuan yang sama, waktu percobaan ulang jaringan ditentukan oleh pengaturan tugas yang dibuat terakhir.
Karena Anda dikenai biaya selama periode percobaan ulang koneksi, kami menyarankan Anda menyesuaikan waktu percobaan ulang sesuai kebutuhan bisnis, atau segera melepas instans DTS setelah instans database sumber dan tujuan dilepas.
Retry Time for Other Issues
Setelah tugas migrasi dimulai, jika terjadi masalah non-konektivitas, seperti pengecualian eksekusi DDL atau DML, pada database sumber atau tujuan, DTS melaporkan kesalahan dan segera mulai mencoba operasi ulang. Durasi percobaan ulang default adalah 10 menit. Anda dapat menyesuaikan waktu percobaan ulang ke nilai antara 1 hingga 1440 menit. Kami menyarankan Anda mengatur durasi lebih dari 10 menit. Jika operasi terkait berhasil dalam durasi percobaan ulang yang ditentukan, tugas migrasi akan dilanjutkan secara otomatis. Jika tidak, tugas gagal.
PentingNilai Retry Time for Other Issues harus lebih kecil daripada nilai Retry Time for Failed Connections.
Enable Throttling for Full Data Migration
Selama migrasi penuh, DTS mengonsumsi sumber daya baca dan tulis pada database sumber dan tujuan, yang dapat meningkatkan beban database. Jika diperlukan, Anda dapat mengaktifkan pembatasan kecepatan untuk tugas migrasi penuh. Anda dapat mengatur Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s) untuk mengurangi beban pada database tujuan.
CatatanParameter ini hanya tersedia jika Anda memilih Full Data Migration untuk Migration Types.
Enable Throttling for Incremental Data Migration
Jika diperlukan, Anda juga dapat memilih untuk mengatur batas kecepatan untuk tugas migrasi inkremental. Anda dapat mengatur RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s) untuk mengurangi beban pada database tujuan.
CatatanParameter ini hanya tersedia jika Anda memilih Incremental Data Migration untuk Migration Types.
Extend Expiration Time of Destination Database Key
Atur waktu kadaluarsa tambahan untuk kunci saat dimigrasikan dari database sumber ke database tujuan. Untuk memastikan konsistensi data, kami menyarankan mengatur waktu kadaluarsa kunci yang diperpanjang jika menggunakan perintah seperti berikut.
CatatanDalam skenario yang melibatkan kunci terdistribusi, hal ini dapat mencegah kunci dilepaskan tepat waktu.
expire key seconds pexpire key milliseconds expireat key timestamp pexpireat key timestampMsUse Slave Node
Jika Instance Mode Redis sumber yang dikelola sendiri adalah Cluster, Anda dapat memilih untuk membaca data dari node master atau replika. Default-nya adalah No, yang berarti data dibaca dari node master.
Environment Tag
Anda dapat memilih tag lingkungan untuk mengidentifikasi instans sesuai kebutuhan Anda. Dalam contoh ini, tidak perlu pemilihan.
Configure ETL
Pilih apakah akan mengaktifkan fitur ekstrak, transformasi, muat (ETL). Untuk informasi selengkapnya, lihat Apa itu ETL? Nilai yang valid:
-
Yes: Mengaktifkan fitur ETL. Masukkan pernyataan pemrosesan data di editor kode. Untuk informasi selengkapnya, lihat Konfigurasi ETL dalam tugas migrasi data atau sinkronisasi data.
-
No: Menonaktifkan fitur ETL.
Monitoring and Alerting
Pilih apakah akan mengatur peringatan dan menerima pemberitahuan peringatan sesuai kebutuhan bisnis Anda.
No: Tidak mengatur peringatan.
Yes: Konfigurasikan peringatan dengan mengatur ambang batas peringatan dan pemberitahuan peringatan. Jika migrasi gagal atau latensi melebihi ambang batas, sistem akan mengirim pemberitahuan peringatan.
-
Klik Next: Data Validation untuk mengonfigurasi tugas validasi data.
Jika ingin menggunakan fitur validasi data, lihat Konfigurasi validasi data untuk instruksi konfigurasi.
Simpan tugas dan jalankan pemeriksaan awal.
Untuk melihat parameter konfigurasi instans ini saat memanggil operasi API, arahkan pointer ke tombol Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters di balon yang muncul.
Jika tidak perlu melihat atau telah selesai melihat parameter API, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
CatatanSebelum tugas migrasi dimulai, DTS melakukan pemeriksaan awal. Tugas hanya dimulai setelah lolos pemeriksaan awal.
Jika pemeriksaan awal gagal, klik View Details di sebelah item pemeriksaan yang gagal, perbaiki masalah berdasarkan petunjuk, lalu jalankan pemeriksaan awal lagi.
Jika peringatan dilaporkan selama pemeriksaan awal:
Untuk item pemeriksaan yang tidak dapat diabaikan, klik View Details di sebelah item yang gagal, perbaiki masalah berdasarkan petunjuk, lalu jalankan pemeriksaan awal lagi.
Untuk item pemeriksaan yang dapat diabaikan, Anda dapat mengklik Confirm Alert Details, Ignore, OK, dan Precheck Again untuk melewati item peringatan dan menjalankan pemeriksaan awal lagi. Jika Anda memilih untuk mengabaikan peringatan, hal ini dapat menyebabkan masalah seperti ketidakkonsistenan data dan menimbulkan risiko bagi bisnis Anda.
Beli instans.
-
Saat Success Rate mencapai 100%, klik Next: Purchase Instance.
Di halaman Purchase, pilih spesifikasi koneksi untuk instans migrasi data. Untuk informasi selengkapnya, lihat tabel berikut.
Kategori
Parameter
Deskripsi
New Instance Class
Resource Group Settings
Pilih kelompok sumber daya tempat instans tersebut berada. Nilai default adalah kelompok sumber daya default. Untuk informasi selengkapnya, lihat Apa itu manajemen sumber daya?
Instance Class
DTS menyediakan spesifikasi migrasi dengan tingkat kinerja berbeda. Spesifikasi koneksi memengaruhi kecepatan migrasi. Anda dapat memilih spesifikasi berdasarkan skenario bisnis Anda. Untuk informasi selengkapnya, lihat Spesifikasi koneksi migrasi data.
Setelah konfigurasi selesai, baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start, lalu klik OK di kotak dialog OK.
Anda dapat melihat progres spesifik di halaman migrasi data.
CatatanJika instans DTS Anda dikonfigurasi untuk migrasi penuh dan inkremental (Migration Types mencakup Full Data Migration dan Incremental Data Migration), tugas tersebut akan terdaftar sebagai Incremental Data Migration di halaman daftar tugas migrasi.
-