Anda dapat menggunakan Data Transmission Service (DTS) untuk memigrasikan data dari PolarDB-X 2.0 ke Tablestore.
Prasyarat
Instance Tablestore tujuan telah dibuat. Untuk informasi lebih lanjut, lihat Buat Instance Tablestore.
ID AccessKey dan Rahasia AccessKey dari akun Alibaba Cloud tempat instance Tablestore berada telah diperoleh. Untuk informasi lebih lanjut, lihat bagian "Buat pasangan AccessKey untuk akun Alibaba Cloud" dari topik Buat Pasangan AccessKey.
Catatan penggunaan
Jenis batasan | Deskripsi |
Batasan pada database sumber |
|
Batasan lainnya |
|
Operasi SQL yang dapat dimigrasikan secara bertahap
Jenis operasi | Pernyataan SQL |
DML | INSERT, UPDATE, dan DELETE |
Izin yang diperlukan untuk akun database
Database | Migrasi skema | Migrasi data penuh | Migrasi data bertahap |
Instance PolarDB-X 2.0 sumber | Hak SELECT | Hak SELECT | Hak REPLICATION SLAVE dan REPLICATION CLIENT, serta hak SELECT pada objek yang ingin dimigrasikan |
Untuk informasi lebih lanjut tentang cara membuat akun database dan memberikan izin kepada akun database, lihat topik-topik berikut:
Instance PolarDB-X 2.0: Kelola Akun Database dan Izin yang Diperlukan untuk Akun agar Dapat Mensinkronkan Data.
Prosedur
Pergi ke Halaman Tugas Migrasi Data.
Masuk ke Konsol Manajemen Data (DMS).
Di bilah navigasi atas, klik Data Development.
Di panel navigasi sisi kiri, pilih .
Dari daftar drop-down di sisi kanan Data Migration Tasks, pilih wilayah tempat instance migrasi data Anda berada.
CatatanLangkah-langkah aktual yang perlu Anda lakukan mungkin berbeda berdasarkan mode dan tata letak konsol DMS. Untuk informasi lebih lanjut, lihat Mode Sederhana dan Sesuaikan Tata Letak dan Gaya Konsol DMS.
Anda juga dapat pergi ke Halaman Tugas Migrasi Data Konsol DTS Baru.
Klik Create Task untuk pergi ke halaman konfigurasi tugas.
Opsional: Di sudut kanan atas halaman, klik New Configuration Page.
CatatanJika tombol Back to Previous Version ditampilkan di sudut kanan atas halaman, lewati langkah ini.
Parameter tertentu di halaman konfigurasi versi baru dan sebelumnya mungkin berbeda. Kami sarankan Anda menggunakan halaman konfigurasi versi baru.
Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter.
Bagian
Parameter
Deskripsi
Tidak ada
Task Name
Nama tugas DTS. DTS secara otomatis menghasilkan nama tugas. Kami sarankan Anda menentukan nama deskriptif yang memudahkan identifikasi tugas. Anda tidak perlu menentukan nama tugas yang unik.
Source Database
Select an existing DMS database instance. (Optional. If you have not registered a DMS database instance, ignore this option and configure database settings in the section below.)
Database yang ingin Anda gunakan. Anda dapat memilih apakah akan menggunakan database yang ada berdasarkan kebutuhan bisnis Anda.
Jika Anda memilih database yang ada, DTS secara otomatis mengisi parameter untuk database tersebut.
Jika Anda tidak memilih database yang ada, Anda harus mengonfigurasi informasi database berikut.
Database Type
Jenis database sumber. Pilih PolarDB-X 2.0.
Access Method
Metode akses database sumber. Pilih Alibaba Cloud Instance.
Instance Region
Wilayah tempat instance PolarDB-X 2.0 sumber berada.
Replicate Data Across Alibaba Cloud Accounts
Menentukan apakah akan memigrasikan data lintas akun Alibaba Cloud. Dalam contoh ini, No dipilih. Untuk informasi tentang migrasi data lintas akun Alibaba Cloud, lihat Konfigurasikan Tugas DTS Lintas Akun Alibaba Cloud.
Instance ID
ID instance PolarDB-X 2.0 sumber.
Database Account
Akun database instance PolarDB-X 2.0 sumber. Untuk informasi lebih lanjut tentang izin yang diperlukan, lihat Izin yang Diperlukan untuk Akun Database.
Database Password
Kata sandi yang digunakan untuk mengakses database.
Destination Database
Select an existing DMS database instance. (Optional. If you have not registered a DMS database instance, ignore this option and configure database settings in the section below.)
Database yang ingin Anda gunakan. Anda dapat memilih apakah akan menggunakan database yang ada berdasarkan kebutuhan bisnis Anda.
Jika Anda memilih database yang ada, DTS secara otomatis mengisi parameter untuk database tersebut.
Jika Anda tidak memilih database yang ada, Anda harus mengonfigurasi informasi database berikut.
Database Type
Jenis database tujuan. Pilih Tablestore.
Access Method
Metode akses database tujuan. Pilih Alibaba Cloud Instance.
Instance Region
Wilayah tempat instance Tablestore tujuan berada.
Instance ID
ID instance Tablestore tujuan.
AccessKey ID of Alibaba Cloud Account
ID AccessKey akun Alibaba Cloud tempat instance Tablestore tujuan berada.
PentingJika Anda memasukkan ID AccessKey pengguna RAM, Anda harus melampirkan kebijakan AliyunOTSFullAccess ke pengguna RAM. Kebijakan AliyunOTSFullAccess memberikan pengguna RAM izin untuk mengelola Tablestore. Untuk informasi lebih lanjut, lihat Gunakan Kebijakan RAM untuk Memberikan Izin kepada Pengguna RAM.
AccessKey Secret of Alibaba Cloud Account
Rahasia AccessKey akun Alibaba Cloud tempat instance Tablestore tujuan berada.
Di bagian bawah halaman, klik Test Connectivity and Proceed.
Jika database sumber atau tujuan adalah instance database Alibaba Cloud, seperti instance ApsaraDB RDS for MySQL atau ApsaraDB for MongoDB, DTS secara otomatis menambahkan blok CIDR server DTS ke daftar putih instance. Jika database sumber atau tujuan adalah database mandiri yang di-hosting pada instance Elastic Compute Service (ECS), DTS secara otomatis menambahkan blok CIDR server DTS ke aturan grup keamanan instance ECS, dan Anda harus memastikan bahwa instance ECS dapat mengakses database. Jika database diterapkan pada beberapa instance ECS, Anda harus secara manual menambahkan blok CIDR server DTS ke aturan grup keamanan setiap instance ECS. Jika database sumber atau tujuan adalah database mandiri yang diterapkan di pusat data atau disediakan oleh penyedia layanan cloud pihak ketiga, Anda harus secara manual menambahkan blok CIDR server DTS ke daftar putih database untuk mengizinkan DTS mengakses database. Untuk informasi lebih lanjut, lihat bagian "Blok CIDR Server DTS" dari topik Tambahkan Blok CIDR Server DTS.
PeringatanJika blok CIDR publik server DTS secara otomatis atau manual ditambahkan ke daftar putih instance database atau aturan grup keamanan instance ECS, risiko keamanan mungkin timbul. Oleh karena itu, sebelum Anda menggunakan DTS untuk memigrasikan data, Anda harus memahami dan mengakui potensi risiko serta mengambil tindakan pencegahan, termasuk tetapi tidak terbatas pada langkah-langkah berikut: meningkatkan keamanan nama pengguna dan kata sandi Anda, membatasi port yang diekspos, mengotentikasi panggilan API, secara teratur memeriksa daftar putih atau aturan grup keamanan dan melarang blok CIDR yang tidak sah, atau menghubungkan instance database ke DTS dengan menggunakan Express Connect, VPN Gateway, atau Smart Access Gateway.
Konfigurasikan objek yang ingin Anda migrasikan dalam tugas migrasi data.
Di halaman Configure Objects, konfigurasikan objek yang ingin Anda migrasikan. Tabel berikut menjelaskan parameter.
Parameter
Deskripsi
Migration Types
Untuk hanya melakukan migrasi data penuh, pilih Schema Migration dan Full Data Migration.
Untuk memastikan kontinuitas layanan selama migrasi data, pilih Schema Migration, Full Data Migration, dan Incremental Data Migration.
CatatanJika Anda tidak memilih Schema Migration, pastikan database dan tabel dibuat di database tujuan untuk menerima data dan fitur pemetaan nama objek diaktifkan di Selected Objects.
Jika Anda tidak memilih Incremental Data Migration, kami sarankan Anda tidak menulis data ke database sumber selama migrasi data. Hal ini memastikan konsistensi data antara database sumber dan tujuan.
Processing Mode of Conflicting Tables
Precheck and Report Errors: memeriksa apakah database tujuan berisi tabel yang menggunakan nama yang sama dengan tabel di database sumber. Jika database sumber dan tujuan tidak berisi tabel dengan nama tabel identik, pra-pemeriksaan berhasil dilewati. Jika tidak, kesalahan akan dikembalikan selama pra-pemeriksaan dan tugas migrasi data tidak dapat dimulai.
CatatanJika database sumber dan tujuan berisi tabel dengan nama identik dan tabel di database tujuan tidak dapat dihapus atau diganti namanya, Anda dapat menggunakan fitur pemetaan nama objek untuk mengganti nama tabel yang dimigrasikan ke database tujuan. Untuk informasi lebih lanjut, lihat Pemetaan nama objek.
Ignore Errors and Proceed: melewati pra-pemeriksaan untuk nama tabel identik di database sumber dan tujuan.
PeringatanJika Anda memilih Ignore Errors and Proceed, ketidaksesuaian data mungkin terjadi dan bisnis Anda mungkin terpapar risiko potensial berikut:
Jika database sumber dan tujuan memiliki skema yang sama, dan catatan data memiliki kunci utama yang sama dengan catatan data yang ada di database tujuan, skenario berikut mungkin terjadi:
Selama migrasi data penuh, DTS tidak memigrasikan catatan data ke database tujuan. Catatan data yang ada di database tujuan dipertahankan.
Selama migrasi data bertahap, DTS memigrasikan catatan data ke database tujuan. Catatan data yang ada di database tujuan ditimpa.
Jika database sumber dan tujuan memiliki skema yang berbeda, hanya kolom tertentu yang dimigrasikan atau tugas migrasi data gagal. Lanjutkan dengan hati-hati.
Operation Types
Jenis operasi yang ingin Anda migrasikan. Pilih jenis operasi yang ingin Anda migrasikan berdasarkan kebutuhan bisnis Anda. Secara default, semua jenis operasi dipilih.
Processing Policy of Dirty Data
Kebijakan penanganan kesalahan penulisan data. Nilai valid:
Skip
Block
Data Write Mode
Mode penulisan data. Nilai valid:
Overwrite Row: Operasi UpdateRowChange dilakukan untuk menimpa baris di instance Tablestore.
Update Row: Operasi PutRowChange dilakukan untuk memperbarui baris di instance Tablestore.
Batch Write Mode
Operasi yang digunakan untuk menulis beberapa baris data ke instance Tablestore secara bersamaan. Nilai valid:
BulkImportRequest: Data ditulis secara offline.
BatchWriteRowRequest: Beberapa baris data ditulis secara bersamaan.
CatatanUntuk mencapai efisiensi baca dan tulis yang lebih tinggi dan mengurangi biaya penggunaan instance Tablestore, kami sarankan Anda memilih BulkImportRequest.
More
Anda dapat mengklik More untuk mengonfigurasi parameter berikut berdasarkan kebutuhan bisnis Anda:
Queue Size: panjang antrian untuk menulis data ke instance Tablestore.
Thread Quantity: jumlah thread callback untuk menulis data ke instance Tablestore.
Concurrency: jumlah maksimum thread konkuren untuk instance Tablestore.
Buckets: jumlah bucket di mana data bertahap dapat ditulis secara bersamaan secara berurutan. Untuk meningkatkan kemampuan penulisan konkuren, Anda dapat menyetel parameter ini ke nilai besar.
CatatanNilai parameter Buckets harus kurang dari atau sama dengan nilai parameter Concurrency.
Capitalization of Object Names in Destination Instance
Huruf besar/kecil nama database, tabel, dan kolom di instance tujuan. Secara default, DTS default policy dipilih. Anda dapat memilih opsi lain untuk memastikan bahwa huruf besar/kecil nama objek sesuai dengan database sumber atau tujuan. Untuk informasi lebih lanjut, lihat Tentukan huruf besar/kecil nama objek di instance tujuan.
Source Objects
Pilih satu atau lebih objek dari bagian Source Objects. Klik ikon
untuk menambahkan objek ke bagian Selected Objects. CatatanAnda dapat memilih tabel atau database sebagai objek yang ingin Anda migrasikan. Jika Anda memilih tabel sebagai objek yang ingin Anda migrasikan, DTS tidak memigrasikan objek lain, seperti view, trigger, dan prosedur tersimpan, ke database tujuan.
Anda dapat memilih hanya satu database atau beberapa tabel dalam database yang sama sebagai objek yang ingin Anda migrasikan.
Selected Objects
Untuk mengganti nama objek yang ingin Anda migrasikan ke instance tujuan, klik kanan objek di bagian Selected Objects. Untuk informasi lebih lanjut, lihat Pemetaan nama objek tunggal.
Untuk mengganti nama beberapa objek sekaligus, klik Batch Edit di sudut kanan atas bagian Selected Objects. Untuk informasi lebih lanjut, lihat Pemetaan nama objek massal sekaligus.
CatatanFitur pemetaan nama database tidak didukung. Anda dapat menggunakan fitur pemetaan nama objek untuk mengganti nama tabel dan kolom hanya jika Anda memilih tabel sebagai objek yang ingin Anda migrasikan. Jika Anda menggunakan fitur pemetaan nama objek untuk mengganti nama objek, objek lain yang bergantung pada objek tersebut mungkin gagal dimigrasikan.
Anda dapat menggunakan fitur pemetaan nama kolom untuk memodifikasi tipe data kolom yang sesuai di instance Tablestore tujuan.
Untuk menentukan kondisi WHERE untuk menyaring data, klik kanan tabel di bagian Selected Objects. Di kotak dialog yang muncul, tentukan kondisi. Untuk informasi lebih lanjut, lihat Atur kondisi filter.
Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan. Tabel berikut menjelaskan parameter.
Parameter
Deskripsi
Dedicated Cluster for Task Scheduling
Secara default, DTS menjadwalkan tugas migrasi data ke klaster bersama jika Anda tidak menentukan klaster khusus. Jika Anda ingin meningkatkan stabilitas tugas migrasi data, beli klaster khusus. Untuk informasi lebih lanjut, lihat Apa Itu Klaster Khusus DTS.
Retry Time for Failed Connections
Rentang waktu coba ulang untuk koneksi gagal. Jika database sumber atau tujuan gagal terhubung setelah tugas migrasi data dimulai, DTS segera mencoba kembali koneksi dalam rentang waktu coba ulang. Nilai valid: 10 hingga 1.440. Unit: menit. Nilai default: 720. Kami sarankan Anda menyetel parameter ini ke nilai lebih besar dari 30. Jika DTS terhubung kembali ke database sumber dan tujuan dalam rentang waktu coba ulang yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal.
CatatanJika Anda menentukan rentang waktu coba ulang yang berbeda untuk beberapa tugas migrasi data yang berbagi database sumber atau tujuan yang sama, nilai yang ditentukan terakhir akan berlaku.
Saat DTS mencoba kembali koneksi, Anda dikenakan biaya untuk instance DTS. Kami sarankan Anda menentukan rentang waktu coba ulang berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepaskan instance DTS secepat mungkin setelah database sumber dan instance tujuan dilepaskan.
Retry Time for Other Issues
Rentang waktu coba ulang untuk masalah lainnya. Misalnya, jika operasi DDL atau DML gagal dilakukan setelah tugas migrasi data dimulai, DTS segera mencoba ulang operasi dalam rentang waktu coba ulang. Nilai valid: 1 hingga 1440. Unit: menit. Nilai default: 10. Kami sarankan Anda menyetel parameter ini ke nilai lebih besar dari 10. Jika operasi gagal berhasil dilakukan dalam rentang waktu coba ulang yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal.
PentingNilai parameter Retry Time for Other Issues harus lebih kecil dari nilai parameter Retry Time for Failed Connections.
Enable Throttling for Full Data Migration
Menentukan apakah akan mengaktifkan pembatasan untuk migrasi data penuh. Selama migrasi data penuh, DTS menggunakan sumber daya baca dan tulis dari database sumber dan tujuan. Hal ini dapat meningkatkan beban server database. Anda dapat mengaktifkan pembatasan untuk migrasi data penuh berdasarkan kebutuhan bisnis Anda. Untuk mengonfigurasi pembatasan, Anda harus mengonfigurasi parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s). Ini mengurangi beban server database tujuan.
CatatanAnda hanya dapat mengonfigurasi parameter ini jika Anda memilih Full Data Migration untuk parameter Migration Types.
Enable Throttling for Incremental Data Migration
Menentukan apakah akan mengaktifkan pembatasan untuk migrasi data bertahap. Untuk mengonfigurasi pembatasan, Anda harus mengonfigurasi parameter RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s). Ini mengurangi beban server database tujuan.
CatatanAnda hanya dapat mengonfigurasi parameter ini jika Anda memilih Incremental Data Migration untuk parameter Migration Types.
Environment Tag
Tag lingkungan yang digunakan untuk mengidentifikasi instance DTS. Anda dapat memilih tag lingkungan berdasarkan kebutuhan bisnis Anda. Dalam contoh ini, Anda tidak perlu mengonfigurasi parameter ini.
Configure ETL
Fitur ekstraksi, transformasi, dan pemuatan (ETL) tidak didukung. Dalam hal ini, No dipilih.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks
Menentukan apakah akan menulis operasi SQL pada tabel denyut nadi ke database sumber saat instance DTS berjalan. Nilai valid:
Yes: tidak menulis operasi SQL pada tabel denyut nadi. Dalam hal ini, latensi instance DTS mungkin ditampilkan.
No: menulis operasi SQL pada tabel denyut nadi. Dalam hal ini, fitur seperti pencadangan fisik dan kloning database sumber mungkin terpengaruh.
Monitoring and Alerting
Menentukan apakah akan mengonfigurasi peringatan untuk tugas migrasi data. Jika tugas gagal atau latensi migrasi melebihi ambang batas yang ditentukan, kontak peringatan menerima notifikasi. Nilai valid:
No: tidak mengonfigurasi peringatan.
Yes: mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan pengaturan notifikasi peringatan. Untuk informasi lebih lanjut, lihat bagian Konfigurasikan Pemantauan dan Peringatan Saat Membuat Tugas DTS dari topik Konfigurasikan Pemantauan dan Peringatan.
Klik Next: Configure Database and Table Fields. Di kotak dialog Note yang muncul, klik OK.
Secara default, kolom kunci utama tabel sumber dipilih oleh DTS sebagai nilai parameter Primary Key Column saat Anda memigrasikan tabel sumber ke instance Tablestore. Untuk memodifikasi parameter Kolom Kunci Utama, atur parameter Definition Status ke All.
CatatanAnda dapat memilih beberapa kolom untuk parameter Primary Key Column dari daftar drop-down untuk menghasilkan kunci utama komposit.
Klik Berikutnya: Simpan Pengaturan Tugas dan Pra-pemeriksaan di bagian bawah halaman.
Untuk melihat parameter yang diperlukan saat Anda memanggil operasi API terkait untuk mengonfigurasi tugas migrasi data, gerakkan penunjuk mouse ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.
Jika Anda tidak perlu melihat atau sudah melihat parameter, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
CatatanSebelum Anda dapat memulai tugas migrasi data, DTS melakukan pra-pemeriksaan. Anda hanya dapat memulai tugas migrasi data setelah tugas tersebut lulus pra-pemeriksaan.
Jika tugas migrasi data gagal pra-pemeriksaan, klik View Details di sebelah setiap item yang gagal. Setelah Anda menganalisis penyebab berdasarkan hasil pemeriksaan, perbaiki masalah tersebut. Lalu, jalankan kembali pra-pemeriksaan.
Jika peringatan dihasilkan untuk suatu item selama pra-pemeriksaan, lakukan operasi berikut berdasarkan skenario:
Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan perbaiki masalah tersebut. Lalu, jalankan kembali pra-pemeriksaan.
Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog Lihat Detail, klik Ignore. Di pesan yang muncul, klik OK. Lalu, klik Precheck Again untuk menjalankan kembali pra-pemeriksaan. Jika Anda mengabaikan item peringatan, ketidaksesuaian data mungkin terjadi, dan bisnis Anda mungkin terpapar risiko potensial.
Tunggu hingga success rate menjadi 100%. Lalu, klik Next: Purchase Instance.
Beli instance.
Di halaman Purchase Instance, konfigurasikan parameter Instance Class untuk instance migrasi data. Tabel berikut menjelaskan parameter-parameter tersebut.
Bagian
Parameter
Deskripsi
New Instance Class
Resource Group Settings
Grup sumber daya tempat instance migrasi data berada. Nilai default: default resource group. Untuk informasi lebih lanjut, lihat Apa itu Manajemen Sumber Daya?
Instance Class
DTS menyediakan kelas instance yang bervariasi dalam kecepatan migrasi. Anda dapat memilih kelas instance berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Kelas instance instance migrasi data.
Baca dan setujui Data Transmission Service (Pay-as-you-go) Service Terms dengan memilih kotak centang.
Klik Buy and Start. Di pesan yang muncul, klik OK.
Verifikasi hasil.
Masuk ke Konsol Tablestore.
Di bilah navigasi atas, pilih wilayah tempat instance Tablestore berada dan grup sumber daya tempat instance tersebut berada.
Di halaman Overview, klik nama instance Tablestore atau klik Manage Instance di kolom Actions.
Di tab Instance Details, klik tab Tables untuk menanyakan tabel yang telah Anda migrasikan.