ApsaraDB for SelectDB menyediakan respons dalam waktu kurang dari satu detik untuk kueri data skala besar, mendukung kueri titik berkonkurensi tinggi hingga puluhan ribu permintaan, serta memungkinkan analitik kompleks ber-throughput tinggi. Anda dapat menggunakan Data Transmission Service (DTS) untuk memigrasikan database MySQL—seperti MySQL yang dikelola sendiri atau RDS for MySQL—ke ApsaraDB for SelectDB guna memenuhi kebutuhan analitik data skala besar Anda. Topik ini menjelaskan prosedur dengan menggunakan instans RDS MySQL sebagai contoh.
Prasyarat
Anda telah membuat instans sumber RDS MySQL dan instans tujuan ApsaraDB for SelectDB.
Catatan
Jenis | Deskripsi |
Batasan database sumber |
|
Batasan lainnya |
|
Kasus khusus |
|
Rincian penagihan
Jenis migrasi | Biaya konfigurasi tautan | Biaya transfer data |
Schema migration dan full data migration | Gratis. | Contoh ini gratis. Catatan Ketika Access Method database tujuan adalah Public IP Address, biaya transfer data berlaku. Untuk informasi selengkapnya, lihat Billing overview. |
Incremental data migration | Dikenai biaya. Untuk informasi selengkapnya, lihat Billing overview. |
Pernyataan SQL yang didukung untuk migrasi inkremental
Jenis operasi | Pernyataan SQL |
DML | INSERT, UPDATE, DELETE |
DDL |
|
Izin yang diperlukan untuk akun database
Database | Schema migration | Full migration | Incremental migration |
Sumber RDS MySQL | Izin SELECT | Izin SELECT | Baca/tulis |
Tujuan SelectDB | Izin akses kluster (Usage_priv) dan izin baca/tulis database (Select_priv, Load_priv, Alter_priv, Create_priv, Drop_priv) | ||
Untuk membuat akun database dan memberikan izin:
Untuk instans RDS MySQL, lihat Create an account dan Modify the permissions of an account.
Untuk instans SelectDB, lihat Cluster Permission Management dan Basic Permission Management.
Jika akun database sumber tidak dibuat dan diberikan izin di konsol RDS MySQL, pastikan akun tersebut memiliki izin REPLICATION CLIENT, REPLICATION SLAVE, SHOW VIEW, dan SELECT.
Prosedur
Gunakan salah satu metode berikut untuk membuka halaman Data Migration dan pilih wilayah tempat instans migrasi data berada.
Konsol DTS
Masuk ke DTS console.
Di panel navigasi sebelah kiri, klik Data Migration.
Di pojok kiri atas halaman, pilih wilayah tempat instans migrasi data berada.
Konsol DMS
CatatanOperasi aktual mungkin berbeda tergantung pada mode dan tata letak konsol DMS. Untuk informasi selengkapnya, lihat Simple mode dan Customize the layout and style of the DMS console.
Masuk ke DMS console.
Di bilah navigasi atas, arahkan kursor ke .
Dari daftar drop-down di sebelah kanan Data Migration Tasks, pilih wilayah tempat instans sinkronisasi data berada.
Klik Create Task untuk membuka halaman konfigurasi tugas.
Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter-parameternya.
Kategori
Konfigurasi
Deskripsi
Tidak ada
Task Name
DTS secara otomatis menghasilkan nama tugas. Kami menyarankan agar Anda menentukan nama deskriptif untuk memudahkan identifikasi. Nama tersebut tidak perlu unik.
Source Database
Select Existing Connection
Jika Anda menggunakan instans database yang terdaftar di DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi selengkapnya, lihat Manage database connections.
CatatanDi konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance.
Jika Anda gagal mendaftarkan instans ke DTS, atau tidak perlu menggunakan instans yang terdaftar di DTS, Anda harus mengonfigurasi informasi database berikut.
Database Type
Pilih MySQL.
Access Method
Pilih Alibaba Cloud Instance.
Instance Region
Pilih wilayah tempat instans sumber RDS MySQL berada.
Replicate Data Across Alibaba Cloud Accounts
Contoh ini untuk migrasi dalam satu akun Alibaba Cloud yang sama. Pilih No.
RDS Instance ID
Pilih ID instans sumber RDS MySQL.
Database Account
Masukkan akun database instans sumber RDS MySQL. Untuk informasi tentang izin yang diperlukan, lihat Permissions required for database accounts.
Database Password
Masukkan kata sandi yang sesuai dengan akun database.
Encryption
Pilih Non-encrypted Connection atau SSL Secure Connection sesuai kebutuhan. Jika Anda mengatur ini ke SSL Secure Connection, Anda harus mengaktifkan enkripsi SSL untuk instans RDS for MySQL terlebih dahulu. Untuk informasi selengkapnya, lihat Use a cloud certificate to quickly enable SSL link encryption.
Destination Database
Select Existing Connection
Jika Anda menggunakan instans database yang terdaftar di DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi selengkapnya, lihat Manage database connections.
CatatanDi konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance.
Jika Anda gagal mendaftarkan instans ke DTS, atau tidak perlu menggunakan instans yang terdaftar di DTS, Anda harus mengonfigurasi informasi database berikut.
Database Type
Pilih SelectDB.
Access Method
Pilih Alibaba Cloud Instance.
Instance Region
Pilih wilayah tempat instans SelectDB tujuan berada.
Replicate Data Across Alibaba Cloud Accounts
Contoh ini untuk migrasi dalam satu akun Alibaba Cloud yang sama. Pilih No.
Instance ID
Pilih ID instans SelectDB tujuan.
Database Account
Masukkan akun database instans SelectDB tujuan. Untuk informasi tentang izin yang diperlukan, lihat Permissions required for database accounts.
Database Password
Kata sandi yang digunakan untuk mengakses instans database.
Setelah menyelesaikan konfigurasi, klik Test Connectivity and Proceed di bagian bawah halaman.
CatatanPastikan blok alamat IP layanan DTS telah ditambahkan ke pengaturan keamanan database sumber dan tujuan, baik secara otomatis maupun manual, untuk mengizinkan akses dari server DTS. Untuk informasi selengkapnya, lihat Add the IP address whitelist of DTS servers.
Jika database sumber atau tujuan adalah database yang dikelola sendiri (Access Method bukan Alibaba Cloud Instance), Anda juga harus mengklik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.
Konfigurasikan objek yang akan dimigrasikan.
Di halaman Configure Objects, konfigurasikan objek yang ingin Anda migrasikan.
Konfigurasi
Deskripsi
Migration Types
Jika Anda hanya perlu melakukan migrasi data penuh, pilih Schema Migration dan Full Data Migration.
Untuk melakukan migrasi tanpa downtime, pilih Schema Migration, Full Data Migration, dan Incremental Data Migration.
PentingSaat data dimigrasikan dari MySQL ke SelectDB, tipe data dikonversi. Jika Anda tidak memilih Schema Migration, Anda harus membuat tabel model Unique atau Duplicate dengan struktur yang sesuai di SelectDB tujuan terlebih dahulu. Untuk informasi selengkapnya, lihat Data Type Mapping, Additional Column Information, dan Data Model.
Jika Anda tidak memilih Incremental Data Migration, untuk memastikan konsistensi data, jangan menulis data baru ke instans sumber selama migrasi data.
Processing Mode of Conflicting Tables
Precheck and Report Errors: Memeriksa apakah tabel dengan nama yang sama ada di database tujuan. Jika tidak ada tabel dengan nama yang sama, item pemeriksaan ini lolos. Jika ada tabel dengan nama yang sama, kesalahan dilaporkan selama fase pemeriksaan awal dan tugas migrasi data tidak akan dimulai.
CatatanJika Anda tidak dapat menghapus atau mengganti nama tabel dengan nama yang sama di database tujuan, Anda dapat mengubah nama tabel di database tujuan. Untuk informasi selengkapnya, lihat Map table and column names.
Ignore Errors and Proceed: Melewati pemeriksaan apakah tabel dengan nama yang sama ada di database tujuan.
PeringatanMemilih Ignore Errors and Proceed mungkin menyebabkan ketidakkonsistenan data dan menimbulkan risiko bagi bisnis Anda. Misalnya:
Jika skema tabel konsisten dan DTS menemukan catatan di database tujuan yang memiliki nilai primary key yang sama dengan catatan di database sumber, DTS tidak menyimpan catatan di kluster tujuan. Catatan dari database sumber akan menimpa catatan di database tujuan.
Jika skema tabel tidak konsisten, hanya data dari beberapa kolom yang mungkin dimigrasikan, atau migrasi mungkin gagal. Harap berhati-hati.
Capitalization of Object Names in Destination Instance
Huruf kapital untuk nama database, tabel, dan kolom di instans tujuan. Secara default, DTS default policy dipilih. Anda dapat memilih opsi lain untuk memastikan huruf kapital nama objek konsisten dengan database sumber atau tujuan. Untuk informasi selengkapnya, lihat Specify the capitalization of object names in the destination instance.
Source Objects
Pilih satu atau beberapa objek dari bagian Source Objects. Klik ikon
untuk menambahkan objek ke bagian Selected Objects.CatatanAnda dapat memilih objek untuk dimigrasikan pada level database atau tabel.
Selected Objects
Untuk mengganti nama objek migrasi di instans tujuan, klik kanan objek migrasi di Selected Objects. Untuk informasi selengkapnya, lihat Schema, table, and column name mapping.
Jika Migration Types diatur ke Schema Migration, objek dipilih pada granularitas tabel, dan Anda perlu mengatur jumlah bucketing (parameter
bucket_count), klik kanan tabel yang akan dimigrasikan di daftar Selected Objects. Di area Parameter Settings, atur Enable Parameter Settings ke Yes, atur Value sesuai kebutuhan Anda, lalu klik OK.
CatatanUntuk memilih operasi SQL untuk migrasi inkremental pada level database atau tabel, klik kanan objek yang akan dimigrasikan di Selected Objects dan pilih operasi SQL yang diinginkan di kotak dialog yang muncul.
Untuk mengatur kondisi WHERE untuk memfilter data, klik kanan tabel yang akan dimigrasikan di bagian Selected Objects dan atur kondisi filter di kotak dialog yang muncul. Untuk informasi selengkapnya, lihat Set filter conditions.
Jika Anda menggunakan fitur pemetaan nama objek, migrasi objek lain yang bergantung pada objek yang dipetakan mungkin gagal.
Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.
Konfigurasi
Deskripsi
Dedicated Cluster for Task Scheduling
Secara default, DTS menjadwalkan tugas migrasi data ke kluster bersama jika Anda tidak menentukan kluster khusus. Untuk meningkatkan stabilitas tugas migrasi data, beli kluster khusus. Untuk informasi selengkapnya, lihat What is a DTS dedicated cluster.
Retry Time for Failed Connections
Rentang waktu percobaan ulang untuk koneksi yang gagal. Jika database sumber atau tujuan gagal terhubung setelah tugas migrasi data dimulai, DTS segera mencoba menghubungkan kembali dalam rentang waktu percobaan ulang. Nilai valid: 10 hingga 1.440. Satuan: menit. Nilai default: 720. Disarankan mengatur parameter ini ke nilai lebih dari 30. Jika DTS berhasil terhubung kembali ke database sumber dan tujuan dalam rentang waktu percobaan ulang yang ditentukan, tugas migrasi data dilanjutkan. Jika tidak, tugas migrasi data gagal.
CatatanJika Anda menentukan rentang waktu percobaan ulang yang berbeda untuk beberapa tugas migrasi data yang berbagi database sumber atau tujuan yang sama, nilai yang ditentukan terakhir akan diutamakan.
Saat DTS mencoba menghubungkan kembali, Anda dikenai biaya untuk instans DTS. Disarankan menentukan rentang waktu percobaan ulang sesuai kebutuhan bisnis Anda. Anda juga dapat melepaskan instans DTS sesegera mungkin setelah database sumber dan instans tujuan dilepas.
Retry Time for Other Issues
Rentang waktu percobaan ulang untuk masalah lainnya. Misalnya, jika operasi DDL atau DML gagal dilakukan setelah tugas migrasi data dimulai, DTS segera mencoba mengulang operasi tersebut dalam rentang waktu percobaan ulang. Nilai valid: 1 hingga 1.440. Satuan: menit. Nilai default: 10. Disarankan mengatur parameter ini ke nilai lebih dari 10. Jika operasi yang gagal berhasil dilakukan dalam rentang waktu percobaan ulang yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal.
PentingNilai parameter Retry Time for Other Issues harus lebih kecil daripada nilai parameter Retry Time for Failed Connections.
Enable Throttling for Full Data Migration
Menentukan apakah akan mengaktifkan pembatasan kecepatan untuk migrasi data penuh. Selama migrasi data penuh, DTS menggunakan sumber daya baca dan tulis database sumber dan tujuan, yang dapat meningkatkan beban server database. Anda dapat mengaktifkan pembatasan kecepatan berdasarkan kebutuhan bisnis Anda. Untuk mengonfigurasi pembatasan kecepatan, Anda harus mengatur parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s). Hal ini mengurangi beban server database tujuan.
CatatanAnda dapat mengonfigurasi parameter ini hanya jika memilih Full Data Migration untuk parameter Migration Types.
Enable Throttling for Incremental Data Migration
Menentukan apakah akan mengaktifkan pembatasan kecepatan untuk migrasi data inkremental. Untuk mengonfigurasi pembatasan kecepatan, Anda harus mengatur parameter RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s). Hal ini mengurangi beban server database tujuan.
CatatanAnda dapat mengonfigurasi parameter ini hanya jika memilih Incremental Data Migration untuk parameter Migration Types.
Environment Tag
Anda dapat memilih tag lingkungan untuk mengidentifikasi instans sesuai kebutuhan. Dalam contoh ini, pemilihan tidak diperlukan.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks
Berdasarkan kebutuhan bisnis Anda, pilih apakah akan menulis informasi SQL heartbeat ke database sumber saat instans DTS berjalan.
Yes: Informasi SQL heartbeat tidak ditulis ke database sumber. Hal ini mungkin menyebabkan instans DTS melaporkan delay.
No: Menulis informasi SQL heartbeat ke database sumber, yang mungkin mengganggu fitur seperti backup fisik dan cloning database sumber.
Configure ETL
Menentukan apakah akan mengaktifkan fitur ekstrak, transformasi, muat (ETL). Untuk informasi selengkapnya, lihat What is ETL? Nilai valid:
Yes: mengonfigurasi fitur ETL. Anda dapat memasukkan pernyataan pemrosesan data di editor kode. Untuk informasi selengkapnya, lihat Configure ETL in a data migration or data synchronization task.
No: tidak mengonfigurasi fitur ETL.
Monitoring and Alerting
Menentukan apakah akan mengonfigurasi peringatan untuk tugas migrasi data. Jika tugas gagal atau latensi migrasi melebihi ambang batas yang ditentukan, kontak peringatan akan menerima notifikasi. Nilai valid:
No: tidak mengonfigurasi peringatan.
Yes: mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan alert notification settings. Untuk informasi selengkapnya, lihat bagian Configure monitoring and alerting when you create a DTS task dalam topik Configure monitoring and alerting.
Opsional: Setelah menyelesaikan konfigurasi di atas, klik Next: Configure Database and Table Fields untuk mengatur Primary Key Column, Distribution Key, dan Engine untuk tabel tujuan.
CatatanLangkah ini tersedia hanya jika Anda memilih Schema Migration untuk Migration Types selama konfigurasi objek tugas. Anda kemudian dapat memilih All untuk Definition Status untuk melakukan modifikasi.
Primary Key Column dapat berupa primary key komposit yang terdiri dari beberapa kolom. Anda harus memilih satu atau beberapa kolom dari Primary Key Column sebagai Distribution Key.
Jika suatu tabel tidak memiliki primary key maupun kendala UNIQUE, Anda harus mengatur Engine ke duplicate. Jika tidak, hal ini dapat menyebabkan kegagalan instans atau kehilangan data.
Simpan pengaturan tugas dan jalankan pemeriksaan awal.
Untuk melihat parameter yang perlu ditentukan saat Anda memanggil operasi API terkait untuk mengonfigurasi tugas DTS, arahkan kursor ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.
Jika Anda tidak perlu melihat atau telah melihat parameter tersebut, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
CatatanSebelum tugas migrasi data dapat dimulai, DTS melakukan pemeriksaan awal. Anda hanya dapat memulai tugas migrasi data setelah tugas tersebut lolos pemeriksaan awal.
Jika tugas gagal lolos pemeriksaan awal, klik View Details di sebelah setiap item yang gagal. Setelah menganalisis penyebab berdasarkan hasil pemeriksaan, perbaiki masalah tersebut, lalu jalankan pemeriksaan awal lagi.
Jika peringatan dipicu untuk suatu item selama pemeriksaan awal:
Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan perbaiki masalah tersebut. Kemudian, jalankan pemeriksaan awal lagi.
Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog View Details, klik Ignore. Di pesan yang muncul, klik OK. Kemudian, klik Precheck Again untuk menjalankan pemeriksaan awal lagi. Jika Anda mengabaikan item peringatan, ketidakkonsistenan data mungkin terjadi, dan bisnis Anda mungkin terpapar risiko potensial.
Beli instance.
Tunggu hingga Success Rate menjadi 100%. Lalu, klik Next: Purchase Instance.
Di halaman Purchase Instance, konfigurasikan parameter Instance Class untuk instans migrasi data. Tabel berikut menjelaskan parameter-parameternya.
Bagian
Parameter
Deskripsi
New Instance Class
Resource Group
Kelompok resource tempat instans migrasi data berada. Nilai default: default resource group. Untuk informasi selengkapnya, lihat Apa itu Resource Management?
Instance Class
DTS menyediakan berbagai kelas instans dengan kecepatan migrasi yang berbeda. Anda dapat memilih kelas instans sesuai skenario bisnis Anda. Untuk informasi selengkapnya, lihat Kelas instans untuk instans migrasi data.
Baca dan setujui Data Transmission Service (Pay-as-you-go) Service Terms dengan memilih kotak centang.
Klik Buy and Start. Di pesan yang muncul, klik OK.
Anda dapat melihat progres tugas di halaman Data Migration.
CatatanJika tugas migrasi data tidak dapat digunakan untuk memigrasikan data inkremental, tugas tersebut akan berhenti secara otomatis. Completed ditampilkan di bagian Status .
Jika tugas migrasi data dapat digunakan untuk memigrasikan data inkremental, tugas tersebut tidak berhenti secara otomatis. Tugas migrasi data inkremental tidak pernah berhenti atau selesai. Running ditampilkan di bagian Status.
Pemetaan tipe data
Kategori | Tipe data MySQL | Tipe data SelectDB |
Numerik | TINYINT | TINYINT |
TINYINT UNSIGNED | SMALLINT | |
SMALLINT | SMALLINT | |
SMALLINT UNSIGNED | INT | |
MEDIUMINT | INT | |
MEDIUMINT UNSIGNED | BIGINT | |
INT | INT | |
INT UNSIGNED | BIGINT | |
BIGINT | BIGINT | |
BIGINT UNSIGNED | LARGEINT | |
BIT(M) | INT | |
Decimal | Decimal Catatan Atribut zerofill tidak didukung. | |
Numeric | Decimal | |
Float | Float | |
Double | DOUBLE | |
| BOOLEAN | |
TANGGAL DAN WAKTU | DATE | DATEV2 |
DATETIME[(fsp)] | DATETIMEV2 | |
Timestamp[(fsp)] | DATETIMEV2 | |
Time[(fsp)] | VARCHAR | |
YEAR[(4)] | INT | |
STRING |
| VARCHAR Penting Untuk mencegah kehilangan data, data tipe CHAR dan VARCHAR(n) dikonversi ke VARCHAR(4*n) setelah dimigrasikan ke SelectDB.
|
| STRING | |
| STRING | |
| STRING | |
ENUM | STRING | |
SET | STRING | |
JSON | STRING |
Kolom tambahan
Tabel berikut menjelaskan kolom tambahan yang secara otomatis ditambahkan oleh DTS atau yang harus Anda tambahkan secara manual ke tabel tujuan yang menggunakan model Duplicate.
Nama | Tipe data | Nilai default | Deskripsi |
_is_deleted | Int | 0 | Menunjukkan apakah data dihapus.
|
_version | Bigint | 0 |
|
_record_id | Bigint | 0 |
|