ApsaraDB for SelectDB mampu menjalankan kueri terhadap set data besar dalam waktu kurang dari satu detik, menangani puluhan ribu kueri titik secara konkuren, serta melakukan analisis kompleks ber-throughput tinggi. Anda dapat menggunakan DTS untuk memigrasikan data dari database MySQL—baik yang dikelola sendiri maupun instans ApsaraDB RDS for MySQL—ke ApsaraDB for SelectDB guna mendukung analisis data skala besar. Topik ini menggunakan instans ApsaraDB RDS for MySQL sebagai contoh proses migrasi.
Prasyarat
Anda telah memiliki instans sumber ApsaraDB RDS for MySQL dan instans tujuan ApsaraDB for SelectDB.
Batasan
|
Jenis |
Deskripsi |
|
Database sumber |
|
|
Batasan lainnya |
|
|
Kasus khusus |
|
Penagihan
|
Jenis migrasi |
Biaya konfigurasi tugas |
Biaya traffic publik |
|
Schema migration dan full data migration |
Gratis. |
Gratis dalam contoh ini. Catatan
Biaya transfer data internet berlaku jika Access Method untuk database tujuan adalah Public IP Address. Untuk informasi lebih lanjut, lihat Billing overview. |
|
Incremental data migration |
Ditagih. Untuk informasi lebih lanjut, lihat Billing overview. |
SQL yang didukung untuk migrasi inkremental
|
Jenis operasi |
Pernyataan SQL |
|
DML |
|
|
DDL |
|
Persyaratan izin untuk akun database
|
Database |
Schema migration |
Full data migration |
Incremental data migration |
|
Sumber ApsaraDB RDS for MySQL |
Izin SELECT |
Izin SELECT |
Izin baca dan tulis |
|
Target ApsaraDB for SelectDB |
Izin akses klaster ( |
||
Untuk membuat akun database dan memberikan izin:
-
Instans ApsaraDB RDS for MySQL: Lihat Create an account dan Modify account permissions.
-
Instans ApsaraDB for SelectDB: Lihat Cluster permission management dan Basic permission management.
Jika akun database sumber dibuat di luar Konsol ApsaraDB RDS for MySQL, pastikan akun tersebut memiliki izin REPLICATION CLIENT, REPLICATION SLAVE, SHOW VIEW, dan SELECT.
Prosedur
-
Buka halaman daftar tugas migrasi untuk wilayah tujuan menggunakan salah satu metode berikut.
Dari Konsol DTS
-
Masuk ke Konsol Data Transmission Service (DTS).
-
Di panel navigasi kiri, klik Data Migration.
-
Di pojok kiri atas halaman, pilih wilayah tempat instans migrasi berada.
Dari Konsol DMS
CatatanOperasi aktual dapat berbeda tergantung mode dan tata letak Konsol DMS. Untuk informasi lebih lanjut, lihat Simple mode console dan Customize the layout and style of the DMS console.
-
Masuk ke Konsol Data Management (DMS).
-
Di bilah menu atas, pilih .
-
Di sebelah kanan Data Migration Tasks, pilih wilayah tempat instans migrasi berada.
-
-
Klik Create Task untuk membuka halaman konfigurasi tugas.
-
Konfigurasikan database sumber dan tujuan.
Bagian
Parameter
Deskripsi
N/A
Task Name
DTS secara otomatis menghasilkan nama tugas. Kami merekomendasikan agar Anda menentukan nama deskriptif untuk memudahkan identifikasi. Nama tidak harus unik.
Source Database
Select Existing Connection
-
Untuk menggunakan instans database yang telah ditambahkan ke sistem (dibuat atau disimpan), pilih instans database yang diinginkan dari daftar drop-down. Informasi database di bawah akan dikonfigurasi secara otomatis.
CatatanDi Konsol DMS, parameter ini bernama Select a DMS database instance..
-
Jika Anda belum mendaftarkan instans database ke sistem, atau tidak perlu menggunakan instans terdaftar, konfigurasikan informasi database secara manual di bawah.
Database Type
Pilih MySQL.
Access Method
Pilih Alibaba Cloud Instance.
Instance Region
Pilih wilayah tempat instans sumber ApsaraDB RDS for MySQL berada.
Replicate Data Across Alibaba Cloud Accounts
Contoh ini mengasumsikan migrasi data dalam satu Akun Alibaba Cloud. Pilih No.
RDS Instance ID
Pilih ID instans dari instans sumber ApsaraDB RDS for MySQL.
Database Account
Masukkan akun database dari instans sumber ApsaraDB RDS for MySQL. Untuk informasi lebih lanjut tentang izin yang diperlukan, lihat Permission requirements for database accounts.
Database Password
Masukkan password yang sesuai dengan akun database.
Encryption
Pilih Non-encrypted atau SSL-encrypted sesuai kebutuhan. Jika Anda memilih SSL-encrypted, Anda harus mengaktifkan enkripsi SSL untuk instans RDS for MySQL terlebih dahulu. Untuk informasi lebih lanjut, lihat Use a cloud certificate to quickly enable SSL encryption.
Destination Database
Select Existing Connection
-
Untuk menggunakan instans database yang telah ditambahkan ke sistem (dibuat atau disimpan), pilih instans database yang diinginkan dari daftar drop-down. Informasi database di bawah akan dikonfigurasi secara otomatis.
CatatanDi Konsol DMS, parameter ini bernama Select a DMS database instance..
-
Jika Anda belum mendaftarkan instans database ke sistem, atau tidak perlu menggunakan instans terdaftar, konfigurasikan informasi database secara manual di bawah.
Database Type
Pilih ApsaraDB for SelectDB.
Access Method
Pilih Alibaba Cloud Instance.
Instance Region
Pilih wilayah tempat instans tujuan ApsaraDB for SelectDB berada.
Replicate Data Across Alibaba Cloud Accounts
Contoh ini mengasumsikan migrasi data dalam satu Akun Alibaba Cloud. Pilih No.
Instance ID
Pilih ID instans dari instans tujuan ApsaraDB for SelectDB.
Database Account
Masukkan akun database dari instans tujuan ApsaraDB for SelectDB. Untuk informasi lebih lanjut tentang izin yang diperlukan, lihat Permission requirements for database accounts.
Database Password
Masukkan password untuk akun database.
-
-
Setelah menyelesaikan konfigurasi, klik Test Connectivity and Proceed di bagian bawah halaman.
Catatan-
Pastikan blok CIDR alamat IP server DTS telah ditambahkan ke pengaturan keamanan database sumber dan tujuan untuk mengizinkan akses dari server DTS. Hal ini dapat dilakukan secara otomatis atau manual. Untuk informasi lebih lanjut, lihat Add the IP address CIDR blocks of DTS servers to a whitelist.
-
Jika database sumber atau tujuan adalah database yang dikelola sendiri (di mana Access Method bukan Alibaba Cloud Instance), Anda juga harus mengklik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.
-
-
Konfigurasikan objek tugas.
-
Di halaman Configure Objects, konfigurasikan objek yang ingin Anda migrasikan.
Parameter
Deskripsi
Migration Types
-
Untuk full data migration saja, pilih Schema Migration dan Full Data Migration.
-
Untuk melakukan migrasi data tanpa gangguan layanan, pilih Schema Migration, Full Data Migration, dan Incremental Data Migration.
Penting-
Saat memigrasikan data dari MySQL ke ApsaraDB for SelectDB, tipe data dikonversi. Jika Anda tidak memilih Schema Migration, Anda harus membuat tabel yang menggunakan model Unique Key atau Duplicate Key di instans tujuan ApsaraDB for SelectDB terlebih dahulu. Untuk informasi lebih lanjut, lihat Data type mappings, Additional columns, dan Data models.
-
Jika Anda tidak memilih Incremental Data Migration, jangan menulis data ke instans sumber selama migrasi data untuk memastikan konsistensi data.
Processing Mode of Conflicting Tables
-
Precheck and Report Errors: DTS memeriksa apakah tabel dengan nama yang sama ada di database tujuan. Jika tidak ada tabel dengan nama yang sama, pemeriksaan awal lolos. Jika ada tabel dengan nama yang sama, pemeriksaan awal melaporkan error dan tugas migrasi data tidak dimulai.
CatatanJika Anda tidak dapat menghapus atau mengganti nama tabel di database tujuan, Anda dapat mengubah nama tabel di database tujuan. Untuk informasi lebih lanjut, lihat Map schema object names.
-
Ignore Errors and Proceed: DTS melewati pemeriksaan untuk tabel dengan nama yang sama di database tujuan.
PeringatanJika Anda memilih Ignore Errors and Proceed, ketidakkonsistenan data dapat terjadi dan menimbulkan risiko bagi bisnis Anda. Contohnya:
-
Jika skema tabel konsisten dan catatan di database tujuan memiliki nilai primary key yang sama dengan catatan di database sumber, DTS tidak menyimpan catatan tujuan. Catatan sumber akan menimpa catatan tujuan.
-
Jika skema tabel tidak konsisten, hanya data dari beberapa kolom yang mungkin dimigrasikan, atau migrasi dapat gagal. Lakukan dengan hati-hati.
-
Capitalization of Object Names in Destination Instance
Anda dapat mengonfigurasi kebijakan case sensitivity untuk nama objek yang dimigrasikan—seperti database, tabel, dan kolom—di instans tujuan. Secara default, DTS default policy dipilih. Anda juga dapat memilih untuk menjaga case sensitivity konsisten dengan kebijakan default database sumber atau tujuan. Untuk informasi lebih lanjut, lihat Case sensitivity of object names in the destination database.
Source Objects
Di kotak Source Objects, klik objek yang ingin dimigrasikan, lalu klik
untuk memindahkannya ke kotak Selected Objects.CatatanAnda dapat memilih database atau tabel sebagai objek migrasi.
Selected Objects
-
Untuk mengubah nama objek migrasi di instans tujuan, klik kanan objek migrasi di bagian Selected Objects. Untuk informasi lebih lanjut, lihat Map schema object names.
-
Jika Anda memilih Schema Migration untuk Migration Types, memilih tabel, dan perlu mengonfigurasi jumlah bucket (parameter
bucket_count), klik kanan tabel di bagian Selected Objects. Di area Parameter Settings, atur Enable Parameter Settings ke Yes, tentukan Value sesuai kebutuhan bisnis Anda, lalu klik OK.
Catatan-
Untuk memilih operasi SQL untuk migrasi inkremental pada level database atau tabel, klik kanan objek migrasi di bagian Selected Objects dan pilih operasi SQL yang ingin dimigrasikan di kotak dialog yang muncul.
-
Untuk mengatur kondisi WHERE untuk memfilter data, klik kanan tabel di bagian Selected Objects dan tentukan kondisi filter di kotak dialog yang muncul. Untuk informasi lebih lanjut, lihat Filter data.
-
Jika Anda menggunakan fitur object name mapping, objek lain yang bergantung pada objek yang dipetakan ulang mungkin gagal dimigrasikan.
-
-
Klik Next: Advanced Settings untuk mengonfigurasi parameter lanjutan.
Parameter
Deskripsi
Dedicated Cluster for Task Scheduling
Secara default, DTS menjadwalkan tugas pada kluster bersama. Anda tidak perlu memilihnya. Jika Anda menginginkan tugas yang lebih stabil, Anda dapat membeli dedicated cluster untuk menjalankan tugas migrasi DTS.
Retry Time for Failed Connections
Setelah tugas migrasi dimulai, jika koneksi ke database sumber atau tujuan gagal, DTS melaporkan error dan segera mulai mencoba koneksi ulang. Durasi percobaan ulang default adalah 720 menit. Anda dapat menyesuaikan waktu percobaan ulang ke nilai antara 10 hingga 1.440 menit. Kami merekomendasikan agar Anda mengatur durasi lebih dari 30 menit. Jika DTS berhasil terhubung kembali ke database sumber dan tujuan dalam durasi yang ditentukan, tugas migrasi akan dilanjutkan secara otomatis. Jika tidak, tugas gagal.
Catatan-
Untuk beberapa instans DTS yang berbagi sumber atau tujuan yang sama, waktu percobaan ulang jaringan ditentukan oleh pengaturan tugas yang terakhir dibuat.
-
Karena Anda dikenai biaya selama periode percobaan ulang koneksi, kami merekomendasikan agar Anda menyesuaikan waktu percobaan ulang berdasarkan kebutuhan bisnis Anda, atau segera rilis instans DTS setelah instans database sumber dan tujuan dirilis.
Retry Time for Other Issues
Setelah tugas migrasi dimulai, jika terjadi masalah non-konektivitas—seperti exception eksekusi DDL atau DML—pada database sumber atau tujuan, DTS melaporkan error dan segera mulai mencoba operasi ulang. Durasi percobaan ulang default adalah 10 menit. Anda dapat menyesuaikan waktu percobaan ulang ke nilai antara 1 hingga 1.440 menit. Kami merekomendasikan agar Anda mengatur durasi lebih dari 10 menit. Jika operasi terkait berhasil dalam durasi percobaan ulang yang ditentukan, tugas migrasi akan dilanjutkan secara otomatis. Jika tidak, tugas gagal.
PentingNilai Retry Time for Other Issues harus lebih kecil dari nilai Retry Time for Failed Connections.
Enable Throttling for Full Data Migration
Selama full migration, DTS mengonsumsi sumber daya baca dan tulis pada database sumber dan tujuan, yang dapat meningkatkan beban database. Jika diperlukan, Anda dapat mengaktifkan pembatasan kecepatan untuk tugas full migration. Anda dapat mengatur Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s) untuk mengurangi beban pada database tujuan.
Catatan-
Item konfigurasi ini tersedia hanya jika Anda memilih Full Data Migration untuk Migration Types.
-
Anda juga dapat menyesuaikan kecepatan full migration setelah instans migrasi berjalan.
Enable Throttling for Incremental Data Migration
Jika diperlukan, Anda juga dapat memilih untuk mengatur batas kecepatan untuk tugas migrasi inkremental. Anda dapat mengatur RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s) untuk mengurangi beban pada database tujuan.
Catatan-
Item konfigurasi ini tersedia hanya jika Anda memilih Incremental Data Migration untuk Migration Types.
-
Anda juga dapat menyesuaikan kecepatan migrasi inkremental setelah instans migrasi berjalan.
Environment Tag
Anda dapat memilih tag lingkungan untuk mengidentifikasi instans berdasarkan kebutuhan bisnis Anda. Parameter ini tidak wajib dalam contoh ini.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks
Pilih apakah akan menulis informasi SQL heartbeat ke database sumber saat instans DTS berjalan.
-
Yes: Informasi SQL heartbeat tidak ditulis ke database sumber. Hal ini dapat menyebabkan instans DTS melaporkan delay.
-
No: Menulis informasi SQL heartbeat ke database sumber. Hal ini dapat mengganggu fitur seperti backup fisik dan cloning database sumber.
Configure ETL
Berdasarkan kebutuhan bisnis Anda, pilih apakah akan mengonfigurasi fitur ETL untuk memproses data.
-
Yes: Mengonfigurasi fitur ETL. Anda juga harus memasukkan pernyataan pemrosesan data di kotak teks.
-
No: Tidak mengonfigurasi fitur ETL.
Monitoring and Alerting
Pilih apakah akan mengatur peringatan dan menerima pemberitahuan peringatan berdasarkan kebutuhan bisnis Anda.
-
No: Tidak mengatur peringatan.
-
Yes: Konfigurasikan peringatan dengan mengatur ambang batas peringatan dan pemberitahuan peringatan. Jika migrasi gagal atau latensi melebihi ambang batas, sistem akan mengirim pemberitahuan peringatan.
-
-
Opsional: Setelah menyelesaikan konfigurasi di atas, klik Next: Configure Database and Table Fields untuk mengatur Primary Key Column, Distribution Key, dan Engine untuk tabel tujuan.
Catatan-
Langkah ini tersedia hanya jika Anda memilih Schema Migration untuk Migration Types saat mengonfigurasi objek tugas. Anda dapat mengatur Definition Status ke All dan memodifikasi pengaturannya.
-
Untuk Primary Key Column, Anda dapat memilih beberapa kolom untuk membentuk composite primary key. Anda juga harus memilih satu atau beberapa kolom dari Primary Key Column sebagai Distribution Key.
-
Untuk tabel yang tidak memiliki primary key atau unique constraint, Anda harus memilih duplicate untuk Engine. Jika tidak, instans dapat gagal atau terjadi kehilangan data.
-
-
-
Simpan tugas dan jalankan pemeriksaan awal.
-
Untuk melihat parameter konfigurasi instans ini saat memanggil Operasi API, arahkan pointer ke tombol Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters di balon yang muncul.
-
Jika Anda tidak perlu melihat atau telah selesai melihat parameter API, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
Catatan-
Sebelum tugas migrasi dimulai, DTS melakukan pemeriksaan awal. Tugas hanya dimulai setelah lolos pemeriksaan awal.
-
Jika pemeriksaan awal gagal, klik View Details di sebelah item pemeriksaan yang gagal, perbaiki masalah berdasarkan petunjuk, lalu jalankan kembali pemeriksaan awal.
-
Jika peringatan muncul selama pemeriksaan awal:
-
Untuk item pemeriksaan yang tidak dapat diabaikan, klik View Details di sebelah item yang gagal, perbaiki masalah berdasarkan petunjuk, lalu jalankan kembali pemeriksaan awal.
-
Untuk item pemeriksaan yang dapat diabaikan, Anda dapat mengklik Confirm Alert Details, Ignore, OK, dan Precheck Again untuk melewati item peringatan dan menjalankan kembali pemeriksaan awal. Jika Anda memilih untuk mengabaikan peringatan, hal ini dapat menyebabkan masalah seperti ketidakkonsistenan data dan menimbulkan risiko bagi bisnis Anda.
-
-
-
Beli instans.
-
Saat Success Rate mencapai 100%, klik Next: Purchase Instance.
-
Di halaman Purchase, pilih spesifikasi link untuk instans migrasi data. Untuk informasi lebih lanjut, lihat tabel berikut.
Kategori
Parameter
Deskripsi
New Instance Class
Resource Group Settings
Pilih kelompok sumber daya tempat instans berada. Nilai default-nya adalah kelompok sumber daya default. Untuk informasi lebih lanjut, lihat What is Resource Management?
Instance Class
DTS menyediakan spesifikasi migrasi dengan tingkat kinerja berbeda. Spesifikasi link memengaruhi kecepatan migrasi. Anda dapat memilih spesifikasi berdasarkan skenario bisnis Anda. Untuk informasi lebih lanjut, lihat Data migration link specifications.
-
Setelah konfigurasi selesai, baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.
-
Klik Buy and Start. Di kotak dialog OK yang muncul, klik OK.
Anda dapat melihat progres tugas migrasi di halaman daftar Data Migration Tasks.
Catatan-
Jika tugas migrasi tidak mencakup migrasi inkremental, tugas akan berhenti secara otomatis setelah full migration selesai. Setelah tugas berhenti, Status-nya berubah menjadi Completed.
-
Jika tugas migrasi mencakup migrasi inkremental, tugas tidak berhenti secara otomatis. Tugas migrasi inkremental terus berjalan. Selama tugas migrasi inkremental berjalan, Status tugas adalah Running.
-
-
Pemetaan tipe data
|
Kategori |
Tipe MySQL |
Jenis SelectDB |
|
NUMERIC |
TINYINT |
TINYINT |
|
TINYINT UNSIGNED |
SMALLINT |
|
|
SMALLINT |
SMALLINT |
|
|
SMALLINT UNSIGNED |
INT |
|
|
MEDIUMINT |
INT |
|
|
MEDIUMINT UNSIGNED |
BIGINT |
|
|
INT |
INT |
|
|
INT UNSIGNED |
BIGINT |
|
|
BIGINT |
BIGINT |
|
|
BIGINT UNSIGNED |
LARGEINT |
|
|
BIT(M) |
INT |
|
|
DECIMAL |
DECIMAL Catatan
ZEROFILL tidak didukung. |
|
|
NUMERIC |
DECIMAL |
|
|
FLOAT |
FLOAT |
|
|
DOUBLE |
DOUBLE |
|
|
BOOLEAN |
|
|
DATE AND TIME |
DATE |
DATEV2 |
|
DATETIME[(fsp)] |
DATETIMEV2 |
|
|
TIMESTAMP[(fsp)] |
DATETIMEV2 |
|
|
TIME[(fsp)] |
VARCHAR |
|
|
YEAR[(4)] |
INT |
|
|
STRING |
|
VARCHAR Penting
Selama migrasi data ke ApsaraDB for SelectDB, tipe data CHAR dan VARCHAR(n) dikonversi menjadi VARCHAR(4*n) untuk mencegah kehilangan data.
|
|
STRING |
|
|
STRING |
|
|
STRING |
|
|
ENUM |
STRING |
|
|
SET |
STRING |
|
|
JSON |
STRING |
Kolom tambahan
Tabel ini menjelaskan kolom tambahan untuk tabel tujuan yang menggunakan model Duplicate key. Kolom-kolom ini ditambahkan secara otomatis oleh DTS atau harus ditambahkan secara manual.
|
Parameter |
Tipe |
Default |
Deskripsi |
|
_is_deleted |
Int |
0 |
Menunjukkan apakah catatan tersebut dihapus.
|
|
_version |
Bigint |
0 |
|
|
_record_id |
Bigint |
0 |
|