ApsaraDB for OceanBase (Deprecated):Memigrasikan data dari database PolarDB-X 1.0 ke tenant MySQL OceanBase Database

Latar Belakang

PolarDB-X 1.0 adalah database terdistribusi cloud-native yang dikembangkan oleh Alibaba Group. Database ini mengintegrasikan mesin SQL terdistribusi dan penyimpanan terdistribusi eksklusif X-DB, serta dirancang berdasarkan arsitektur cloud-native terintegrasi. PolarDB-X 1.0 mendukung lebih dari sepuluh juta permintaan konkuren dan menyediakan kapasitas penyimpanan hingga ratusan petabyte data. Untuk informasi lebih lanjut, lihat Ikhtisar Produk.

Setelah tugas yang memigrasikan data dari database PolarDB-X 1.0 ke tenant MySQL OceanBase Database berhasil dimulai, tugas tersebut akan dihapus secara otomatis. Layanan transmisi data secara otomatis membuat tugas untuk memigrasikan data dari database MySQL yang dipasang pada database PolarDB-X 1.0 ke tenant MySQL OceanBase Database.Jumlah tugas bergantung pada jumlah instance MySQL dasar dalam database PolarDB-X 1.0.

Kami menyarankan Anda memfilter tugas berdasarkan tag atau nama tugas untuk memulai batch, menjeda batch, memulai switchover maju batch, dan operasi lainnya. Untuk informasi lebih lanjut tentang operasi batch, lihat Melakukan Operasi Batch pada Tugas Migrasi Data.

Prasyarat

• Layanan transmisi data memiliki hak istimewa untuk mengakses sumber daya cloud. Untuk informasi lebih lanjut, lihat Memberikan Hak Istimewa kepada Peran untuk Transmisi Data.

• Anda telah membuat pengguna database khusus untuk migrasi data di database PolarDB-X 1.0 sumber dan tenant MySQL OceanBase Database tujuan serta memberikan hak istimewa yang sesuai kepada pengguna tersebut.

Batasan

• Batasan pada Database Sumber

  Jangan melakukan operasi DDL yang memodifikasi skema database atau tabel selama migrasi penuh. Jika tidak, tugas migrasi data mungkin terganggu.

• Layanan transmisi data mendukung database PolarDB-X 1.0 versi 5.2.8, 5.4.2, 5.4.9, dan 5.4.12.

• Layanan transmisi data mendukung database MySQL versi 5.5, 5.6, 5.7, dan 8.0 yang kompatibel dengan instance ApsaraDB RDS for MySQL yang terpasang pada database PolarDB-X 1.0, serta instance ApsaraDB RDS for MySQL standar dan instance PolarDB for MySQL.

• Layanan transmisi data mendukung migrasi objek hanya jika kondisi berikut terpenuhi: nama database, nama tabel, dan nama kolom objek tersebut dienkripsi ASCII tanpa karakter khusus. Karakter khusus mencakup baris baru, spasi, dan karakter berikut: . | " ' ` ( ) = ; / & \.

• Saat memigrasikan data dari database PolarDB-X 1.0 ke tenant MySQL OceanBase Database, layanan transmisi data tidak mendukung kasus-kasus berikut:

  • Migrasi skema atau sinkronisasi inkremental balik

  • Migrasi lintas akun Alibaba Cloud

  • Migrasi Tampilan

  • Nama pengguna atau kata sandi yang tidak konsisten dari instance ApsaraDB RDS for MySQL yang terpasang pada database PolarDB-X 1.0 sumber

• OceanBase Database mendukung set karakter UTF8MB4, GBK, GB18030, biner, dan UTF-16.

Pertimbangan

• Untuk migrasi tabel tanpa kunci unik (tabel dengan kunci utama atau NOT NULL kunci unik), saat Anda memulai ulang atau memulihkan migrasi penuh, layanan transmisi data secara otomatis memotong tabel tujuan yang telah disinkronkan sebelum restart atau pemulihan. Namun, untuk tugas migrasi data yang memigrasikan tabel tanpa kunci unik dari database ApsaraDB RDS for MySQL yang terpasang pada database PolarDB-X 1.0 ke tenant MySQL OceanBase Database, layanan transmisi data tidak secara otomatis memotong tabel tujuan saat Anda memulai ulang atau memulihkan migrasi penuh.

• Jika Anda tidak menentukan pemetaan untuk objek database PolarDB-X 1.0, semua data tabel fisik disinkronkan ke tabel fisik dengan nama yang sama di tujuan.

• Perbedaan antara skema tabel sumber dan tujuan dapat mengakibatkan ketidaksesuaian data. Beberapa skenario yang diketahui dijelaskan sebagai berikut:

  • Saat Anda membuat skema tabel secara manual di tujuan, jika tipe data kolom apa pun tidak didukung oleh layanan transmisi data, konversi tipe data implisit mungkin terjadi di tujuan, yang menyebabkan ketidaksesuaian tipe kolom antara database sumber dan tujuan.

  • Jika panjang kolom di tujuan lebih pendek daripada di database sumber, data kolom ini mungkin dipotong secara otomatis, yang menyebabkan ketidaksesuaian data antara database sumber dan tujuan.

• Jika Anda hanya memilih Sinkronisasi Inkremental saat membuat tugas migrasi data, layanan transmisi data memerlukan agar log inkremental lokal dari database sumber disimpan setidaknya selama 48 jam.

  Jika Anda memilih Migrasi Penuh dan Sinkronisasi Inkremental saat membuat tugas migrasi data, layanan transmisi data memerlukan agar log inkremental lokal dari database sumber disimpan setidaknya selama 7 hari. Jika layanan transmisi data tidak dapat memperoleh log inkremental, tugas migrasi data mungkin gagal atau bahkan data antara database sumber dan tujuan mungkin tidak konsisten setelah migrasi.

• Jika database sumber atau tujuan berisi objek tabel yang hanya berbeda dalam huruf besar/kecil, hasil migrasi data mungkin tidak sesuai harapan karena insensitivitas huruf besar/kecil di database sumber atau tujuan.

Jenis instance sumber dan tujuan yang didukung

Dalam tabel berikut, OB_MySQL berdiri untuk tenant MySQL OceanBase Database.

Prosedur

1. Masuk ke Konsol ApsaraDB for OceanBase dan beli tugas migrasi data.

   Untuk informasi lebih lanjut, lihat Membeli Tugas Migrasi Data.

2. Pilih Data Transmission > Data Migration. Di halaman yang muncul, klik Configuration untuk tugas migrasi data.

   

   Jika Anda ingin merujuk konfigurasi tugas yang ada, klik Reference Configuration. Untuk informasi lebih lanjut, lihat Merujuk Konfigurasi Tugas Migrasi Data.

3. Di halaman Select Source and Target, konfigurasikan parameter.

   Parameter	Deskripsi
   Nama Tugas Migrasi	Kami menyarankan Anda menyetelnya menjadi kombinasi digit dan huruf. Tidak boleh mengandung spasi dan tidak boleh melebihi 64 karakter.
   Sumber	Jika Anda telah membuat sumber data PolarDB-X 1.0, pilih dari daftar drop-down. Jika tidak, klik New Data Source di daftar drop-down dan buat satu di kotak dialog yang muncul di sebelah kanan. Untuk informasi lebih lanjut tentang parameter, lihat Buat sumber data PolarDB-X 1.0.
   Tujuan	Jika Anda telah membuat sumber data untuk tenant MySQL OceanBase Database, pilih dari daftar drop-down. Jika tidak, klik New Data Source di daftar drop-down dan buat satu di kotak dialog yang muncul di sebelah kanan. Untuk informasi lebih lanjut tentang parameter, lihat Buat sumber data OceanBase.
   Tag	Pilih tag tujuan dari daftar drop-down. Anda juga dapat mengklik Kelola Tag untuk membuat, memodifikasi, dan menghapus tag. Untuk informasi lebih lanjut, lihat Gunakan tag untuk mengelola tugas migrasi data. Catatan Setelah tugas yang memigrasikan data dari database PolarDB-X 1.0 ke tenant MySQL OceanBase Database berhasil dimulai, tugas tersebut akan dihapus secara otomatis. Anda perlu menambahkan tag yang sesuai ke tugas.

4. Klik Next. Di halaman Select Migration Type, tentukan jenis migrasi untuk tugas migrasi data saat ini.

   Jenis migrasi yang didukung meliputi migrasi penuh, sinkronisasi inkremental, dan verifikasi penuh.

   Jenis migrasi	Deskripsi
   Migrasi penuh	Setelah tugas migrasi penuh dimulai, layanan transmisi data memigrasikan data yang ada dari tabel di database sumber ke tabel yang sesuai di database tujuan. Sebelum migrasi data, evaluasi performa database sumber dan tujuan. Kami menyarankan Anda melakukan migrasi data selama jam-jam sepi. Selama migrasi penuh, layanan transmisi data mengonsumsi beberapa sumber daya baca dan tulis di database sumber dan tujuan. Hal ini dapat meningkatkan beban database. Untuk informasi lebih lanjut, lihat Evaluasi performa migrasi.
   Sinkronisasi inkremental	Setelah tugas sinkronisasi inkremental dimulai, layanan transmisi data menyinkronkan data yang berubah (data yang ditambahkan, dimodifikasi, atau dihapus) dari database sumber ke tabel yang sesuai di database tujuan. Sinkronisasi inkremental mendukung operasi DML berikut: Insert, Delete, dan Update. Anda dapat memilih pernyataan berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Konfigurasikan sinkronisasi DDL/DML.
   Verifikasi penuh	Setelah tugas migrasi penuh dan sinkronisasi inkremental selesai, layanan transmisi data secara otomatis memulai tugas verifikasi penuh untuk memverifikasi tabel di database sumber dan tujuan. Jika Anda telah memilih Sinkronisasi Inkremental tetapi tidak memilih semua pernyataan DML di bagian Sinkronisasi DML, layanan transmisi data tidak mendukung verifikasi penuh. Sebelum migrasi data, evaluasi performa database sumber dan tujuan. Kami menyarankan Anda melakukan migrasi data selama jam-jam sepi. Selama verifikasi penuh, layanan transmisi data mengonsumsi beberapa sumber daya baca di database sumber dan tujuan. Hal ini dapat meningkatkan beban database.

5. Klik Next. Di halaman Select Migration Objects, tentukan objek migrasi untuk tugas migrasi data.

   Saat ini, Anda hanya dapat memilih objek migrasi dengan menggunakan opsi Specify Objects. Pilih objek yang akan dimigrasikan di sebelah kiri, dan klik > untuk menambahkannya ke daftar di sebelah kanan. Anda dapat memilih tabel dari satu atau lebih database sebagai objek migrasi.

   Layanan transmisi data memungkinkan Anda mengimpor objek dari file teks, mengganti nama objek tujuan, menyetel filter baris, melihat informasi kolom, dan menghapus satu atau semua objek migrasi.

   

   Operasi	Deskripsi
   Impor objek	Di daftar di sebelah kanan, klik Impor Objek di pojok kanan atas. Di kotak dialog yang muncul, klik OK. Penting Operasi ini akan menimpa pilihan sebelumnya. Lanjutkan dengan hati-hati. Di kotak dialog Impor Objek, impor objek yang akan dimigrasikan. Anda dapat mengimpor file CSV untuk mengganti nama database atau tabel dan menyetel kondisi filter baris. Untuk informasi lebih lanjut, lihat Unduh dan impor pengaturan objek migrasi. Klik Validasi. Setelah Anda mengimpor objek migrasi, periksa validitasnya. Pemetaan bidang kolom saat ini tidak didukung. Setelah validasi berhasil, klik OK.
   Ganti nama objek	Layanan transmisi data memungkinkan Anda mengganti nama objek migrasi. Untuk informasi lebih lanjut, lihat Ganti nama tabel database.
   Konfigurasikan pengaturan	Layanan transmisi data memungkinkan Anda menyaring baris menggunakan kondisi WHERE. Untuk informasi lebih lanjut, lihat Gunakan kondisi SQL untuk menyaring data. Anda juga dapat melihat informasi kolom objek migrasi di bagian Lihat Kolom.
   Hapus satu atau semua objek	Layanan transmisi data memungkinkan Anda menghapus satu atau semua objek sinkronisasi yang ditambahkan ke daftar di sebelah kanan selama pemetaan data. Hapus satu objek migrasi Di daftar di sebelah kanan, gerakkan pointer ke objek yang ingin Anda hapus, dan klik Hapus untuk menghapus objek migrasi. Hapus semua objek migrasi Di daftar di sebelah kanan, klik Hapus Semua di pojok kanan atas. Di kotak dialog yang muncul, klik OK untuk menghapus semua objek migrasi.

6. Klik Next. Di halaman Migration Options, konfigurasikan parameter.

   • Migrasi Penuh

     Tabel berikut menjelaskan parameter untuk migrasi penuh, yang hanya ditampilkan jika Anda telah memilih Migrasi Penuh di halaman Pilih Jenis Migrasi.

     Parameter	Deskripsi
     Konkurensi Baca	Konkurensi untuk membaca data dari sumber selama migrasi penuh. Nilai maksimum adalah 512. Konkurensi baca yang tinggi dapat menyebabkan stres berlebihan pada sumber, memengaruhi bisnis.
     Konkurensi Tulis	Konkurensi untuk menulis data ke tujuan selama migrasi penuh. Nilai maksimum adalah 512. Konkurensi tulis yang tinggi dapat menyebabkan stres berlebihan pada tujuan, memengaruhi bisnis.
     Batas Laju Migrasi Penuh	Anda dapat memilih apakah akan membatasi laju migrasi penuh sesuai kebutuhan. Jika Anda memilih untuk membatasi laju migrasi penuh, Anda harus menentukan rekaman per detik (RPS) dan byte per detik (BPS). RPS menentukan jumlah maksimum baris data yang dimigrasikan ke tujuan per detik selama migrasi penuh, dan BPS menentukan jumlah maksimum data dalam byte yang dimigrasikan ke tujuan per detik selama migrasi penuh. Catatan Nilai RPS dan BPS yang ditentukan di sini hanya untuk pembatasan. Performa migrasi penuh aktual tunduk pada faktor-faktor seperti pengaturan sumber dan tujuan serta spesifikasi instance.
     Penanganan Tabel Non-Kosong di Database Tujuan	Nilai valid: Ignore dan Stop Migration. Jika Anda memilih Ignore, ketika data yang akan dimasukkan bertentangan dengan data yang ada dari tabel tujuan, layanan transmisi data mencatat data yang bertentangan sambil mempertahankan data yang ada. Penting Jika Anda memilih Ignore, data ditarik dalam mode IN selama verifikasi penuh. Dalam hal ini, verifikasi tidak berlaku jika tujuan berisi data yang tidak ada di sumber, dan performa verifikasi menurun. Jika Anda memilih Stop Migration dan tabel tujuan berisi catatan, kesalahan yang menunjukkan migrasi tidak didukung dilaporkan selama migrasi penuh. Dalam hal ini, Anda harus memproses data di tabel tujuan sebelum melanjutkan migrasi. Penting Jika Anda mengklik Pulihkan di kotak dialog yang menunjukkan kesalahan, layanan transmisi data mengabaikan kesalahan ini dan melanjutkan migrasi data. Lanjutkan dengan hati-hati.

   • Sinkronisasi Inkremental

     Tabel berikut menjelaskan parameter untuk sinkronisasi inkremental, yang hanya ditampilkan jika Anda telah memilih Incremental Synchronization di halaman Select Migration Type.

     

     Parameter	Deskripsi
     Konkurensi Tulis	Konkurensi untuk menulis data ke tujuan selama sinkronisasi inkremental. Nilai maksimum adalah 512. Konkurensi tulis yang tinggi dapat menyebabkan stres berlebihan pada tujuan, memengaruhi bisnis.
     Batas Laju Sinkronisasi Inkremental	Anda dapat memilih apakah akan membatasi laju sinkronisasi inkremental sesuai kebutuhan. Jika Anda memilih untuk membatasi laju sinkronisasi inkremental, Anda harus menentukan RPS dan BPS. RPS menentukan jumlah maksimum baris data yang disinkronkan ke tujuan per detik selama sinkronisasi inkremental, dan BPS menentukan jumlah maksimum data dalam byte yang disinkronkan ke tujuan per detik selama sinkronisasi inkremental. Catatan Nilai RPS dan BPS yang ditentukan di sini hanya untuk pembatasan. Performa sinkronisasi inkremental aktual tunduk pada faktor-faktor seperti pengaturan sumber dan tujuan serta spesifikasi instance.
     Waktu Mulai Sinkronisasi Inkremental	Parameter ini tidak ditampilkan jika Anda memilih Full Migration di halaman Select Migration Type. Jika Anda telah memilih Incremental Synchronization tetapi tidak Full Data Migration, tentukan titik waktu setelahnya data akan disinkronkan. Nilai default adalah waktu sistem saat ini. Untuk informasi lebih lanjut, lihat Tetapkan timestamp sinkronisasi inkremental.

7. Klik Precheck untuk memulai pemeriksaan awal pada tugas migrasi data.

   Selama pemeriksaan awal, layanan transmisi data akan memeriksa hak istimewa baca dan tulis pengguna database serta koneksi jaringan database. Tugas sinkronisasi data hanya dapat dimulai setelah semua item pemeriksaan berhasil dilewati. Jika terjadi kesalahan selama pemeriksaan awal, Anda dapat melakukan operasi berikut:

   • Identifikasi dan perbaiki masalah lalu lakukan pemeriksaan awal lagi.

   • Klik Skip di kolom Actions dari item pemeriksaan awal yang gagal. Di kotak dialog yang menunjukkan konsekuensi dari operasi tersebut, klik OK.

8. Setelah pemeriksaan awal berhasil, klik Start Task.

   Jika Anda tidak perlu memulai tugas sekarang, klik Save. Anda dapat memulai tugas nanti di halaman Migration Tasks atau dengan melakukan operasi batch. Untuk informasi lebih lanjut tentang operasi batch, lihat Melakukan Operasi Batch pada Tugas Migrasi Data.

   Tugas untuk migrasi data dari database PolarDB-X 1.0 ke tenant MySQL OceanBase Database secara otomatis dihapus setelah dimulai. Layanan transmisi data mempertahankan tugas untuk migrasi data dari database yang terpasang pada database PolarDB-X 1.0 ke tenant MySQL OceanBase Database dan secara otomatis membuat sumber data yang sesuai. Di kotak dialog yang muncul, Anda dapat mengklik Download as file untuk menyimpan informasi terkait sebagai file CSV.

9. Klik OK di kotak dialog. Di halaman Migration Tasks, Anda dapat memulai satu atau lebih tugas untuk migrasi data dari database MySQL ke tenant MySQL OceanBase Database.

   Layanan transmisi data memungkinkan Anda memodifikasi objek migrasi saat tugas migrasi sedang berjalan. Untuk informasi lebih lanjut, lihat Lihat dan Modifikasi Objek Migrasi dan Kondisi Filternya. Setelah tugas migrasi data dimulai, tugas tersebut akan dieksekusi berdasarkan jenis migrasi yang dipilih. Untuk informasi lebih lanjut, lihat Lihat Detail Migrasi.

Referensi

• Buat Sumber Data PolarDB-X 1.0

• Buat Sumber Data OceanBase

• Melakukan Operasi Batch pada Tugas Migrasi Data

• Lihat Detail Tugas Migrasi Data