ApsaraDB for OceanBase (Deprecated):Migrasi data dari database OceanBase dalam mode kompatibel MySQL ke database MySQL

Prasyarat

• Layanan transmisi data memiliki hak istimewa untuk mengakses sumber daya cloud. Untuk informasi lebih lanjut, lihat Berikan hak istimewa kepada peran untuk transmisi data.

• Anda telah membuat pengguna database khusus untuk migrasi data di database OceanBase sumber dalam mode kompatibel MySQL dan database target MySQL, serta memberikan hak istimewa yang diperlukan kepada pengguna tersebut. Untuk informasi lebih lanjut, lihat Konfigurasikan hak istimewa pengguna untuk sumber data.

Keterbatasan

• Keterbatasan pada Database Sumber

  Jangan melakukan operasi DDL yang mengubah skema database atau tabel selama migrasi skema atau migrasi penuh. Jika tidak, tugas migrasi data mungkin terganggu.

• Layanan transmisi data mendukung MySQL versi 5.5, 5.6, 5.7, dan 8.0.

• Layanan transmisi data tidak mendukung kunci utama atau kunci unik yang berisi data bertipe FLOAT dan BINARY.

• Layanan transmisi data tidak mendukung bidang indeks yang lebih besar dari 767 byte (atau 191 karakter) panjangnya di MySQL 5.6.

• Layanan transmisi data tidak mendukung pemicu (triggers) di target jika itu adalah database. Jika pemicu ada di database target, migrasi data mungkin gagal.

• Layanan transmisi data hanya mendukung migrasi objek ketika kondisi berikut terpenuhi: nama database, nama tabel, dan nama kolom objek dikodekan ASCII tanpa karakter khusus. Karakter khusus mencakup jeda baris, spasi, dan karakter berikut: . | " ' ` ( ) = ; / & \.

• Layanan transmisi data tidak mendukung database OceanBase standby sebagai sumber.

Pertimbangan

• Jika set karakter UTF-8 digunakan di sumber, kami sarankan Anda menggunakan set karakter yang kompatibel, seperti UTF-8 atau UTF-16, di target untuk menghindari karakter acak.

• Jika jam antar node atau antara klien dan server tidak tersinkronisasi, latensi mungkin tidak akurat selama sinkronisasi inkremental atau reverse increment.

  Sebagai contoh, jika jam lebih awal dari waktu standar, latensi bisa negatif. Jika jam lebih lambat dari waktu standar, latensi bisa positif.

• Jika nilai variabel explicit_defaults_for_timestamp di sumber berbeda dari yang di target, data tipe TIMESTAMP mungkin tidak konsisten selama verifikasi.

• Jika Anda memodifikasi indeks unik di target saat sinkronisasi DDL dinonaktifkan, Anda harus memulai ulang tugas migrasi data untuk menghindari ketidaksesuaian data.

• Periksa apakah presisi migrasi layanan transmisi data untuk kolom tipe data seperti DECIMAL, FLOAT, dan DOUBLE sesuai harapan. Jika presisi tipe bidang target lebih rendah dari tipe bidang sumber, nilai dengan presisi lebih tinggi mungkin terpotong. Ini dapat menyebabkan ketidaksesuaian data antara bidang sumber dan target.

• Rentang nilai TIMESTAMP yang didukung untuk OceanBase Database dalam mode kompatibel MySQL adalah 0000-00-00 00:00:00.000000 hingga 9999-12-31 23:59:59.999999, dan yang didukung untuk MySQL adalah 1970-01-01 00:00:01.000000 hingga 2038-01-19 03:14:07.999999. Ketika nilai TIMESTAMP di luar rentang yang didukung oleh target ditulis ke sumber, layanan transmisi data masih menyisipkan nilai ini ke target, tetapi juga mencatatnya di file error.log atau tabel pengecualian.

• Dalam tugas migrasi data di mana sumbernya adalah database OceanBase dan sinkronisasi DDL diaktifkan, jika operasi RENAME dilakukan pada tabel di sumber, kami sarankan Anda memulai ulang tugas untuk menghindari kehilangan data selama sinkronisasi inkremental.

• Catat pertimbangan berikut jika Anda ingin menggabungkan beberapa tabel:

  • Kami sarankan Anda mengonfigurasi pemetaan antara sumber dan target dengan menentukan aturan pencocokan.

  • Kami sarankan Anda membuat skema secara manual di target. Jika Anda membuat skema menggunakan layanan transmisi data, lewati objek yang gagal di langkah migrasi skema.

• Perbedaan antara skema tabel sumber dan target dapat menghasilkan konsistensi data. Beberapa skenario yang diketahui dijelaskan sebagai berikut:

  • Saat Anda membuat skema tabel secara manual di target, jika tipe data kolom apa pun tidak didukung oleh layanan transmisi data, konversi tipe data implisit mungkin terjadi di target, yang menyebabkan ketidaksesuaian tipe kolom antara sumber dan target.

  • Jika panjang kolom di target lebih pendek daripada di sumber, data kolom ini mungkin dipotong secara otomatis, yang menyebabkan ketidaksesuaian data antara sumber dan target.

• Jika Anda hanya memilih Sinkronisasi Inkremental saat membuat tugas migrasi data, layanan transmisi data memerlukan agar log inkremental lokal dari database sumber disimpan setidaknya selama 48 jam.

  Jika Anda memilih Migrasi Penuh dan Sinkronisasi Inkremental saat membuat tugas migrasi data, layanan transmisi data memerlukan agar log inkremental lokal dari database sumber disimpan setidaknya selama 7 hari. Jika layanan transmisi data tidak dapat memperoleh log inkremental, tugas migrasi data mungkin gagal atau bahkan data antara sumber dan target mungkin tidak konsisten setelah migrasi.

• Jika sumber atau target berisi objek tabel yang hanya berbeda dalam huruf besar/kecil, hasil migrasi data mungkin tidak sesuai harapan karena ketidaksensitifan huruf besar/kecil di sumber atau target.

Tipe instance sumber dan target yang didukung

Dalam tabel berikut, OceanBase Database dalam mode kompatibel MySQL disebut sebagai OB_MySQL, yang mendukung instance kluster OceanBase dan instance serverless.

Pemetaan tipe data

Prosedur

1. Masuk ke Konsol ApsaraDB for OceanBase dan beli tugas migrasi data.

   Untuk informasi lebih lanjut, lihat Beli tugas migrasi data.

2. Pilih Data Transmission > Data Migration. Di halaman yang muncul, klik Configuration untuk tugas migrasi data.

   

   Jika Anda ingin merujuk konfigurasi tugas yang ada, klik Reference Configuration. Untuk informasi lebih lanjut, lihat Merujuk konfigurasi tugas migrasi data.

3. Di halaman Select Source and Target, atur parameter yang diperlukan.

   Parameter	Deskripsi
   Nama Tugas Migrasi	Kami sarankan Anda menyetelnya menjadi kombinasi digit dan huruf. Nama tersebut tidak boleh mengandung spasi dan tidak boleh lebih dari 64 karakter.
   Sumber	Jika Anda telah membuat sumber data OceanBase dalam mode kompatibel MySQL, pilih dari daftar drop-down. Jika tidak, klik New Data Source di daftar drop-down dan buat satu di kotak dialog yang muncul di sebelah kanan. Untuk informasi lebih lanjut tentang parameter, lihat Buat sumber data OceanBase.
   Target	Jika Anda telah membuat sumber data MySQL, pilih dari daftar drop-down. Jika tidak, klik New Data Source di daftar drop-down dan buat satu di kotak dialog yang muncul di sebelah kanan. Untuk informasi lebih lanjut tentang parameter, lihat Buat sumber data MySQL.
   Tag (Opsional)	Pilih tag target dari daftar drop-down. Anda juga dapat mengklik Manage Tags untuk membuat, memodifikasi, dan menghapus tag. Untuk informasi lebih lanjut, lihat Gunakan tag untuk mengelola tugas migrasi data.

4. Klik Next. Di halaman Select Migration Type, pilih One-way Synchronization untuk Synchronous Topology.

   Layanan transmisi data mendukung sinkronisasi satu arah dan dua arah. Topik ini menjelaskan cara mengonfigurasi tugas sinkronisasi satu arah. Untuk informasi tentang sinkronisasi dua arah, lihat Konfigurasikan tugas sinkronisasi dua arah.

5. Pilih tipe untuk tugas migrasi data saat ini.

   Jika Anda memilih One-way Synchronization untuk Synchronous Topology, tipe migrasi yang didukung adalah migrasi skema, migrasi penuh, sinkronisasi inkremental, verifikasi penuh, dan reverse increment.

   

   Tipe migrasi	Deskripsi
   Migrasi skema	Setelah tugas migrasi skema dimulai, layanan transmisi data memigrasikan definisi objek database (seperti tabel, indeks, kendala, komentar, dan tampilan) dari database sumber ke database target dan secara otomatis menyaring tabel sementara.
   Migrasi penuh	Setelah tugas migrasi penuh dimulai, layanan transmisi data memigrasikan data yang ada dari tabel di database sumber ke tabel yang sesuai di database target. Jika Anda telah memilih Full Migration, kami sarankan Anda mengumpulkan statistik database OceanBase dalam mode kompatibel MySQL sebelum migrasi data.
   Sinkronisasi inkremental	Setelah tugas sinkronisasi inkremental dimulai, layanan transmisi data menyinkronkan data yang berubah (data yang ditambahkan, dimodifikasi, atau dihapus) dari database sumber ke tabel yang sesuai di database target. Opsi untuk Incremental Synchronization adalah DML synchronization dan DDL synchronization. Anda dapat memilih opsi sesuai kebutuhan. Untuk informasi lebih lanjut, lihat Konfigurasikan sinkronisasi DDL/DML. Incremental Synchronization memiliki batasan berikut: Jika Anda memilih DDL synchronization, saat Anda melakukan operasi DDL yang tidak didukung oleh layanan transmisi data di database sumber, migrasi data mungkin terganggu. Jika operasi DDL adalah ADD COLUMN, kami sarankan Anda menyetel kolom menjadi kolom NULL. Jika tidak, migrasi data mungkin terganggu.
   Verifikasi penuh	Setelah tugas migrasi penuh dan sinkronisasi inkremental selesai, layanan transmisi data secara otomatis memulai tugas verifikasi penuh untuk memverifikasi tabel di database sumber dan target. Jika Anda telah memilih Full Verification, kami sarankan Anda mengumpulkan statistik database OceanBase dalam mode kompatibel MySQL dan menggunakan pernyataan ANALYZE untuk mengumpulkan statistik database MySQL sebelum verifikasi penuh. Jika Anda telah memilih Incremental Synchronization tetapi belum memilih semua operasi DML di bagian DML synchronization, layanan transmisi data tidak mendukung verifikasi penuh.
   Reverse increment	Perubahan data yang dibuat di database target setelah switchover database bisnis disinkronkan ke database sumber secara real-time melalui reverse increment. Secara umum, konfigurasi sinkronisasi inkremental digunakan kembali untuk reverse increment. Anda juga dapat menyesuaikan konfigurasi untuk reverse increment sesuai kebutuhan.

6. Klik Next. Di halaman Select Migration Objects, tentukan objek migrasi untuk tugas migrasi data.

   Anda dapat memilih Specify Objects atau Match Rules untuk menentukan objek migrasi. Topik ini menjelaskan cara menggunakan Specify Objects untuk menentukan objek migrasi. Untuk informasi tentang aturan pencocokan, lihat bagian "Pola wildcard untuk migrasi/sinkronisasi data antar database" dalam topik Konfigurasikan dan modifikasi aturan pencocokan.

   Penting

   • Nama tabel yang akan dimigrasikan, serta nama kolom dalam tabel tersebut, tidak boleh mengandung karakter Cina.

   • Jika nama database atau tabel mengandung dua tanda dolar ($$), Anda tidak dapat membuat tugas migrasi.

   • Jika Anda telah memilih DDL synchronization di halaman Select Migration Type, kami sarankan Anda memilih objek migrasi dengan menggunakan opsi Aturan Pencocokan. Dengan cara ini, semua objek baru yang memenuhi aturan migrasi akan disinkronkan. Jika Anda memilih objek migrasi dengan menggunakan opsi Tentukan Objek, objek baru atau yang diubah namanya tidak akan disinkronkan.

   

   1. Di bagian Select Migration Objects, pilih Specify Objects.

   2. Di daftar Source Object(s) bagian Specify Migration Scope, pilih objek yang ingin dimigrasikan. Anda dapat memilih tabel dan tampilan dari satu atau lebih database.

   3. Klik > untuk menambahkannya ke daftar Target Object(s).

   Layanan transmisi data memungkinkan Anda mengimpor objek dari file teks, mengganti nama objek target, menyetel filter baris, melihat informasi kolom, dan menghapus satu atau semua objek migrasi.

   Catatan

   Saat Anda memilih Match Rules untuk menentukan objek migrasi, penggantian nama objek dilakukan berdasarkan sintaks aturan pencocokan yang ditentukan. Di area operasi, Anda hanya dapat menyetel kondisi filter. Untuk informasi lebih lanjut, lihat Konfigurasikan dan modifikasi aturan pencocokan.

   Operasi	Deskripsi
   Impor objek	Di daftar di sebelah kanan, klik Impor Objek di pojok kanan atas. Di kotak dialog yang muncul, klik OK. Penting Operasi ini akan menimpa pilihan sebelumnya. Lanjutkan dengan hati-hati. Di kotak dialog Impor Objek, impor objek yang akan dimigrasikan. Anda dapat mengimpor file CSV untuk mengganti nama database atau tabel dan menyetel kondisi filter baris. Untuk informasi lebih lanjut, lihat Unduh dan impor pengaturan objek migrasi. Klik Validasi. Setelah Anda mengimpor objek migrasi, periksa validitasnya. Pemetaan bidang kolom saat ini tidak didukung. Setelah validasi berhasil, klik OK.
   Ganti nama objek	Layanan transmisi data memungkinkan Anda mengganti nama objek migrasi. Untuk informasi lebih lanjut, lihat Ganti nama tabel database.
   Konfigurasikan pengaturan	Layanan transmisi data memungkinkan Anda menyaring baris menggunakan kondisi WHERE. Untuk informasi lebih lanjut, lihat Gunakan kondisi SQL untuk menyaring data. Anda juga dapat melihat informasi kolom objek migrasi di bagian Lihat Kolom.
   Hapus satu atau semua objek	Layanan transmisi data memungkinkan Anda menghapus satu atau semua objek sinkronisasi yang ditambahkan ke daftar di sebelah kanan selama pemetaan data. Hapus satu objek migrasi Di daftar di sebelah kanan, arahkan pointer ke objek yang ingin Anda hapus, dan klik Hapus untuk menghapus objek migrasi. Hapus semua objek migrasi Di daftar di sebelah kanan, klik Hapus Semua di pojok kanan atas. Di kotak dialog yang muncul, klik OK untuk menghapus semua objek migrasi.

7. Klik Next. Di halaman Migration Options, konfigurasikan parameter.

   • Migrasi Penuh

     Tabel berikut menjelaskan parameter untuk migrasi penuh, yang hanya ditampilkan jika Anda telah memilih One-way Synchronization dan Full Migration secara berurutan di halaman Select Migration Type.

     

     Parameter	Deskripsi
     Konkurensi Baca	Konkurensi untuk membaca data dari sumber selama migrasi penuh. Nilai maksimum adalah 512. Konkurensi baca yang tinggi dapat menyebabkan beban berlebih pada sumber, memengaruhi bisnis.
     Konkurensi Tulis	Konkurensi untuk menulis data ke target selama migrasi penuh. Nilai maksimum adalah 512. Konkurensi tulis yang tinggi dapat menyebabkan beban berlebih pada target, memengaruhi bisnis.
     Batas Laju Migrasi Penuh	Anda dapat memilih apakah akan membatasi laju migrasi penuh sesuai kebutuhan. Jika Anda memilih untuk membatasi laju migrasi penuh, Anda harus menentukan rekaman per detik (RPS) dan byte per detik (BPS). RPS menentukan jumlah maksimum baris data yang dimigrasikan ke target per detik selama migrasi penuh, dan BPS menentukan jumlah maksimum data dalam byte yang dimigrasikan ke target per detik selama migrasi penuh. Catatan Nilai RPS dan BPS yang ditentukan di sini hanya untuk pembatasan. Kinerja migrasi penuh aktual bergantung pada faktor-faktor seperti pengaturan sumber dan target serta spesifikasi instance.
     Tangani Tabel Non-kosong di Database Target	Nilai valid adalah Ignore dan Stop Migration. Jika Anda memilih Ignore, ketika data yang akan dimasukkan bertentangan dengan data yang ada di tabel target, layanan transmisi data mencatat data yang bertentangan sambil mempertahankan data yang ada. Penting Jika Anda memilih Ignore, data ditarik dalam mode IN selama verifikasi penuh. Dalam kasus ini, verifikasi tidak berlaku jika target berisi data yang tidak ada di sumber, dan kinerja verifikasi menurun. Jika Anda memilih Stop Migration dan tabel target berisi catatan, kesalahan yang menunjukkan migrasi tidak didukung dilaporkan selama migrasi penuh. Dalam kasus ini, Anda harus memproses data di tabel target sebelum melanjutkan migrasi. Penting Jika Anda mengklik Pulihkan di kotak dialog yang menunjukkan kesalahan, layanan transmisi data mengabaikan kesalahan ini dan melanjutkan migrasi data. Lanjutkan dengan hati-hati.
     Pembuatan Indeks Setelah Migrasi	Menentukan apakah akan membuat indeks setelah migrasi penuh selesai. Pembuatan indeks setelah migrasi dapat mempersingkat waktu yang diperlukan untuk migrasi penuh. Untuk informasi lebih lanjut tentang pertimbangan pembuatan indeks setelah migrasi, lihat deskripsi di bawah. Penting Parameter ini hanya ditampilkan jika Anda telah memilih Migrasi Skema dan Full Migration di halaman Select Migration Type. Hanya indeks kunci non-unik yang dapat dibuat setelah migrasi selesai.

     Jika pembuatan indeks setelah migrasi diizinkan, kami sarankan Anda menggunakan klien CLI untuk memodifikasi parameter berikut untuk tenant bisnis berdasarkan kondisi perangkat keras OceanBase Database dan lalu lintas bisnis Anda saat ini:

     // Tentukan batas ukuran buffer memori file.
     alter system set _temporary_file_io_area_size = '10' tenant = 'xxx'; 
     // Nonaktifkan throttling di OceanBase Database V4.x.
     alter system set sys_bkgd_net_percentage = 100;  

   • Sinkronisasi Inkremental

     Parameter berikut hanya ditampilkan jika Anda telah memilih One-way Synchronization dan Incremental Synchronization secara berurutan di halaman Select Migration Type.

     

     Parameter	Deskripsi
     Konkurensi Tulis	Konkurensi untuk menulis data ke target selama sinkronisasi inkremental. Nilai maksimum adalah 512. Konkurensi tulis yang tinggi dapat menyebabkan beban berlebih pada target, memengaruhi bisnis.
     Batas Laju Sinkronisasi Inkremental	Anda dapat memilih apakah akan membatasi laju sinkronisasi inkremental sesuai kebutuhan. Jika Anda memilih untuk membatasi laju sinkronisasi inkremental, Anda harus menentukan RPS dan BPS. RPS menentukan jumlah maksimum baris data yang disinkronkan ke target per detik selama sinkronisasi inkremental, dan BPS menentukan jumlah maksimum data dalam byte yang disinkronkan ke target per detik selama sinkronisasi inkremental. Catatan Nilai RPS dan BPS yang ditentukan di sini hanya untuk pembatasan. Kinerja sinkronisasi inkremental aktual bergantung pada faktor-faktor seperti pengaturan sumber dan target serta spesifikasi instance.
     Waktu Mulai Sinkronisasi Inkremental	Parameter ini tidak ditampilkan jika Anda telah memilih Full Migration di halaman Pilih Tipe Migrasi. Jika Anda telah memilih Incremental Synchronization tetapi tidak Full Migration, tentukan titik waktu setelah mana data akan disinkronkan. Nilai default adalah waktu sistem saat ini. Untuk informasi lebih lanjut, lihat Tetapkan timestamp sinkronisasi inkremental.

   • Reverse Increment

     Parameter berikut hanya ditampilkan jika Anda telah memilih One-way Synchronization dan Reverse Increment secara berurutan di halaman Select Migration Type. Secara default, konfigurasi sinkronisasi inkremental digunakan kembali untuk reverse increment.

     

     Anda dapat memilih untuk tidak menggunakan kembali konfigurasi sinkronisasi inkremental dan mengonfigurasi sinkronisasi inkremental terbalik sesuai kebutuhan.

     Parameter	Deskripsi
     Konkurensi Tulis	Konkurensi untuk menulis data ke sumber selama reverse increment. Nilai maksimum adalah 512. Konkurensi tinggi dapat menyebabkan beban berlebih pada sumber, memengaruhi bisnis.
     Batas Laju Reverse Increment	Anda dapat memilih apakah akan membatasi laju reverse increment sesuai kebutuhan. Jika Anda memilih untuk membatasi laju reverse increment, Anda harus menentukan RPS dan BPS. RPS menentukan jumlah maksimum baris data yang disinkronkan ke sumber per detik selama reverse increment, dan BPS menentukan jumlah maksimum data dalam byte yang disinkronkan ke sumber per detik selama reverse increment. Catatan Nilai RPS dan BPS yang ditentukan di sini hanya untuk pembatasan. Kinerja reverse increment aktual bergantung pada faktor-faktor seperti pengaturan sumber dan target serta spesifikasi instance.
     Waktu Mulai Sinkronisasi Inkremental	Parameter ini tidak ditampilkan jika Anda telah memilih Full Migration di halaman Pilih Tipe Migrasi. Jika Anda telah memilih Incremental Synchronization tetapi tidak Full Migration, timestamp mulai switchover maju (jika ada) digunakan secara default. Parameter ini tidak dapat dimodifikasi.

   • Parameter Lanjutan

     Bagian ini hanya ditampilkan jika sumbernya adalah OceanBase Database V4.3.0 atau lebih baru dan Anda telah memilih DDL synchronization untuk Reverse Increment di halaman Select Migration Type.

     

     Parameter ini menentukan tipe penyimpanan untuk objek tabel sumber selama reverse increment. Tipe penyimpanan yang didukung untuk objek tabel sumber adalah Default, Row storage, Column storage, dan Hybrid columnar storage. Untuk informasi lebih lanjut, lihat default_table_store_format.

     Catatan

     Nilai Default berarti bahwa parameter lainnya diatur secara otomatis berdasarkan konfigurasi parameter target. Objek tabel baru dalam sinkronisasi DDL inkremental terbalik ditulis ke skema yang sesuai berdasarkan tipe penyimpanan yang ditentukan.

8. Klik Precheck untuk memulai pemeriksaan awal pada tugas migrasi data.

   Selama pemeriksaan awal, layanan transmisi data memeriksa hak istimewa baca dan tulis pengguna database serta koneksi jaringan database. Tugas sinkronisasi data hanya dapat dimulai setelah melewati semua item pemeriksaan. Jika terjadi kesalahan selama pemeriksaan awal, Anda dapat melakukan operasi berikut:

   • Identifikasi dan perbaiki masalah, lalu lakukan pemeriksaan awal lagi.

   • Klik Skip di kolom Tindakan item pemeriksaan awal yang gagal. Di kotak dialog yang menunjukkan konsekuensi operasi, klik OK.

9. Setelah pemeriksaan awal berhasil, klik Start Task.

   Jika Anda tidak perlu memulai tugas sekarang, klik Save. Anda dapat memulai tugas nanti di halaman Migration Tasks atau dengan melakukan operasi batch. Untuk informasi lebih lanjut tentang operasi batch, lihat Lakukan operasi batch pada tugas migrasi data.

   Layanan transmisi data memungkinkan Anda memodifikasi objek migrasi dan kondisi filter baris mereka saat tugas migrasi sedang berjalan. Untuk informasi lebih lanjut, lihat Lihat dan modifikasi objek migrasi dan kondisi filter mereka. Setelah tugas migrasi data dimulai, tugas tersebut dieksekusi berdasarkan tipe migrasi yang dipilih. Untuk informasi lebih lanjut, lihat Lihat detail migrasi.