Data Transmission Service (DTS) memungkinkan Anda untuk memigrasikan data dari instance ApsaraDB for OceanBase atau database OceanBase yang kompatibel dengan MySQL yang dikelola sendiri ke mesin LindormTable dari instance Lindorm. Topik ini menjelaskan cara memigrasikan data dari database OceanBase yang kompatibel dengan MySQL yang dikelola sendiri dan dapat diakses melalui Internet ke instance Lindorm menggunakan DTS.
Prasyarat
Database OceanBase sumber menjalankan OceanBase Database Community Edition V4.x.
CatatanJika database sumber adalah instance ApsaraDB for OceanBase, tidak ada batasan pada edisi atau versi mesin tersebut. Namun, fitur pencatatan biner harus diaktifkan untuk instance tersebut. Untuk informasi lebih lanjut, lihat Operasi Terkait Layanan Binlog.
Instance Lindorm tujuan telah dibuat. Instance ini menggunakan mesin LindormTable dan ruang penyimpanan yang tersedia lebih besar daripada total ukuran data dalam database OceanBase sumber. Untuk informasi lebih lanjut, lihat Buat Instance.
Fitur kompatibilitas MySQL diaktifkan untuk instance Lindorm tujuan. Untuk informasi lebih lanjut, lihat Aktifkan Fitur Kompatibilitas MySQL.
Namespace dan tabel lebar dibuat dalam instance Lindorm tujuan sesuai dengan kebutuhan bisnis Anda untuk menerima data. Tabel lebar harus dipartisi sebelumnya berdasarkan data lengkap. Untuk informasi lebih lanjut, lihat Gunakan Klien MySQL untuk Terhubung dan Menggunakan LindormTable, Gunakan Lindorm-cli untuk Terhubung dan Menggunakan LindormTable, Gunakan Lindorm Shell untuk Terhubung ke LindormTable, CREATE TABLE, dan Database Tujuan: Instance Lindorm.
CatatanKami merekomendasikan agar Anda membuat namespace, tabel, dan kolom dalam instance Lindorm dengan nama yang sama seperti objek yang akan dimigrasi dalam database OceanBase.
Catatan penggunaan
Selama migrasi data penuh dan migrasi data tambahan, DTS sementara menonaktifkan pemeriksaan kendala dan operasi kaskade pada kunci asing di tingkat sesi. Jika Anda melakukan operasi pembaruan dan penghapusan kaskade pada database sumber selama migrasi data, ketidaksesuaian data mungkin terjadi.
Kategori | Deskripsi |
Batasan pada database sumber |
|
Batasan lainnya |
|
Penagihan
Jenis migrasi | Biaya konfigurasi tugas | Biaya transfer data |
Migrasi Data Penuh | Gratis. | Gratis dalam contoh ini. Ketika parameter Access Method dari database tujuan disetel ke Public IP Address, Anda akan dikenai biaya untuk lalu lintas Internet. Untuk informasi lebih lanjut, lihat Item yang dapat ditagih. |
Migrasi Data Tambahan | Dikenakan biaya. Untuk informasi lebih lanjut, lihat Ikhtisar Penagihan. |
Operasi SQL yang mendukung migrasi tambahan
Jenis operasi | Pernyataan SQL |
DML | INSERT, UPDATE, dan DELETE |
DDL | CREATE TABLE, DROP TABLE, dan ADD COLUMN |
Izin yang diperlukan untuk akun database
Tipe database | Migrasi data penuh | Migrasi data tambahan | |
Database OceanBase yang dikelola sendiri | Pengguna | Hak SELECT | |
Tenant | Tenant reguler | Tenant reguler Penting Anda harus menginstal oblogproxy di server yang menampung database OceanBase sumber dan mengonfigurasi tenant sistem. oblogproxy adalah layanan proxy untuk mengelola log tambahan. Untuk informasi lebih lanjut, lihat Instalasi dan penyebaran oblogproxy menggunakan paket instalasi. | |
Instance ApsaraDB for OceanBase | Hak SELECT | ||
Instance Lindorm | Hak baca dan tulis pada namespace tujuan | ||
Untuk informasi lebih lanjut tentang cara membuat akun database dan memberikan izin kepada akun database, lihat topik-topik berikut:
Database OceanBase yang dikelola sendiri: Buat Tenant, Buat Pengguna, dan Berikan Hak Istimewa.
Instance ApsaraDB for OceanBase: Buat Tenant, Buat Pengguna Database, dan Hak Istimewa Pengguna.
Instance Lindorm: Kelola Pengguna.
Prosedur
Masuk ke Konsol DTS.
Di panel navigasi di sebelah kiri, klik Data Migration.
Di bilah navigasi atas, pilih wilayah tempat instance DTS Anda berada.
Klik Create Task untuk masuk ke halaman konfigurasi tugas.
Opsional. Klik New Configuration Page di sudut kanan atas halaman.
CatatanLewati langkah ini jika tombol Back to Previous Version ditampilkan di sudut kanan atas halaman.
Parameter tertentu di halaman konfigurasi versi baru dan sebelumnya mungkin berbeda. Kami merekomendasikan agar Anda menggunakan halaman konfigurasi versi baru.
Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter.
Bagian
Parameter
Deskripsi
Tidak Ada
Task Name
Nama tugas DTS. DTS secara otomatis menghasilkan nama tugas. Kami merekomendasikan agar Anda menentukan nama informatif yang memudahkan identifikasi tugas. Anda tidak perlu menentukan nama tugas yang unik.
Source Database
Select Existing Connection
Jika Anda menggunakan instance database yang terdaftar dengan DTS, pilih instance dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instance tersebut. Untuk informasi lebih lanjut, lihat Kelola koneksi database.
CatatanDi konsol DMS, Anda dapat memilih instance database dari daftar drop-down Select a DMS database instance.
Jika Anda gagal mendaftarkan instance dengan DTS, atau Anda tidak perlu menggunakan instance yang terdaftar dengan DTS, Anda harus mengonfigurasi informasi database berikut.
Database Type
Tipe database sumber. Pilih ApsaraDB OceanBase for MySQL.
Access Method
Metode akses database sumber. Pilih nilai berdasarkan lokasi penyebaran database sumber. Dalam contoh ini, Public IP Address dipilih.
CatatanJika database yang dikelola sendiri digunakan sebagai database sumber, Anda harus menyiapkan lingkungan yang diperlukan untuk database yang dikelola sendiri sebelum migrasi data. Untuk informasi lebih lanjut, lihat Ikhtisar persiapan.
Instance Region
Wilayah tempat database OceanBase sumber berada.
CatatanJika parameter Access Method disetel ke Public IP Address dan wilayah tempat database OceanBase berada tidak ditampilkan dalam daftar drop-down Instance Region, pilih wilayah yang secara geografis paling dekat dengan database OceanBase.
Domain Name or IP
Titik akhir dari database OceanBase sumber.
Port Number
Port layanan dari database OceanBase sumber. Nilai default: 2881.
IP Address in Log Proxy (Domain Name Not Supported)
Alamat IP oblogproxy untuk database OceanBase sumber.
Port in Log Proxy
Port mendengarkan oblogproxy untuk database OceanBase sumber. Nilai default: 2983.
Database Account
Akun database OceanBase sumber. Untuk informasi lebih lanjut tentang izin yang diperlukan untuk akun tersebut, lihat bagian Izin yang diperlukan untuk akun database dari topik ini.
Database Password
Kata sandi yang digunakan untuk mengakses instance database.
Destination Database
Select Existing Connection
Jika Anda menggunakan instance database yang terdaftar dengan DTS, pilih instance dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instance tersebut. Untuk informasi lebih lanjut, lihat Kelola koneksi database.
CatatanDi konsol DMS, Anda dapat memilih instance database dari daftar drop-down Select a DMS database instance.
Jika Anda gagal mendaftarkan instance dengan DTS, atau Anda tidak perlu menggunakan instance yang terdaftar dengan DTS, Anda harus mengonfigurasi informasi database berikut.
Database Type
Tipe database tujuan. Pilih Lindorm.
Access Method
Metode akses database tujuan. Pilih Alibaba Cloud Instance.
Instance Region
Wilayah tempat instance Lindorm tujuan berada.
Instance ID
ID instance Lindorm tujuan.
Database Account
Akun database instance Lindorm tujuan. Untuk informasi lebih lanjut tentang izin yang diperlukan untuk akun tersebut, lihat bagian Izin yang diperlukan untuk akun database dari topik ini.
Database Password
Kata sandi yang digunakan untuk mengakses instance database.
Di bagian bawah halaman, klik Test Connectivity and Proceed.
Pastikan bahwa blok CIDR server DTS telah ditambahkan ke daftar putih database OceanBase. Lalu, klik Test Connectivity.
PentingJika blok CIDR publik server DTS ditambahkan ke daftar putih database, risiko keamanan mungkin timbul. Sebelum Anda menggunakan DTS untuk migrasi data, Anda harus memahami dan mengetahui risiko potensial serta mengambil tindakan pencegahan, termasuk tetapi tidak terbatas pada langkah-langkah berikut: meningkatkan keamanan nama pengguna dan kata sandi Anda, membatasi port yang diekspos, mengotentikasi panggilan API, dan secara berkala memeriksa daftar putih serta melarang blok CIDR yang tidak sah. Untuk informasi lebih lanjut, lihat Tambahkan Blok CIDR Server DTS.
Konfigurasikan objek yang akan dimigrasikan.
Di halaman Configure Objects, konfigurasikan objek yang ingin Anda migrasikan.
Parameter
Deskripsi
Migration Types
Untuk hanya melakukan migrasi data penuh, pilih Full Data Migration saja.
Untuk memastikan kontinuitas layanan selama migrasi data, pilih Full Data Migration dan Incremental Data Migration.
CatatanJika Anda tidak memilih Incremental Data Migration, kami merekomendasikan agar Anda tidak menulis data ke database sumber selama migrasi data. Ini memastikan konsistensi data antara database sumber dan tujuan.
Processing Mode of Conflicting Tables
Precheck and Report Errors: memeriksa apakah database tujuan berisi tabel yang menggunakan nama yang sama dengan tabel di database sumber. Jika database sumber dan tujuan tidak berisi tabel dengan nama tabel identik, pemeriksaan awal berhasil. Jika tidak, kesalahan dilaporkan selama pemeriksaan awal dan tugas migrasi data tidak dapat dimulai.
CatatanJika database sumber dan tujuan berisi tabel dengan nama identik dan tabel di database tujuan tidak dapat dihapus atau diganti namanya, Anda dapat menggunakan fitur pemetaan nama objek untuk mengganti nama tabel yang dimigrasikan ke database tujuan. Untuk informasi lebih lanjut, lihat Petakan nama objek.
Ignore Errors and Proceed: melewati pemeriksaan awal untuk nama tabel identik di database sumber dan tujuan.
PeringatanJika Anda memilih Ignore Errors and Proceed, ketidaksesuaian data mungkin terjadi dan bisnis Anda mungkin terpapar risiko potensial berikut:
Jika database sumber dan tujuan memiliki skema yang sama, dan catatan data memiliki kunci utama yang sama dengan catatan data yang ada di database tujuan, skenario berikut mungkin terjadi:
Selama migrasi data penuh, DTS tidak memigrasikan catatan data ke database tujuan. Catatan data yang ada di database tujuan dipertahankan.
Selama migrasi data tambahan, DTS memigrasikan catatan data ke database tujuan. Catatan data yang ada di database tujuan ditimpa.
Jika database sumber dan tujuan memiliki skema yang berbeda, hanya kolom tertentu yang dimigrasikan atau tugas migrasi data gagal. Lanjutkan dengan hati-hati.
Capitalization of Object Names in Destination Instance
Huruf besar/kecil nama database, nama tabel, dan nama kolom di instance tujuan. Secara default, DTS default policy dipilih. Anda dapat memilih opsi lain untuk memastikan bahwa huruf besar/kecil nama objek konsisten dengan database sumber atau tujuan. Untuk informasi lebih lanjut, lihat Tentukan huruf besar/kecil nama objek di instance tujuan.
Source Objects
Pilih satu atau lebih objek dari bagian Source Objects. Klik ikon
untuk menambahkan objek ke bagian Selected Objects.CatatanAnda dapat memilih kolom, tabel, atau database sebagai objek yang akan dimigrasikan. Jika Anda memilih tabel atau kolom sebagai objek yang akan dimigrasikan, DTS tidak memigrasikan objek lainnya, seperti tampilan, pemicu, atau prosedur tersimpan, ke database tujuan.
Selected Objects
Untuk mengubah nama objek yang akan dimigrasikan di instance tujuan, klik kanan objek di bagian Selected Objects. Untuk informasi lebih lanjut, lihat Petakan nama objek.
Untuk menghapus satu atau lebih objek yang dipilih untuk migrasi, klik objek di bagian Selected Objects lalu klik ikon
untuk memindahkan objek ke bagian Source Objects.
CatatanJika Anda menggunakan fitur pemetaan nama objek untuk mengganti nama objek, objek lain yang bergantung pada objek tersebut mungkin gagal dimigrasikan.
Untuk menentukan kondisi WHERE untuk menyaring data, klik kanan tabel di bagian Selected Objects. Di kotak dialog yang muncul, tentukan kondisi. Untuk informasi lebih lanjut, lihat Tentukan kondisi filter.
Untuk memilih operasi SQL yang dilakukan pada database atau tabel tertentu, klik kanan objek di bagian Selected Objects. Di kotak dialog yang muncul, pilih operasi SQL yang ingin Anda migrasikan.
Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.
Parameter
Deskripsi
Dedicated Cluster for Task Scheduling
Secara default, DTS menjadwalkan tugas migrasi data ke klaster bersama jika Anda tidak menentukan klaster khusus. Jika Anda ingin meningkatkan stabilitas tugas migrasi data, beli klaster khusus. Untuk informasi lebih lanjut, lihat Apa itu Klaster Khusus DTS.
Retry Time for Failed Connections
Rentang waktu ulang untuk koneksi gagal. Jika database sumber atau tujuan gagal terhubung setelah tugas migrasi data dimulai, DTS segera mencoba kembali koneksi dalam rentang waktu ulang. Nilai valid: 10 hingga 1.440. Unit: menit. Nilai default: 720. Kami merekomendasikan agar Anda menyetel parameter ini ke nilai lebih besar dari 30. Jika DTS terhubung kembali ke database sumber dan tujuan dalam rentang waktu ulang yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal.
CatatanJika Anda menentukan rentang waktu ulang yang berbeda untuk beberapa tugas migrasi data yang berbagi database sumber atau tujuan yang sama, nilai yang ditentukan kemudian akan mengambil alih.
Saat DTS mencoba kembali koneksi, Anda akan dikenai biaya untuk instance DTS. Kami merekomendasikan agar Anda menentukan rentang waktu ulang berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepaskan instance DTS sesegera mungkin setelah database sumber dan instance tujuan dilepaskan.
Retry Time for Other Issues
Rentang waktu ulang untuk masalah lainnya. Misalnya, jika operasi DDL atau DML gagal dilakukan setelah tugas migrasi data dimulai, DTS segera mencoba kembali operasi dalam rentang waktu ulang. Nilai valid: 1 hingga 1.440. Unit: menit. Nilai default: 10. Kami merekomendasikan agar Anda menyetel parameter ini ke nilai lebih besar dari 10. Jika operasi gagal berhasil dilakukan dalam rentang waktu ulang yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal.
PentingNilai parameter Retry Time for Other Issues harus lebih kecil dari nilai parameter Retry Time for Failed Connections.
Enable Throttling for Full Data Migration
Menentukan apakah akan mengaktifkan pembatasan untuk migrasi data penuh. Selama migrasi data penuh, DTS menggunakan sumber daya baca dan tulis dari database sumber dan tujuan. Ini dapat meningkatkan beban server database. Anda dapat mengaktifkan pembatasan untuk migrasi data penuh berdasarkan kebutuhan bisnis Anda. Untuk mengonfigurasi pembatasan, Anda harus mengonfigurasi parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s). Ini mengurangi beban server database tujuan.
CatatanAnda dapat mengonfigurasi parameter ini hanya jika memilih Full Data Migration untuk parameter Migration Types.
Enable Throttling for Incremental Data Migration
Menentukan apakah akan mengaktifkan pembatasan untuk migrasi data tambahan. Untuk mengonfigurasi pembatasan, Anda harus mengonfigurasi parameter RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s). Ini mengurangi beban server database tujuan.
CatatanAnda hanya dapat mengonfigurasi parameter ini jika Anda memilih Incremental Data Migration untuk parameter Migration Types.
Environment Tag
Tag lingkungan yang digunakan untuk mengidentifikasi instance DTS. Anda dapat memilih tag lingkungan berdasarkan kebutuhan bisnis Anda. Dalam contoh ini, Anda tidak perlu mengonfigurasi parameter ini.
Configure ETL
Menentukan apakah akan mengaktifkan fitur ekstraksi, transformasi, dan pemuatan (ETL). Untuk informasi lebih lanjut, lihat Apa itu ETL? Nilai valid:
Yes: mengonfigurasi fitur ETL. Anda dapat memasukkan pernyataan pemrosesan data di editor kode. Untuk informasi lebih lanjut, lihat Konfigurasikan ETL dalam tugas migrasi data atau tugas sinkronisasi data.
No: tidak mengonfigurasi fitur ETL.
Monitoring and Alerting
Menentukan apakah akan mengonfigurasi peringatan untuk tugas migrasi data. Jika tugas gagal atau latensi migrasi melebihi ambang batas yang ditentukan, kontak peringatan menerima notifikasi. Nilai valid:
No: tidak mengonfigurasi peringatan.
Yes: mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan pengaturan notifikasi peringatan. Untuk informasi lebih lanjut, lihat bagian Konfigurasikan Pemantauan dan Peringatan saat Membuat Tugas DTS dari topik Konfigurasikan Pemantauan dan Peringatan.
Simpan pengaturan tugas dan jalankan pra-pemeriksaan.
Untuk melihat parameter yang harus ditentukan saat Anda memanggil operasi API terkait untuk mengonfigurasi tugas DTS, gerakkan pointer ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.
Jika Anda tidak perlu melihat atau telah melihat parameter tersebut, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
CatatanSebelum Anda dapat memulai tugas migrasi data, DTS melakukan pra-pemeriksaan. Anda hanya dapat memulai tugas migrasi data setelah tugas tersebut lulus pra-pemeriksaan.
Jika tugas gagal lulus pra-pemeriksaan, klik View Details di sebelah setiap item yang gagal. Setelah Anda menganalisis penyebab berdasarkan hasil pemeriksaan, atasi masalah tersebut. Lalu, jalankan pra-pemeriksaan lagi.
Jika peringatan dipicu untuk suatu item selama pra-pemeriksaan:
Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan atasi masalah tersebut. Lalu, jalankan pra-pemeriksaan lagi.
Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog Lihat Detail, klik Ignore. Di pesan yang muncul, klik OK. Lalu, klik Precheck Again untuk menjalankan pra-pemeriksaan lagi. Jika Anda mengabaikan item peringatan, ketidaksesuaian data mungkin terjadi, dan bisnis Anda mungkin terpapar risiko potensial.
Tunggu hingga Success Rate menjadi 100%. Lalu, klik Next: Purchase Instance.
Beli instance migrasi data.
Di halaman Purchase Instance, konfigurasikan parameter Kelas Instance untuk instance migrasi data. Tabel berikut menjelaskan parameter.
Bagian
Parameter
Deskripsi
New Instance Class
Resource Group
Grup sumber daya tempat instance migrasi data milik. Nilai default: default resource group. Untuk informasi lebih lanjut, lihat Apa itu Resource Management?
Instance Class
DTS menyediakan kelas instance yang bervariasi dalam kecepatan migrasi. Anda dapat memilih kelas instance berdasarkan skenario bisnis Anda. Untuk informasi lebih lanjut, lihat Kelas instance instance migrasi data.
Baca dan setujui Data Transmission Service (Pay-as-you-go) Service Terms dengan memilih kotak centang.
Klik Buy and Start. Di pesan yang muncul, klik klik OK.
Anda dapat melihat kemajuan tugas di halaman Data Migration.
CatatanJika tugas migrasi data tidak dapat digunakan untuk memigrasikan data tambahan, tugas tersebut secara otomatis berhenti. Completed ditampilkan di bagian Status .
Jika tugas migrasi data dapat digunakan untuk memigrasikan data tambahan, tugas tersebut tidak berhenti secara otomatis. Tugas migrasi data tambahan tidak pernah berhenti atau selesai. Running ditampilkan di bagian Status.