ApsaraDB for SelectDB:Migrasi data MySQL

Prosedur

1. Masuk ke Konsol ApsaraDB for SelectDB.

2. Di pojok kiri atas, pilih wilayah tempat instans Anda berada.

3. Pada halaman Instances, klik Instance ID yang dituju untuk membuka halaman Instance Details.

4. Di panel navigasi sebelah kiri, klik Data Pipeline, lalu pilih tab Data Synchronization.

   Catatan

   Sinkronisasi data DTS menggabungkan migrasi data historis untuk transfer satu kali dengan sinkronisasi data inkremental untuk pembaruan secara real-time.

5. Klik Create Synchronization Task dan konfigurasikan database sumber dan tujuan.

Kategori	Konfigurasi	Deskripsi
Informasi Tugas	Task Name	DTS secara otomatis menghasilkan nama tugas. Kami menyarankan agar Anda menentukan nama deskriptif untuk memudahkan identifikasi. Nama tersebut tidak harus unik.
Database Sumber	Database Type	Pilih MySQL.
	Access Method	Pilih Alibaba Cloud Instance.
	Instance Region	Pilih wilayah tempat instans sumber ApsaraDB RDS for MySQL berada.
	RDS Instance ID	Pilih ID instans sumber ApsaraDB RDS for MySQL. Contoh: rm-2z3m****.
	Database Account	Masukkan akun database instans sumber ApsaraDB RDS for MySQL. Untuk izin yang diperlukan, lihat Izin yang diperlukan untuk akun database.
	Database Password	Masukkan kata sandi yang sesuai dengan akun database tersebut.
	Encryption	Pilih Non-encrypted atau SSL-encrypted sesuai kebutuhan. Jika Anda memilih SSL-encrypted, Anda harus mengaktifkan enkripsi SSL untuk instans RDS for MySQL terlebih dahulu. Untuk informasi selengkapnya, lihat Gunakan sertifikat cloud untuk mengaktifkan enkripsi SSL dengan cepat.
Database Tujuan	Database Type	Pilih SelectDB.
	Access Method	Pilih Alibaba Cloud Instance.
	Instance Region	Pilih wilayah tempat instans SelectDB tujuan berada.
	Instance ID	Pilih ID instans SelectDB tujuan.
	Database Account	Masukkan akun database instans SelectDB tujuan. Untuk izin yang diperlukan, lihat Izin yang diperlukan untuk akun database.
	Database Password	Masukkan kata sandi yang sesuai dengan akun database tersebut.

6. Setelah menyelesaikan konfigurasi, klik Test Connection and Proceed di bagian bawah halaman.

7. Konfigurasikan objek tugas dan pengaturan lanjutan.

Konfigurasi	Deskripsi
Synchronization Types	Incremental Data Synchronization dipilih. Secara default, Anda juga harus memilih Schema Synchronization dan Full Data Synchronization. Setelah pemeriksaan awal selesai, DTS akan melakukan sinkronisasi data penuh dari objek yang dipilih dari instans sumber ke kluster tujuan. Ini menjadi garis dasar data untuk sinkronisasi data inkremental berikutnya. Penting Tipe data dikonversi saat data disinkronkan dari MySQL ke SelectDB. Jika Anda tidak memilih Schema Synchronization, Anda harus terlebih dahulu membuat tabel dengan skema yang sesuai yang menggunakan model Unique Key di instans SelectDB tujuan. Untuk informasi selengkapnya, lihat Pemetaan tipe data dan Model data.
Source Objects	Pada kotak Source Objects, klik objek yang ingin Anda sinkronkan, lalu klik untuk memindahkan objek ke kotak Selected Objects. Anda dapat memilih objek pada tingkat database, tabel, atau kolom. Penting Jika Anda memilih objek pada tingkat database, DTS tidak akan menyinkronkan data untuk tabel yang dibuat setelah tugas dimulai. Jika Anda berencana menambahkan tabel selama sinkronisasi, pilih objek pada tingkat tabel. Anda dapat mengubah pilihan nanti dengan menggunakan Modify Synchronized Objects. Jika Anda memilih objek pada tingkat tabel dan perlu mengeditnya, misalnya dengan memetakan nama tabel atau kolom, satu tugas sinkronisasi mendukung maksimal 1.000 tabel. Jika batas ini dilampaui, kesalahan akan dilaporkan saat Anda mengirimkan tugas. Dalam kasus ini, bagi tabel yang akan disinkronkan menjadi beberapa batch dan konfigurasikan beberapa tugas, atau konfigurasikan tugas sinkronisasi tingkat database.
Selected Objects	Untuk mengganti nama objek sinkronisasi tunggal di instans tujuan, klik kanan objek tersebut di kotak Selected Objects. Untuk informasi selengkapnya tentang penggantian nama objek, lihat Memetakan satu database, tabel, atau kolom. Untuk mengganti nama beberapa objek sinkronisasi di instans tujuan secara batch, klik Batch Edit di pojok kanan atas kotak Selected Objects. Untuk informasi selengkapnya, lihat Memetakan database, tabel, dan kolom secara batch. Catatan Untuk memilih operasi SQL yang akan disinkronkan pada tingkat database atau tabel, klik kanan objek yang akan disinkronkan di kotak Selected Objects, lalu pilih operasi SQL yang diinginkan di kotak dialog yang muncul. Untuk daftar operasi yang didukung, lihat Operasi SQL yang mendukung sinkronisasi inkremental. Untuk memfilter data menggunakan klausa WHERE, klik kanan tabel yang akan disinkronkan di kotak Selected Objects, lalu atur kondisi filter di kotak dialog yang muncul. Untuk informasi selengkapnya, lihat Atur kondisi filter. Jika Anda menggunakan fitur pemetaan nama objek, objek lain yang bergantung pada objek yang dipetakan ulang mungkin gagal disinkronkan.

8. Opsi: Setelah menyelesaikan konfigurasi di atas, klik Next: Configure Database and Table Fields untuk mengatur Primary Key Column, Distribution Key, dan Engine untuk tabel tujuan.

Catatan

• Langkah ini tersedia hanya jika Anda memilih Synchronization Types untuk Schema Synchronization saat mengonfigurasi objek tugas. Anda dapat mengatur Definition Status ke All lalu memodifikasi pengaturannya.

• Anda dapat memilih beberapa kolom untuk membentuk Primary Key Column komposit, dan Anda harus memilih satu atau beberapa kolom dari Primary Key Column sebagai Distribution Key. Untuk Engine, hanya Unique yang didukung.

9. Simpan tugas dan jalankan pemeriksaan awal. Setelah Precheck Success Rate mencapai 100%, klik Next: Purchase.

10. Pada halaman Purchase, pilih metode penagihan dan spesifikasi tautan untuk instansi sinkronisasi data. Baca dan pilih Data Transmission Service (Pay-As-You-Go) Service Terms. Klik Purchase and Start untuk memulai tugas sinkronisasi. Anda dapat melihat progres tugas di halaman sinkronisasi data.

Tambahkan sumber data

Saat mengembangkan tugas sinkronisasi data, buat sumber data MySQL dan sumber data SelectDB di DataWorks.

1. Buat sumber data MySQL. Untuk informasi selengkapnya, lihat Sumber data MySQL.

2. Buat sumber data SelectDB. Untuk informasi selengkapnya, lihat Manajemen sumber data. Tabel berikut menjelaskan beberapa parameter konfigurasi untuk sumber data SelectDB.

   Parameter	Deskripsi
   Data Source Name	Nama sumber data.
   MySQL Connection URL	Masukkan string koneksi JDBC jdbc:mysql://<ip>:<port>/<dbname>. Anda dapat memperoleh VPC Endpoint (atau Public Endpoint) dan MySQL Port dari halaman Instance Details > Network Information di Konsol ApsaraDB for SelectDB. Contoh: jdbc:mysql://selectdb-cn-4xl3jv1****.selectdbfe.rds.aliyuncs.com:9030/test_db
   HTTP Connection URL	Masukkan titik akhir protokol HTTP dalam format <ip>:<port>. Anda dapat memperoleh VPC Endpoint (atau Public Endpoint) dan HTTP Port dari halaman Instance Details > Network Information di Konsol ApsaraDB for SelectDB. Contoh: selectdb-cn-4xl3jv1****.selectdbfe.rds.aliyuncs.com:8080
   Username	Masukkan username untuk instans ApsaraDB for SelectDB.
   Password	Masukkan kata sandi untuk pengguna yang ditentukan dari instans ApsaraDB for SelectDB.

Konfigurasi sinkronisasi data

Untuk mengonfigurasi tugas migrasi data, lihat dokumen berikut:

• Sinkronkan semua data dari database MySQL ke SelectDB secara real-time.

• Konfigurasi tugas sinkronisasi batch menggunakan antarmuka tanpa kode.

• Konfigurasi tugas sinkronisasi batch menggunakan editor kode.

Migrasi data dengan Flink CDC

Flink menyediakan tiga metode untuk migrasi data dari MySQL ke SelectDB: Flink SQL, Flink CDC, dan DataStream. Flink CDC mendukung migrasi data historis, sinkronisasi data inkremental, migrasi database dan tabel, serta sinkronisasi DDL. Contoh berikut menggunakan Flink CDC untuk menyinkronkan data dari MySQL ke ApsaraDB for SelectDB. Untuk informasi selengkapnya, lihat Gunakan Flink untuk mengimpor data.

<FLINK_HOME>/bin/flink run \
    -Dexecution.checkpointing.interval=10s \
    -Dparallelism.default=1 \
    -c org.apache.doris.flink.tools.cdc.CdcTools \
    lib/flink-doris-connector-1.16-1.5.2.jar \
    mysql-sync-database \
    --database test_db \
    --including-tables "tbl1|test.*" \
    --mysql-conf hostname=127.0.0.1 \
    --mysql-conf username=root \
    --mysql-conf password=123456 \
    --mysql-conf database-name=mysql_db \
    --sink-conf fenodes=selectdb-cn-****.selectdbfe.rds.aliyuncs.com:8080 \
    --sink-conf username=admin \
    --sink-conf password=****

Migrasi data dengan katalog