Data Transmission Service:Migrasi\ data\ dari\ database\ TiDB\ yang\ dikelola\ sendiri\ ke\ kluster\ PolarDB\ for\ MySQL

Batasan database sumber

• Egress bandwidth: Server database sumber harus memiliki egress bandwidth yang mencukupi. Bandwidth yang tidak mencukupi akan mengurangi kecepatan migrasi.

• Kunci primer atau kendala UNIK: Tabel harus memiliki PRIMARY KEY atau UNIQUE constraint dengan semua field unik. Tanpa kendala ini, database tujuan mungkin berisi catatan duplikat.

• Batas tabel per tugas: Saat memigrasikan tabel individual dengan edit tingkat kolom (seperti mengganti nama kolom), satu tugas mendukung hingga 1.000 tabel. Untuk lebih dari 1.000 tabel, bagi pekerjaan tersebut ke beberapa tugas atau migrasikan seluruh database.

• Pembatasan DDL selama migrasi: Selama migrasi skema dan migrasi data penuh, jangan lakukan operasi DDL yang mengubah skema database atau tabel. Tugas migrasi akan gagal jika operasi DDL terdeteksi.

• Indeks awalan: Metadata TiDB tidak menyimpan panjang indeks awalan. Setelah migrasi, panjang indeks awalan hilang, yang dapat mencegah instans berjalan. Perbaiki secara manual panjang indeks awalan untuk tabel yang terpengaruh setelah migrasi.

• Persyaratan data inkremental: Migrasi data inkremental memerlukan kluster Kafka dan komponen TiDB Binlog atau TiCDC. Lihat (Opsional) Siapkan pengumpulan data inkremental.

Batasan lainnya

• Incremental data partition: DTS hanya membaca data inkremental dari ID partisi 0 pada topik Kafka.

• Inisialisasi posisi: Setelah membuat tugas dengan migrasi inkremental, segera lakukan perubahan atau masukkan data uji pada database sumber untuk memperbarui informasi posisi. Jika tidak, tugas mungkin gagal karena latensi berlebihan.

• Karakter 4-byte: Jika data mencakup karakter langka atau emoji (karakter 4-byte), database dan tabel tujuan harus menggunakan set karakter UTF8mb4. Jika Anda menggunakan migrasi skema DTS, atur juga parameter instans character_set_server ke UTF8mb4 di database tujuan.

• Penggunaan sumber daya migrasi penuh: Migrasi data penuh mengonsumsi sumber daya baca dan tulis di kedua database sumber dan tujuan, sehingga meningkatkan beban mereka. Evaluasi kinerja database sebelum migrasi dan jalankan migrasi penuh selama jam sepi (misalnya, saat Beban CPU di bawah 30%).

• Ukuran ruang tabel setelah migrasi penuh: Operasi INSERT konkuren selama migrasi data penuh menyebabkan fragmentasi tabel. Ruang tabel di database tujuan akan lebih besar daripada di database sumber setelah migrasi selesai.

• Penulisan ke tujuan selama migrasi: Menulis ke database tujuan selama migrasi dapat menyebabkan ketidakkonsistenan data antara sumber dan tujuan.

• Presisi FLOAT dan DOUBLE: DTS menggunakan ROUND(COLUMN,PRECISION) untuk membaca nilai FLOAT dan DOUBLE. Presisi default adalah 38 digit untuk FLOAT dan 308 digit untuk DOUBLE. Verifikasi bahwa pengaturan presisi ini memenuhi kebutuhan Anda.

• Auto-resume: DTS secara otomatis mencoba melanjutkan tugas yang gagal dalam tujuh hari terakhir. Sebelum mengalihkan beban kerja ke instans tujuan, hentikan atau rilis tugas DTS, atau jalankan REVOKE untuk menghapus izin tulis akun DTS di instans tujuan.

• Kegagalan DDL: Jika pernyataan DDL gagal di database tujuan, tugas DTS tetap berjalan. Lihat pernyataan DDL yang gagal di log tugas. Lihat Lihat log tugas.

• Intervensi dukungan teknis: Jika tugas DTS gagal, dukungan teknis akan mencoba memulihkannya dalam waktu 8 jam. Selama pemulihan, tugas mungkin dimulai ulang dan parameter tugas (bukan parameter database) mungkin dimodifikasi. Untuk parameter yang mungkin dimodifikasi, lihat bagian Modifikasi parameter instans.

Langkah 1: Siapkan kluster Kafka

Gunakan salah satu opsi berikut:

• Kluster Kafka yang dikelola sendiri: Deploy Apache Kafka mengikuti dokumentasi Apache Kafka.

  Peringatan

  Untuk menangani volume data log biner dari TiDB, tingkatkan parameter berikut dalam konfigurasi Kafka Anda. Lihat Konfigurasi Kafka.

  Komponen	Parameter	Alasan
  Broker	message.max.bytes	Menetapkan ukuran maksimum pesan yang diterima broker. Event log biner TiDB bisa sangat besar, sehingga batas default menyebabkan kegagalan penulisan.
  Broker	replica.fetch.max.bytes	Menetapkan jumlah byte maksimum yang dapat diambil follower per permintaan. Harus setidaknya sebesar message.max.bytes agar dapat mereplikasi pesan yang terlalu besar.
  Consumer	fetch.message.max.bytes	Menetapkan jumlah byte maksimum yang diambil consumer per partisi. Harus setidaknya sebesar message.max.bytes agar DTS dapat membaca event lengkap.

• Message Queue for Apache Kafka: Gunakan layanan Kafka terkelola Alibaba Cloud. Lihat Memulai.

  Deploy instans Message Queue for Apache Kafka di virtual private cloud (VPC) yang sama dengan server database sumber untuk mengurangi latensi jaringan dan memastikan konektivitas stabil.

Langkah 2: Buat topik Kafka

Buat topik di kluster Kafka atau instans Message Queue for Apache Kafka.

Langkah 3: Konfigurasikan TiDB Binlog atau TiCDC

Pilih salah satu metode berdasarkan lingkungan Anda:

<details> <summary>Opsi A: TiDB Binlog</summary>

Untuk meminimalkan dampak latensi jaringan, deploy komponen Pump, komponen Drainer, dan kluster Kafka di server yang berada dalam jaringan internal yang sama dengan server database TiDB sumber.

1. Deploy komponen Pump dan Drainer. Lihat Penerapan kluster TiDB Binlog.

2. Edit file konfigurasi Drainer untuk mengatur Kafka sebagai output. Lihat Pengembangan kustom Kafka.Kafka Custom Development

3. Verifikasi bahwa server database TiDB dapat terhubung ke kluster Kafka.

4. Tambahkan blok CIDR server DTS ke daftar putih database TiDB. Lihat Tambahkan blok CIDR server DTS.

</details>

<details> <summary>Opsi B: TiCDC</summary>

1. Instal komponen TiCDC. Gunakan TiUP untuk menambah atau menskalakan TiCDC pada kluster TiDB yang sudah ada. Lihat Deploy TiCDC.

2. Replikasikan data inkremental ke Kafka menggunakan tiup cdc cli changefeed create \ sebagai perintah pertama. Lihat Replikasikan data ke Kafka.

3. Verifikasi bahwa server database TiDB dapat terhubung ke kluster Kafka.

</details>

Langkah 1: Buka halaman Data Migration

Gunakan salah satu metode berikut:

Langkah 2: Konfigurasikan database sumber dan tujuan

1. Klik Create Task.

2. Di halaman konfigurasi tugas, konfigurasikan database sumber dan tujuan.

Parameter database sumber

Parameter database tujuan

Langkah 3: Uji konektivitas

Di bagian bawah halaman, klik Test Connectivity and Proceed. Di kotak dialog CIDR Blocks of DTS Servers, klik Test Connectivity.

Pastikan blok CIDR server DTS telah ditambahkan ke pengaturan keamanan database sumber dan tujuan. Lihat Tambahkan blok CIDR server DTS.

Langkah 4: Konfigurasikan objek migrasi

1. Di halaman Configure Objects, atur parameter berikut.

Jenis migrasi dan penanganan konflik

Pemilihan objek

Parameter	Deskripsi
Source Objects	Pilih tabel atau database yang akan dimigrasikan. Klik untuk memindahkan objek yang dipilih ke Selected Objects.
Selected Objects	Klik kanan objek untuk mengganti namanya. Lihat Pemetaan nama objek tunggal. Klik Batch Edit untuk mengganti nama beberapa objek sekaligus. Lihat Pemetaan nama beberapa objek sekaligus. Klik kanan tabel untuk mengonfigurasi kondisi filter WHERE. Catatan Mengganti nama objek dapat mencegah objek dependen dimigrasikan. Catatan

1. Klik Next: Advanced Settings.

Advanced settings

1. Klik Next Step: Data Verification untuk mengonfigurasi verifikasi data. Untuk informasi selengkapnya, lihat Mengonfigurasi tugas verifikasi data.

Langkah 5: Jalankan Pemeriksaan Awal

1. Untuk melihat pratinjau parameter API untuk tugas ini, arahkan pointer ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.

2. Klik Next: Save Task Settings and Precheck.

DTS menjalankan Pemeriksaan Awal sebelum memulai migrasi. Tugas hanya dimulai setelah Pemeriksaan Awal berhasil.

Untuk item Pemeriksaan Awal yang gagal, klik View Details untuk mendiagnosis masalah, selesaikan, lalu jalankan Pemeriksaan Awal lagi.

Untuk item peringatan: jika peringatan tidak dapat diabaikan, perbaiki masalah dan jalankan kembali Pemeriksaan Awal. Jika peringatan dapat diabaikan, klik Confirm Alert Details, lalu klik Ignore > OK > Precheck Again.

Langkah 6: Beli dan mulai instans

1. Tunggu hingga Success Rate mencapai 100%, lalu klik Next: Purchase Instance.

2. Di halaman Purchase Instance, konfigurasikan kelas instans.

1. Baca dan terima Data Transmission Service (Pay-as-you-go) Service Terms dengan memilih kotak centang.

2. Klik Buy and Start, lalu klik OK.

Tugas muncul di halaman Data Migration. Pantau progresnya di sana.