Sinkronisasi seluruh database MySQL ke LogHub (SLS) secara real-time - DataWorks

Tugas sinkronisasi real-time memungkinkan Anda menyinkronkan data inkremental dari seluruh database MySQL ke LogHub (SLS) secara real-time. Topik ini menjelaskan cara membuat tugas sinkronisasi real-time untuk menyinkronkan seluruh database MySQL ke LogHub dan cara melihat status tugas setelah dibuat.

Prasyarat

Anda telah membeli Serverless resource group atau exclusive resource group for Data Integration.
Anda telah membuat sumber data MySQL dan sumber data LogHub (SLS). Untuk informasi selengkapnya, lihat Data Source Configuration.
Anda telah menetapkan konektivitas jaringan antara resource group dan sumber data. Untuk informasi selengkapnya, lihat Overview of network connection solutions.

Prosedur

1. Pilih jenis tugas sinkronisasi

Buka halaman Data Integration.
Masuk ke DataWorks console. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Integration > Data Integration. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down, lalu klik Go to Data Integration.
Di panel navigasi kiri, klik Synchronization Task. Di bagian atas halaman, klik New Synchronization Task. Pada kotak dialog yang muncul, konfigurasikan parameter dasar berikut.
- Source Type: MySQL.
- Destination Type: LogHub.
- Task Name: Nama kustom untuk tugas sinkronisasi.
- Task Type: Real-time migration of entire database.

2. Konfigurasi jaringan dan resource

Pada bagian Network and Resource Configuration, pilih Resource Group untuk tugas sinkronisasi. Anda dapat mengalokasikan CUs di bawah Task Resource Usage.
Atur Source ke sumber data MySQL dan Destination ke sumber data LogHub. Lalu, klik Test Connectivity.
Setelah pengujian konektivitas berhasil untuk kedua sumber data, klik Next.

3. Pilih sumber data dan tabel untuk sinkronisasi data

Pada langkah ini, pilih tabel yang akan disinkronkan dari bagian Source Table, lalu klik ikon untuk memindahkannya ke bagian Selected Tables di sebelah kanan.

SSelect Specified Database and Table:
- Pada kolom Database Filtering dan Search for Tables di bagian Source Databases and Tables, masukkan kata kunci untuk memfilter database dan tabel yang ingin disinkronkan. Pilih database dan tabel yang diperlukan, lalu klik ikon untuk memindahkannya ke bagian Selected Tables.
- Di area Selected Tables, gunakan kolom Database Filtering dan Search for Tables untuk menemukan database dan tabel yang ingin dikecualikan dari sinkronisasi. Pilih item tersebut, klik ikon , lalu pindahkan ke area Source Table.
Use Regular Expression (table addition and removal during running based on a regular expression supported):
Filter database dan tabel dengan memasukkan ekspresi reguler pada kolom Database Filtering dan Table Filtering. Klik OK untuk memilih database dan tabel yang akan disinkronkan.
Catatan
Sebagai contoh, untuk memfilter database berdasarkan awalan a dan tabel berdasarkan awalan order, Anda dapat memasukkan a.* pada kolom Database Filtering dan order.* pada kolom Table Filtering.

4. Petakan tabel tujuan

Setelah Anda memilih tabel yang akan disinkronkan datanya, tabel tersebut akan otomatis ditampilkan di bagian Mapping Rules for Destination Tables. Properti tabel tujuan menunggu untuk dipetakan. Anda harus menentukan pemetaan antara tabel sumber dan tabel tujuan secara manual untuk menentukan hubungan pembacaan dan penulisan data. Setelah itu, Anda dapat mengklik Refresh di kolom Actions untuk langsung merefresh pemetaan antara tabel sumber dan tabel tujuan. Anda juga dapat merefresh pemetaan tersebut setelah mengonfigurasi pengaturan terkait tabel tujuan.

1. Pilih Logstore tujuan

Pilih Logstore tujuan untuk tugas sinkronisasi dari daftar drop-down di kolom Destination Logstore. Untuk mengonfigurasi beberapa tabel sekaligus, pilih tabel-tabel tersebut, lalu klik Batch Modify > Destination Logstore.

2. Konfigurasi aturan DML

Data Integration menyediakan aturan pemrosesan Data Manipulation Language (DML) default. Anda juga dapat menentukan aturan kustom untuk perintah DML yang ditulis ke tabel tujuan.

Untuk menentukan aturan untuk satu tabel, klik Configure di kolom DML Rule Configuration.
Untuk menentukan aturan secara batch, pilih semua tabel yang akan disinkronkan. Di bagian bawah daftar, pilih Batch Modify > DML Rule Configuration.

5. Konfigurasi aturan alert

Untuk mencegah kegagalan tugas sinkronisasi menyebabkan latensi pada sinkronisasi data bisnis, Anda dapat mengonfigurasi berbagai aturan alert untuk tugas sinkronisasi tersebut.

Di pojok kanan atas halaman, klik Configure Alert Rule untuk membuka panel Alert Rule Configurations for Real-time Synchronization Subnode.
Di panel Configure Alert Rule, klik Add Alert Rule. Pada kotak dialog Add Alert Rule, konfigurasikan parameter untuk menetapkan aturan alert.
Catatan
Aturan alert yang Anda konfigurasi pada langkah ini berlaku untuk subtugas sinkronisasi real-time yang akan dihasilkan oleh tugas sinkronisasi. Setelah konfigurasi tugas sinkronisasi selesai, Anda dapat merujuk ke Manage real-time synchronization tasks untuk membuka halaman Real-time Synchronization Task dan mengubah aturan alert yang dikonfigurasi untuk subtugas sinkronisasi real-time tersebut.
Kelola aturan alert.
Anda dapat mengaktifkan atau menonaktifkan aturan alert yang telah dibuat. Anda juga dapat menentukan penerima alert yang berbeda berdasarkan tingkat keparahan alert.

6. Konfigurasi parameter lanjutan

Untuk melakukan konfigurasi detail halus pada tugas sinkronisasi, klik Customize Advanced Parameters di pojok kanan atas halaman.

Di pojok kanan atas halaman, klik Configure Advanced Parameters.

Tabel berikut menjelaskan parameter utama.

Parameter	Deskripsi
Whether to expand the collected data	Mengontrol apakah akan meratakan bidang data bisnis dari tabel sumber ke lapisan teratas log. true: Memperluas data. Anda dapat mengatur Data Expansion Format menjadi Partial atau full. false (default): Tidak memperluas data. Data dikemas dalam satu bidang JSON lengkap.
Whether to collect DDL event data	Mengontrol apakah akan mengumpulkan informasi operasi Data Definition Language (DDL) dari tabel sumber, seperti `CREATE TABLE` dan `ALTER TABLE`, serta menyinkronkannya ke SLS sebagai entri log. true (default): Meneruskan informasi tersebut. false: Tidak meneruskan informasi tersebut.
Null Value Handling Strategy from Source	Mengonfigurasi nilai yang diisi pada bidang tujuan ketika bidang tabel sumber bernilai NULL. Nilai default-nya kosong, artinya nilai NULL dipertahankan.
Data Expansion Format	Menentukan struktur data bisnis (bidang `data`) saat ditulis ke SLS. Parameter ini hanya terlihat ketika Whether to expand the collected data diatur ke true. Format yang Anda pilih secara langsung memengaruhi cara sistem downstream mengonsumsi log. Contoh format ekspansi data tersedia di Appendix: Data expansion format examples. Partial expansion (default): Kompatibel dengan format Logtail untuk pengumpulan binlog MySQL. Full expansion: Meratakan semua bidang data bisnis, termasuk yang sebelum dan sesudah perubahan, menjadi pasangan kunci-nilai independen di lapisan teratas data.

7. Konfigurasi resource group

Anda dapat mengklik Configure Resource Group di pojok kanan atas halaman untuk melihat dan mengubah resource group yang digunakan untuk menjalankan tugas sinkronisasi saat ini.

8. Jalankan tugas sinkronisasi

Setelah konfigurasi tugas sinkronisasi selesai, klik Complete di bagian bawah halaman.
Di bagian Synchronization Task pada halaman Data Integration, temukan tugas sinkronisasi yang telah dibuat, lalu klik Start di kolom Operation.
Klik Name/ID tugas sinkronisasi di bagian Tasks dan lihat proses berjalan rinci dari tugas sinkronisasi tersebut.

O&M tugas sinkronisasi

Lihat status tugas

Setelah membuat tugas sinkronisasi, Anda dapat melihat daftar tugas yang telah dibuat beserta informasi dasarnya di halaman Sync Task.

Di kolom Operation, Anda dapat Start atau Stop tugas sinkronisasi. Klik More untuk Edit atau View tugas tersebut.
Untuk tugas yang sedang berjalan, Anda dapat melihat status dasarnya di bagian Execution Overview. Anda juga dapat mengklik area tertentu pada ringkasan tersebut untuk melihat detail eksekusi.
Untuk tugas sinkronisasi real-time dari MySQL ke LogHub (SLS), statistik performa sinkronisasi real-time akan ditampilkan. Statistik tersebut mencakup progres real-time, catatan DDL, catatan DML, dan informasi alert.

Jalankan ulang tugas sinkronisasi

Dalam beberapa kasus khusus, jika Anda menambahkan atau menghapus tabel dari sumber, atau mengubah skema atau nama tabel tujuan, Anda dapat mengklik More di kolom Operation tugas sinkronisasi, lalu klik Rerun untuk menjalankan ulang tugas setelah perubahan tersebut. Selama proses rerun, tugas sinkronisasi hanya menyinkronkan data dari tabel yang baru ditambahkan ke tujuan atau hanya dari tabel sumber yang dipetakan ke tabel tujuan yang skema atau namanya diubah.

Jika Anda ingin menjalankan ulang tugas sinkronisasi tanpa mengubah konfigurasinya, klik More di kolom Actions, lalu klik Rerun untuk menjalankan ulang tugas guna melakukan sinkronisasi penuh dan sinkronisasi inkremental lagi.
Jika Anda ingin menjalankan ulang tugas sinkronisasi setelah menambahkan atau menghapus tabel dari tugas, klik Complete setelah perubahan dilakukan. Dalam hal ini, Apply Updates akan ditampilkan di kolom Actions tugas sinkronisasi. Klik Apply Updates untuk memicu sistem menjalankan ulang tugas sinkronisasi. Selama proses rerun, tugas sinkronisasi hanya menyinkronkan data dari tabel yang baru ditambahkan ke tujuan. Data di tabel asli tidak disinkronkan ulang.

Lampiran: Contoh format ekspansi data

Jangan perluas

{
  "ExecutionTime": 1761017850000,
  "_db_": "*****",
  "_event_": "row_update",
  "_event_time_": 1761017850,
  "_file_name_": "mysql-bin.*****",
  "_gtid_": "4a21a3ce-ad7a-11f0-a8f3**********",
  "_host_": "rm-*********.mysql.rds.aliyuncs.com",
  "_id_": "176101777********",
  "_offset_": "265*****",
  "_table_": "t_parameter",
  "data": {
    "updateBefore": {
      "_old_id": "3",
      "_old_name": "82174b93-b810-4030-8652-e5c1667d3f72",
      "_old_value": "+@}8-/XC",
      "_old_status": "kBdO",
      "_old_description": "a?!L7{jaH+",
      "_old_create_time": "2023-12-28 19:03:43",
      "_old_create_user": "+Zs",
      "_old_modify_time": "2006-11-26 20:42:31",
      "_old_modify_user": "brTYGI?jLL"
    },
    "updateAfter": {
      "id": "3",
      "name": "82174b93-b810-4030-8652-e5c1667d3f72-tagd",
      "value": "+@}8-/XC",
      "status": "kBdO",
      "description": "a?!L7{jaH+",
      "create_time": "2023-12-28 19:03:43",
      "create_user": "+Zs",
      "modify_time": "2006-11-26 20:42:31",
      "modify_user": "brTYGI?jLL"
    }
  }
}

Partial expansion: Kompatibel dengan format Logtail untuk pengumpulan binary log (binlog) MySQL

{
  "ExecutionTime": 1761017850000,
  "_db_": "*****",
  "_event_": "row_update",
  "_event_time_": 1761017850,
  "_file_name_": "mysql-bin.*****",
  "_gtid_": "4a21a3ce-ad7a-11f0-a8f3**********",
  "_host_": "rm-*********.mysql.rds.aliyuncs.com",
  "_id_": "176101777********",
  "_offset_": "265*****",
  "_table_": "t_parameter",
  "old_data": {
    "_old_id": "1",
    "_old_name": "0e459c1a-c6ce-459b-b374-a161b095c8e9",
    "_old_value": "Hello",
    "_old_status": "b",
    "_old_description": "cw",
    "_old_create_time": "2007-08-06 16:19:03",
    "_old_create_user": "!wW4",
    "_old_modify_time": "2017-04-21 18:21:58",
    "_old_modify_user": "s"
  },
  "data": {
    "id": "1",
    "name": "0e459c1a-c6ce-459b-b374-a161b095c8e9-dsg",
    "value": "Hello",
    "status": "b",
    "description": "cw",
    "create_time": "2007-08-06 16:19:03",
    "create_user": "!wW4",
    "modify_time": "2017-04-21 18:21:58",
    "modify_user": "s"
  }
}

Full expansion: Semua bidang diratakan.

{
  "ExecutionTime": 1761017850000,
  "_db_": "****",
  "_event_": "row_update",
  "_event_time_": 1761017850,
  "_file_name_": "mysql-bin.*****",
  "_gtid_": "4a21a3ce-ad7a-11f0-a8f3**********",
  "_host_": "rm-*********.mysql.rds.aliyuncs.com",
  "_id_": "176101777********",
  "_offset_": "265*****",
  "_table_": "t_parameter",
  "_old_create_time": "2024-09-27 15:27:10",
  "_old_create_user": "o",
  "_old_description": "LZ[1HsTE",
  "_old_id": "6",
  "_old_modify_time": "2008-03-15 08:05:53",
  "_old_modify_user": "/{=>7_d@0Q",
  "_old_name": "cf8a671c-4414-45f5-a22c-62c353a6f1ef",
  "_old_status": "K:HQOX-?gK",
  "_old_value": "23]sn<t",
  "create_time": "2024-09-27 15:27:10",
  "create_user": "o",
  "description": "LZ[1HsTE",
  "id": "6",
  "modify_time": "2008-03-15 08:05:53",
  "modify_user": "/{=>7_d@0Q",
  "name": "cf8a671c-4414-45f5-a22c-62c353a6f1efgsdsa",
  "status": "K:HQOX-?gK",
  "value": "23]sn<t"
}