DataWorks：Sinkronisasi real-time dari tabel Hologres ke Kafka

1. Pilih jenis tugas sinkronisasi

1. Buka halaman Data Integration.

   Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih Data Integration > Data Integration. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Integration.

2. Di panel navigasi sebelah kiri, klik Synchronization Task. Kemudian, klik Create Synchronization Task di bagian atas halaman untuk membuka halaman pembuatan tugas sinkronisasi. Konfigurasikan informasi dasar berikut:

   • Data Source And Destination: Hologres→Kafka

   • New Task Name: Sesuaikan nama untuk tugas sinkronisasi.

   • Synchronization Type: Single Table Real-time.

   • Synchronization Step: Pilih Sinkronisasi Penuh.

2. Konfigurasikan jaringan dan sumber daya

1. Di bagian Network And Resource Configuration, pilih Resource Group untuk tugas sinkronisasi. Anda dapat mengalokasikan Task Resource Usage dalam CU untuk tugas tersebut.

2. Untuk Source Data Source, pilih sumber data Hologres yang telah ditambahkan. Untuk Destination Data Source, pilih sumber data Kafka yang telah ditambahkan. Lalu, klik Test Connectivity.

3. Setelah memastikan bahwa kedua sumber data sumber dan tujuan terhubung, klik Next.

3. Konfigurasikan tautan sinkronisasi

4. Konfigurasikan aturan peringatan

Untuk mencegah kegagalan tugas sinkronisasi menyebabkan latensi pada sinkronisasi data bisnis, Anda dapat mengonfigurasi aturan peringatan yang berbeda untuk tugas sinkronisasi.

1. Di pojok kanan atas halaman, klik Configure Alert Rule untuk membuka panel Configure Alert Rule.

2. Di panel Konfigurasikan Aturan Peringatan, klik Add Alert Rule. Di kotak dialog Tambah Aturan Peringatan, konfigurasikan parameter untuk mengonfigurasi aturan peringatan.

   Catatan

   Aturan peringatan yang Anda konfigurasikan pada langkah ini berlaku untuk subtugas sinkronisasi real-time yang akan dihasilkan oleh tugas sinkronisasi. Setelah konfigurasi tugas sinkronisasi selesai, Anda dapat merujuk Kelola tugas sinkronisasi real-time untuk pergi ke halaman Tugas Sinkronisasi Real-time dan memodifikasi aturan peringatan yang dikonfigurasikan untuk subtugas sinkronisasi real-time.

3. Kelola aturan peringatan.

   Anda dapat mengaktifkan atau menonaktifkan aturan peringatan yang dibuat. Anda juga dapat menentukan penerima peringatan yang berbeda berdasarkan tingkat keparahan peringatan.

5. Konfigurasikan parameter lanjutan

DataWorks memungkinkan Anda memodifikasi konfigurasi parameter tertentu. Anda dapat mengubah nilai parameter ini berdasarkan kebutuhan bisnis Anda.

1. Di pojok kanan atas halaman konfigurasi, klik Konfigurasikan Parameter Lanjutan.

2. Di panel Konfigurasikan Parameter Lanjutan, ubah nilai parameter yang diinginkan.

6. Konfigurasikan kelompok sumber daya

Anda dapat mengklik Configure Resource Group di pojok kanan atas halaman untuk melihat dan mengubah kelompok sumber daya yang digunakan untuk menjalankan tugas sinkronisasi saat ini.

7. Jalankan tugas sinkronisasi

1. Setelah konfigurasi tugas sinkronisasi selesai, klik Complete di bagian bawah halaman.

2. Di bagian Tasks halaman Synchronization Task, temukan tugas sinkronisasi yang dibuat dan klik Start di kolom Operation.

3. Klik name or ID tugas sinkronisasi di bagian Tasks dan lihat proses pelaksanaan rinci tugas sinkronisasi.

Lihat status tugas sinkronisasi

Setelah solusi sinkronisasi data dibuat, Anda dapat pergi ke halaman Tugas untuk melihat semua solusi sinkronisasi data yang dibuat di ruang kerja dan informasi dasar setiap solusi sinkronisasi data.

• Anda dapat Start atau Stop tugas sinkronisasi di kolom Aksi. Anda juga dapat Edit atau View tugas sinkronisasi dari daftar drop-down Lainnya.

• Untuk tugas yang telah dimulai, Anda dapat melihat status dasar tugas di Execution Overview. Anda juga dapat mengklik area ikhtisar yang sesuai untuk melihat detail eksekusi.

Tugas sinkronisasi real-time dari tabel Hologres ke Kafka terdiri dari tiga langkah berikut:

• Structure Migration: mencakup metode pembuatan tabel tujuan (tabel yang sudah ada atau pembuatan tabel otomatis). Jika Anda memilih pembuatan tabel otomatis, pernyataan bahasa definisi data (DDL) untuk membuat tabel ditampilkan.

• Full Initialization: Jika Anda memilih Full Synchronization untuk Synchronization Step tugas Anda, kemajuan inisialisasi penuh ditampilkan di sini.

• Real-time Data Synchronization: mencakup informasi statistik tentang sinkronisasi real-time, seperti lalu lintas baca dan tulis real-time, data kotor, failover, dan log operasi.

Jalankan ulang tugas sinkronisasi

Dalam beberapa kasus khusus, jika Anda ingin memodifikasi bidang untuk disinkronkan, bidang dalam tabel tujuan, atau informasi nama tabel, Anda juga dapat mengklik Rerun di kolom Operation tugas sinkronisasi yang diinginkan. Dengan cara ini, sistem menyinkronkan perubahan yang dibuat ke tujuan. Data di tabel yang sudah disinkronkan dan tidak dimodifikasi tidak akan disinkronkan lagi.

• Langsung klik Rerun tanpa memodifikasi konfigurasi tugas sinkronisasi untuk mengaktifkan sistem menjalankan ulang tugas sinkronisasi.

• Modifikasi konfigurasi tugas sinkronisasi lalu klik Complete. Klik Apply Updates yang ditampilkan di kolom Operasi tugas sinkronisasi untuk menjalankan ulang tugas sinkronisasi agar konfigurasi terbaru diterapkan.

Canal CDC

Canal CDC adalah format data CDC yang didefinisikan oleh Alibaba Canal.

• Bidang dan makna

  Nama Bidang	Arti Nilai Kolom
  id	Nilai bidang ini tetap sebagai 0.
  database	Nama database Hologres.
  table	Nama tabel Hologres.
  pkNames	Kolom kunci primer tabel Hologres.
  isDdl	Menentukan apakah log biner mencatat perubahan DDL. Nilai bidang ini tetap sebagai false karena sinkronisasi pesan untuk perubahan DDL pada tabel Hologres tidak didukung.
  type	Tipe perubahan DML. Nilai valid: INSERT, UPDATE, dan DELETE. Catatan Satu operasi perubahan pada tabel Hologres menghasilkan dua catatan yang tipenya adalah UPDATE. Catatan-catatan tersebut akan ditulis ke topik Kafka. Satu dari catatan tersebut sesuai dengan isi data sebelum perubahan. Yang lainnya sesuai dengan isi data setelah perubahan. Jika Anda ingin menyinkronkan data penuh dari tabel Hologres ke topik Kafka, nilai bidang type tetap sebagai INSERT.
  es	Timestamp 13 digit dalam milidetik. Timestamp menunjukkan waktu ketika data di tabel Hologres berubah. Jika Anda ingin menyinkronkan data penuh dari tabel Hologres ke topik Kafka, nilai bidang es tetap sebagai 0.
  ts	Timestamp 13 digit dalam milidetik. Timestamp menunjukkan waktu ketika log biner yang dihasilkan untuk tabel Hologres dibaca oleh tugas sinkronisasi.
  sql	Kode SQL yang mencatat perubahan DDL ketika log biner yang dihasilkan untuk tabel Hologres berisi perubahan DDL. Nilai bidang ini tetap sebagai string kosong karena sinkronisasi pesan untuk perubahan DDL pada tabel Hologres tidak didukung.
  sqlType	Tipe data bidang SQL tempat tipe data bidang tabel Hologres sesuai. Pemetaan antara tipe data Hologres dan nilai valid sqlType: bigint: -5 decimal dengan skala bukan 0: 3 decimal dengan skala 0: -5 boolean: 16 date: 91 float4: 6 float8: 8 integer: 4 smallint: 5 json: 12 text: 12 varchar: 12 timestamp: 93 timestamptz: 93 bigserial: -5 bytea: 12 char: 12 serial: 4 time: 92 int4[]: 12 int8[]: 12 float4[]: 12 float8[]: 12 boolean[]: 12 text[]: 12
  mysqlType	Tipe data bidang MySQL tempat tipe data bidang tabel Hologres sesuai. Pemetaan antara tipe data Hologres dan nilai valid mysqlType: bigint: BIGINT int4: INT decimal dengan skala bukan 0: DECIMAL(xx,xx) decimal dengan skala 0: BIGINT boolean: BOOLEAN date: DATE float4: FLOAT float8: DOUBLE integer: INT smallint: SMALLINT json: TEXT text: TEXT varchar: VARCHAR(xx) timestamp: DATETIME(6) timestamptz: DATETIME(6) bigserial: BIGINT bytea: TEXT char: TEXT serial: INT time: TIME(6) int4[]: TEXT int8[]: TEXT float4[]: TEXT float8[]: TEXT boolean[]: TEXT text[]: TEXT
  data	Perubahan data di tabel Hologres. Nama bidang di tabel Hologres digunakan sebagai kunci, dan perubahan data di bidang diserialisasi menjadi string dan digunakan sebagai nilai. Lalu, kunci dan nilai diorganisasikan sebagai string berformat JSON. Untuk informasi lebih lanjut tentang serialisasi, lihat Deskripsi serialisasi JSON.
  old	Dua catatan yang tipenya adalah UPDATE dihasilkan untuk satu operasi perubahan pada tabel Hologres dan ditulis ke topik Kafka. Catatan-catatan tersebut sesuai dengan isi data sebelum dan sesudah perubahan. Pada catatan pertama, bidang old digunakan untuk mencatat isi data di tabel Hologres sebelum perubahan. Bidang data digunakan untuk mencatat isi data untuk perubahan DML selain UPDATE.

• Contoh data JSON Canal yang sesuai dengan perubahan data yang dihasilkan oleh operasi INSERT dalam log biner tabel Hologres

  {
      "id": 0,
      "database": "test",
      "table": "tp_int",
      "pkNames": [
          "id"
      ],
      "isDdl": false,
      "type": "INSERT",
      "es": 1640007049196,
      "ts": 1639633142960,
      "sql": "",
      "sqlType": {
          "bigint": -5,
          "integer": 4,
          "smallint": 5
      },
      "mysqlType": {
          "bigint": "BIGINT",
          "integer": "INT",
          "smallint": "SMALLINT"
      },
      "data": [
          {
              "bigint": "9223372036854775807",
              "integer": "2147483647",
              "smallint": "32767"
          }
      ],
      "old": null
  }

• Contoh data JSON Canal yang sesuai dengan data penuh yang disinkronkan dari tabel Hologres

  {
      "id": 0,
      "database": "test",
      "table": "tp_int",
      "pkNames": [
          "id"
      ],
      "isDdl": false,
      "type": "INSERT",
      "es": 0,
      "ts": 1639633142960,
      "sql": "",
      "sqlType": {
          "bigint": -5,
          "integer": 4,
          "smallint": 5
      },
      "mysqlType": {
          "bigint": "BIGINT",
          "integer": "INT",
          "smallint": "SMALLINT"
      },
      "data": [
          {
              "bigint": "9223372036854775807",
              "integer": "2147483647",
              "smallint": "32767"
          }
      ],
      "old": null
  }

• Contoh dua data JSON Canal yang sesuai dengan perubahan data yang dihasilkan oleh operasi UPDATE dalam log biner tabel Hologres

  // Isi data sebelum perubahan
  {
      "id": 0,
      "database": "test",
      "table": "tp_int",
      "pkNames": [
          "id"
      ],
      "isDdl": false,
      "type": "UPDATE",
      "es": 1640007049196,
      "ts": 1639633142960,
      "sql": "",
      "sqlType": {
          "bigint": -5,
          "integer": 4,
          "smallint": 5
      },
      "mysqlType": {
          "bigint": "BIGINT",
          "integer": "INT",
          "smallint": "SMALLINT"
      },
      "old": [
          {
              "bigint": "0",
              "integer": "0",
              "smallint": "0"
          }
      ],
      "data": null
  }
  // Isi data setelah perubahan
  {
      "id": 0,
      "database": "test",
      "table": "tp_int",
      "pkNames": [
          "id"
      ],
      "isDdl": false,
      "type": "UPDATE",
      "es": 1640007049196,
      "ts": 1639633142960,
      "sql": "",
      "sqlType": {
          "bigint": -5,
          "integer": 4,
          "smallint": 5
      },
      "mysqlType": {
          "bigint": "BIGINT",
          "integer": "INT",
          "smallint": "SMALLINT"
      },
      "data": [
          {
              "bigint": "9223372036854775807",
              "integer": "2147483647",
              "smallint": "32767"
          }
      ],
      "old": null
  }

• Contoh data JSON Canal yang sesuai dengan perubahan data yang dihasilkan oleh operasi DELETE dalam log biner tabel Hologres

  {
      "id": 0,
      "database": "test",
      "table": "tp_int",
      "pkNames": [
          "id"
      ],
      "isDdl": false,
      "type": "DELETE",
      "es": 1640007049196,
      "ts": 1639633142960,
      "sql": "",
      "sqlType": {
          "bigint": -5,
          "integer": 4,
          "smallint": 5
      },
      "mysqlType": {
          "bigint": "BIGINT",
          "integer": "INT",
          "smallint": "SMALLINT"
      },
      "data": [
          {
              "bigint": "9223372036854775807",
              "integer": "2147483647",
              "smallint": "32767"
          }
      ],
      "old": null
  }

Json

Json adalah format yang menggunakan nama bidang dalam log biner Hologres sebagai kunci dan menyerialisasi isi data bidang menjadi string sebagai nilai. Lalu, kunci dan nilai diorganisasikan sebagai string berformat JSON dan ditulis ke topik Kafka.