Konfigurasi sumber data untuk sinkronisasi data dari MySQL - Data Integration - Alibaba Cloud -

Saat menyinkronkan data dari MySQL ke Hologres, Anda harus mengonfigurasi jaringan, daftar putih, dan izin untuk sumber data guna menyiapkan lingkungan jaringan serta izin akun yang diperlukan bagi tugas sinkronisasi data.

Prasyarat

Sebelum mengonfigurasi sumber data, pastikan Anda telah menyelesaikan persiapan berikut:

Siapkan sumber data: Anda telah membeli sumber data MySQL sebagai sumber dan sumber data Hologres sebagai tujuan.
Rencanakan dan siapkan resource: Anda telah membeli serta mengonfigurasi exclusive resource group for Data Integration. Untuk informasi selengkapnya, lihat Rencanakan dan konfigurasikan resource.
Evaluasi dan rencanakan lingkungan jaringan: Sebelum mengintegrasikan data, Anda harus membuat koneksi jaringan antara sumber data dan exclusive resource group for Data Integration sesuai kebutuhan bisnis Anda. Setelah jaringan terhubung, rujuk artikel ini untuk mengonfigurasi pengaturan akses, seperti vSwitch dan daftar putih.
- Jika sumber data dan exclusive resource group for Data Integration berada dalam VPC yang sama di wilayah yang sama, keduanya terhubung secara default.
- Jika sumber data dan exclusive resource group for Data Integration berada dalam lingkungan jaringan yang berbeda, Anda harus menghubungkannya menggunakan metode seperti VPN gateway.
Periksa apakah versi database Anda adalah MySQL5.x atau8.x. Anda dapat menjalankan pernyataan berikut untuk memeriksa versinya.
```
select version();
```
Catatan Sinkronisasi data real-time dari MySQL di DataWorks menggunakan langganan real-time ke MySQL. Fitur ini hanya mendukung instans ApsaraDB RDS for MySQL yang menjalankan MySQL5.x atau8.x. PolarDB-X 1.0 tidak didukung. Jika database Anda saat ini bukan instans ApsaraDB RDS for MySQL yang menjalankan versi5.x atau8.x5.x8.x, beralihlah ke versi yang didukung. Jika tidak, tugas integrasi data akan gagal.

Informasi latar belakang

Saat menyinkronkan data dari sumber data ke tujuan, Anda harus memastikan bahwa koneksi jaringan telah dibuat antara sumber data dan exclusive resource group for Data Integration serta izin akun tidak membatasi akses.

Daftar putih jaringan
Contoh berikut mengasumsikan bahwa Anda menggunakan satu VPC. Anda harus menambahkan Blok CIDR dari VPC tempat exclusive resource group for Data Integration berada ke daftar putih agar resource group tersebut dapat mengakses sumber data.
Izin akun
Anda perlu menyiapkan akun untuk mengakses sumber data. Akun ini digunakan untuk melakukan operasi baca dan tulis selama sinkronisasi data.
Persyaratan akses lainnya
Saat sumber data adalah MySQL, Anda harus mengaktifkan binary log. Binary log mencatat semua perubahan pada struktur tabel database, seperti operasi CREATE dan ALTER, serta semua perubahan pada data tabel, seperti operasi INSERT, UPDATE, dan DELETE. Anda dapat menggunakan binary log untuk melihat riwayat perubahan database, melakukan backup dan restore database inkremental, serta menerapkan replikasi primary-replica.
Binary log memiliki format berikut:
- Statement: replikasi berbasis pernyataan. Binary log menyimpan setiap Pernyataan SQL yang digunakan untuk memodifikasi data.
- Row: replikasi berbasis baris. Binary log tidak menyimpan konteks Pernyataan SQL, melainkan hanya menyimpan baris yang dimodifikasi.
- Mixed: replikasi mode campuran, yang menggabungkan format Statement dan Row. Secara default, format Statement digunakan untuk pernyataan umum, seperti fungsi. Jika operasi replikasi tidak dapat diselesaikan dalam format Statement, format Row digunakan untuk menyimpan binary log. MySQL secara otomatis memilih format berdasarkan setiap Pernyataan SQL yang dieksekusi.

Batasan

Sinkronisasi data real-time dari MySQL di DataWorks menggunakan langganan real-time ke MySQL. Fitur ini hanya mendukung instans ApsaraDB RDS for MySQL yang menjalankan MySQL5.x atau8.x. Jangan mengonfigurasi instans PolarDB-X 1.0 sebagai sumber data MySQL. Sebagai gantinya, Anda dapat langsung mengonfigurasinya sebagai sumber data PolarDB-X 1.0. Untuk informasi selengkapnya, lihat Konfigurasikan sumber data PolarDB-X 1.0.
XA ROLLBACK tidak didukung. Untuk data dalam transaksi yang dipersiapkan oleh XA PREPARE, sinkronisasi real-time menulis data tersebut ke tujuan. Jika XA ROLLBACK dilakukan, sinkronisasi real-time tidak membalikkan (rollback) data yang telah dipersiapkan. Untuk menangani skenario XA ROLLBACK, Anda harus secara manual menghapus tabel yang terpengaruh oleh XA ROLLBACK dari tugas sinkronisasi real-time, menambahkan kembali tabel tersebut, lalu melakukan inisialisasi data penuh dan sinkronisasi data inkremental.
Jika Anda menambahkan instans MySQL yang termasuk dalam Akun Alibaba Cloud lain sebagai sumber data, tugas sinkronisasi yang menggunakan sumber data ini hanya dapat dijalankan pada exclusive resource group for Data Integration. Anda tidak dapat menggunakan shared resource group for Data Integration untuk mengakses sumber data ini.

Prosedur

Konfigurasikan daftar putih.
Tambahkan Blok CIDR dari VPC tempat exclusive resource group for Data Integration Anda berada ke daftar putih MySQL.
1. Lihat dan catat informasi VPC tentang exclusive resource group for Data Integration.
  1. Login ke DataWorks console.
  2. Di panel navigasi sebelah kiri, klik Resource Groups.
  3. Di tab Exclusive Resource Groups, temukan resource group yang dituju dan klik View information di kolom Actions.
  4. Di kotak dialog yang muncul, salin elastic IP address (EIP) dan CIDR block ke daftar putih database.
  5. Di tab Exclusive Resource Groups, temukan resource group yang dituju dan klik Network settings di kolom Actions.
  6. Di tab VPC binding, lihat CIDR block of the vSwitch dan tambahkan ke daftar putih database.
2. Tambahkan elastic IP address (EIP) dan CIDR block dari exclusive resource group for Data Integration yang telah Anda catat ke daftar putih kluster MySQL.
Buat akun dan berikan izin kepada akun tersebut.
Anda perlu menyiapkan akun login database. Akun ini harus memiliki izin SELECT, REPLICATION SLAVE, dan REPLICATION CLIENT.
1. Buat akun.
  Untuk informasi selengkapnya, lihat Create a MySQL account.
2. Berikan izin.
  Anda dapat menjalankan pernyataan berikut untuk memberikan izin kepada akun, atau berikan izinSUPER kepada akun tersebut. Saat menjalankan pernyataan berikut, ganti 'sync_account' dengan akun yang telah Anda buat.
```
-- Buat akun sinkronisasi, atur password untuk akun tersebut, dan izinkan akun tersebut login ke database dari host mana pun. Tanda persen (%) menunjukkan host apa pun.
CREATE USER 'sync_account'@'%' IDENTIFIED BY 'password'; 
-- Berikan izin SELECT, REPLICATION SLAVE, dan REPLICATION CLIENT pada database kepada akun sinkronisasi.
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'sync_account'@'%'; 
```
  Sintaks*.* menunjukkan bahwa akun sinkronisasi diberikan izin yang ditentukan pada semua tabel di semua database. Anda juga dapat memberikan izin tersebut hanya pada tabel tertentu di database tertentu kepada akun sinkronisasi. Misalnya, untuk memberikan izin pada tabeluser di databasetest kepada akun sinkronisasi, Anda dapat menjalankan pernyataanGRANT SELECT, REPLICATION CLIENT ON test.user TO 'sync_account'@'%';.
  Catatan IzinREPLICATION SLAVE adalah izin global dan tidak dapat diberikan hanya pada tabel tertentu di database tertentu.
Aktifkan binary log untuk MySQL.
Periksa apakah binary log telah diaktifkan dan kueri format binary log.
- Jalankan pernyataan berikut untuk memeriksa apakah binary log telah diaktifkan.
```
show variables like "log_bin";
```
  JikaON dikembalikan, binary log telah diaktifkan.
- Jika Anda menggunakan database standby untuk menyinkronkan data, Anda juga dapat menjalankan pernyataan berikut untuk memeriksa apakah binary log telah diaktifkan.
```
show variables like "log_slave_updates";
```
  JikaON dikembalikan, binary log telah diaktifkan untuk database standby.
Jika hasil yang berbeda dikembalikan, lihatdokumentasi resmi MySQL untuk mengaktifkan binary log.
Jalankan pernyataan berikut untuk mengkueri format binary log.
```
show variables like "binlog_format";
```
Tabel berikut menjelaskan hasil yang dikembalikan.
- JikaROW dikembalikan, format binary log adalahROW.
- JikaSTATEMENT dikembalikan, format binary log adalahSTATEMENT.
- JikaMIXED dikembalikan, format binary log adalahMIXED.

Langkah selanjutnya

Setelah Anda mengonfigurasi sumber data, koneksi jaringan telah dibuat antara sumber data, instans resource, dan sumber data tujuan, serta pembatasan akses telah dihapus. Anda kemudian dapat menambahkan sumber data dan tujuan ke DataWorks sehingga memungkinkan Anda mengaitkannya saat membuat solusi sinkronisasi data.

Untuk informasi selengkapnya tentang cara menambahkan sumber data, lihat Add a data source.