Konfigurasi izin MySQL dan binary logging untuk sinkronisasi data real-time ke Hologres - Data Integration - Alibaba Cloud -

Topik ini menjelaskan cara mengonfigurasi jaringan, daftar putih, dan izin akun yang diperlukan untuk tugas sinkronisasi data.

Prasyarat

Sebelum mengonfigurasi sumber data, pastikan Anda telah menyelesaikan persiapan berikut:

Anda telah membeli sumber data MySQL dan sumber data Hologres tujuan.
Anda telah membeli dan mengonfigurasi grup sumber daya eksklusif untuk Data Integration. Untuk informasi selengkapnya, lihat Rencanakan dan konfigurasikan resource.
Anda telah membuat koneksi jaringan antara sumber data dan grup sumber daya eksklusif untuk Data Integration. Setelah jaringan terhubung, ikuti petunjuk dalam topik ini untuk mengonfigurasi pengaturan akses jaringan, seperti vSwitch dan daftar putih.
- Jika sumber data dan grup sumber daya eksklusif untuk Data Integration berada dalam VPC yang sama di wilayah yang sama, keduanya akan terhubung secara otomatis.
- Jika sumber data dan grup sumber daya eksklusif untuk Data Integration berada di lingkungan jaringan yang berbeda, Anda harus menghubungkannya menggunakan Gateway VPN atau metode lainnya.

Latar Belakang

Untuk melakukan sinkronisasi data, Anda harus memastikan bahwa sumber data dan grup sumber daya eksklusif untuk Data Integration di DataWorks saling terhubung serta izin akun yang diperlukan telah diberikan.

Daftar putih
Contoh berikut mengasumsikan lingkungan VPC. Anda harus menambahkan Blok CIDR dari grup sumber daya eksklusif untuk Data Integration ke daftar putih agar grup tersebut dapat mengakses sumber data.
Izin akun
Anda perlu membuat akun yang dapat mengakses sumber data. Data Integration menggunakan akun ini untuk mengakses sumber data serta melakukan operasi ekstraksi dan penulisan data selama proses sinkronisasi.
Batasan akses lainnya
Jika sumber data Anda adalah MySQL, Anda harus mengaktifkan binary logging (binlog). Binlog adalah log yang mencatat semua perubahan pada struktur tabel database, seperti CREATE dan ALTER, serta modifikasi data, seperti INSERT, UPDATE, dan DELETE. Binlog dapat digunakan untuk melihat riwayat perubahan database, melakukan cadangan inkremental dan pemulihan, serta mereplikasi data dari database utama ke replika.
Binlog mendukung format berikut:
- Statement: Replikasi berbasis pernyataan. Binlog mencatat setiap Pernyataan SQL yang memodifikasi data.
- Row: Replikasi berbasis baris. Binlog tidak menyimpan konteks Pernyataan SQL, melainkan hanya mencatat detail baris yang dimodifikasi.
- Mixed: Replikasi mode campuran. Ini merupakan kombinasi dari format Statement dan Row. Biasanya, format Statement digunakan untuk sebagian besar modifikasi, seperti fungsi. Jika suatu operasi tidak dapat direplikasi dengan format Statement, maka format Row yang digunakan. MySQL secara otomatis menentukan format mana yang akan digunakan untuk setiap Pernyataan SQL yang dieksekusi.

Batasan

DataWorks menerapkan sinkronisasi data MySQL real-time dengan berlangganan ke MySQL secara real-time. Fitur ini saat ini hanya mendukung sumber data MySQL yang merupakan instans RDS for MySQL 5.x atau 8.x. Jangan mengonfigurasi instans PolarDB-X sebagai sumber data MySQL. Sebagai gantinya, konfigurasikan sebagai sumber data PolarDB-X. Untuk informasi selengkapnya, lihat Konfigurasikan sumber data PolarDB-X.
XA ROLLBACK tidak didukung. Untuk data transaksi yang dipersiapkan dengan XA PREPARE, sinkronisasi real-time akan menyinkronkan data tersebut ke tujuan. Jika XA ROLLBACK terjadi kemudian, sinkronisasi real-time tidak akan memutar balik data yang sebelumnya telah disinkronkan di tujuan. Untuk menangani skenario XA ROLLBACK, Anda harus secara manual menghapus tabel yang terpengaruh dari tugas sinkronisasi real-time, menambahkannya kembali, lalu melakukan inisialisasi data penuh dan sinkronisasi real-time inkremental lagi.
Jika Anda menambahkan instans MySQL yang termasuk dalam Akun Alibaba Cloud lain sebagai sumber data, tugas sinkronisasi berikutnya yang menggunakan sumber data ini hanya dapat dijalankan pada grup sumber daya eksklusif untuk Data Integration. Grup sumber daya bersama untuk Data Integration tidak dapat mengakses sumber data ini.

Prosedur

Konfigurasikan daftar putih.
Tambahkan Blok CIDR dari VPC grup sumber daya eksklusif untuk Data Integration ke daftar putih database MySQL.
1. Catat informasi jaringan untuk grup sumber daya.
  1. Login ke Konsol DataWorks.
  2. Di panel navigasi sebelah kiri, klik Resource groups.
  3. Pada tab Exclusive resource groups, temukan grup sumber daya Data Integration yang dituju dan klik View Information.
  4. Di kotak dialog, salin EIP address dan CIDR block.
  5. Pada tab Exclusive resource groups, temukan grup sumber daya Data Integration yang dituju dan klik Network Settings.
  6. Pada tab VPC binding, lihat dan catat vSwitch CIDR block.
2. Masukkan EIP address dan CIDR block ke daftar putih.
Buat akun dan berikan izin.
Buat akun pengguna database. Akun tersebut harus memiliki hak istimewa SELECT, REPLICATION SLAVE, REPLICATION CLIENT.
1. Buat akun.
  Untuk informasi selengkapnya, lihat Create a MySQL account.
2. Berikan hak istimewa.
  Anda dapat menjalankan perintah berikut untuk memberikan hak istimewa kepada akun, atau memberikan hak istimewa SUPER. Dalam pernyataan berikut, ganti 'Synchronization account' dengan akun yang telah Anda buat.
```
-- CREATE USER 'Synchronization account'@'%' IDENTIFIED BY 'Password'; -- Membuat akun sinkronisasi dan mengatur password. Ini memungkinkan akun login ke database dari host mana pun. % menunjukkan host apa pun.
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'Synchronization account'@'%'; -- Memberikan hak istimewa SELECT, REPLICATION SLAVE, dan REPLICATION CLIENT kepada akun sinkronisasi.
```
  *.* memberikan hak istimewa tersebut kepada akun sinkronisasi pada semua tabel di semua database. Anda juga dapat memberikan hak istimewa tersebut hanya pada tabel tertentu di database tertentu. Misalnya, untuk memberikan hak istimewa tersebut pada tabel test.user, gunakan pernyataan berikut: GRANT SELECT, REPLICATION CLIENT ON test.user TO 'Synchronization account'@'%';.
  Catatan Hak istimewa REPLICATION SLAVE adalah hak istimewa global. Anda tidak dapat memberikan hak istimewa ini hanya pada tabel tertentu di database tertentu.
Aktifkan binlog MySQL.
Periksa apakah binlog telah diaktifkan dan kueri format binlog:
- Jalankan pernyataan berikut untuk memeriksa apakah binlog telah diaktifkan.
```
show variables like "log_bin";
```
  Nilai kembali ON menunjukkan bahwa binlog telah diaktifkan.
- Jika Anda menggunakan database replika untuk menyinkronkan data, Anda juga dapat menjalankan pernyataan berikut untuk memeriksa apakah binlog telah diaktifkan.
```
show variables like "log_slave_updates";
```
  Nilai kembali ON menunjukkan bahwa binlog telah diaktifkan untuk database replika.
Jika binlog belum diaktifkan, ikuti petunjuk dalam dokumentasi resmi MySQL untuk mengaktifkannya.
Jalankan pernyataan berikut untuk mengkueri format binlog.
```
show variables like "binlog_format";
```
Penjelasan hasil yang dikembalikan:
- Nilai kembali ROW menunjukkan format ROW.
- Nilai kembali STATEMENT menunjukkan format STATEMENT.
- Nilai kembali MIXED menunjukkan format MIXED.

Langkah Berikutnya

Setelah menyelesaikan langkah-langkah ini, sumber data dan tujuan telah terhubung melalui grup sumber daya eksklusif untuk Data Integration, serta izin akses yang diperlukan telah diberikan. Anda kemudian dapat menambahkan sumber data dan tujuan ke daftar sumber data DataWorks serta mengaitkannya dengan solusi sinkronisasi data saat membuatnya.

Untuk informasi selengkapnya tentang cara menambahkan sumber data, lihat Add a data source.