Konfigurasikan sumber data untuk sinkronisasi data dari MySQL -

Saat menyinkronkan data dari database MySQL ke Hologres, Anda dapat merujuk pada langkah-langkah berikut untuk menyiapkan konfigurasi seperti lingkungan jaringan dan daftar putih untuk sumber data.

Prasyarat

Sebelum mengonfigurasi sumber data, pastikan langkah-langkah berikut telah dilakukan:

Siapkan sumber data: Pastikan sumber data MySQL dan tujuan Hologres telah dibuat.
Rencanakan dan siapkan sumber daya: Beli dan konfigurasikan grup sumber daya eksklusif untuk Data Integration. Untuk informasi lebih lanjut, lihat Rencanakan dan Konfigurasikan Sumber Daya.
Evaluasi dan rencanakan lingkungan jaringan: Sebelum melakukan integrasi data, pilih metode koneksi jaringan sesuai dengan kebutuhan bisnis Anda dan gunakan metode tersebut untuk menghubungkan sumber data ke grup sumber daya eksklusif untuk Data Integration. Setelah terhubung, ikuti langkah-langkah yang dijelaskan dalam topik ini untuk mengonfigurasi pengaturan akses seperti vSwitches dan daftar putih.
- Jika sumber data dan grup sumber daya eksklusif untuk Data Integration berada di wilayah dan virtual private cloud (VPC) yang sama, mereka akan terhubung secara otomatis.
- Jika sumber data dan grup sumber daya eksklusif untuk Data Integration berada di lingkungan jaringan yang berbeda, hubungkan keduanya menggunakan metode seperti gateway VPN.
Eksekusi pernyataan berikut untuk memeriksa apakah versi database MySQL Anda adalah MySQL 5.X atau MySQL 8.X.
```
select version();
```
Catatan Sinkronisasi data waktu nyata dari sumber data MySQL dilakukan berdasarkan langganan waktu nyata ke log biner MySQL. Anda hanya dapat menggunakan sumber data ApsaraDB RDS for MySQL dengan versi MySQL V5.X atau V8.X untuk node sinkronisasi waktu nyata yang digunakan untuk menyinkronkan data dari MySQL. PolarDB for MySQL tidak didukung. Jika versi MySQL dari database ApsaraDB RDS for MySQL Anda bukan V5.X atau V8.X, gunakan database ApsaraDB RDS for MySQL dengan versi MySQL V5.X atau V8.X. Jika tidak, node sinkronisasi data gagal dijalankan.

Informasi latar belakang

Sebelum menyinkronkan data dari sumber ke tujuan, pastikan bahwa sumber data dan grup sumber daya eksklusif untuk Data Integration terhubung. Selain itu, Anda harus membuat akun dan memberi otorisasi kepada akun tersebut untuk mengakses sumber data.

Konfigurasikan Daftar Putih untuk Sumber Data
Jika sumber data dan grup sumber daya eksklusif untuk Data Integration berada di VPC yang sama, tambahkan blok CIDR dari grup sumber daya eksklusif untuk Data Integration ke daftar putih sumber data. Ini memastikan bahwa grup sumber daya eksklusif untuk Data Integration dapat mengakses sumber data.
Buat Akun dan Berikan Izin
Anda harus membuat akun yang dapat digunakan untuk mengakses sumber data, membaca data dari sumber, dan menulis data ke tujuan selama proses sinkronisasi data.
Aktifkan Fitur Pencatatan Biner
Jika sumber data adalah database MySQL, aktifkan fitur pencatatan biner. Log biner mencatat perubahan pada semua skema tabel dan modifikasi pada data tabel. Anda dapat menjalankan pernyataan seperti CREATE dan ALTER untuk melakukan operasi pada skema tabel. Anda juga dapat menjalankan pernyataan seperti INSERT, UPDATE, dan DELETE untuk melakukan operasi pada data tabel. Gunakan log biner untuk melihat riwayat perubahan database, mencadangkan data tambahan, memulihkan data dalam database, serta mereplikasi data dari database utama ke database sekunder.
Format log biner:
- Statement: Replikasi berbasis pernyataan SQL. Log biner dalam format ini mencatat pernyataan SQL yang dieksekusi untuk memodifikasi entri data.
- Row: Replikasi berbasis baris. Log biner dalam format ini hanya mencatat detail modifikasi tentang entri data dalam baris.
- Mixed: Replikasi dalam mode campuran. Mode ini menggabungkan format statement dan row. Dalam sebagian besar kasus, log biner dalam format statement digunakan untuk mencatat pernyataan SQL yang dieksekusi untuk memodifikasi entri data, seperti fungsi. Jika replikasi data dari database utama ke database sekunder tidak dapat diimplementasikan dengan menggunakan log biner dalam format ini, beralihlah ke format row. MySQL menentukan format mana yang akan digunakan berdasarkan setiap pernyataan SQL yang dieksekusi.

Batasan

Sinkronisasi data waktu nyata dari MySQL dilakukan berdasarkan langganan waktu nyata ke log biner MySQL. Sinkronisasi data waktu nyata dari MySQL hanya mendukung sumber data ApsaraDB RDS for MySQL yang menjalankan MySQL 5.X atau 8.X. Sinkronisasi data waktu nyata dari MySQL tidak mendukung sumber data PolarDB-X 1.0 yang menjalankan MySQL. Jika Anda ingin menyinkronkan data dari sumber data PolarDB-X 1.0 yang menjalankan MySQL secara real-time, Anda dapat merujuk ke Tambahkan Sumber Data DRDS untuk menambahkan sumber data PolarDB-X 1.0 dan mengonfigurasi node sinkronisasi waktu nyata untuk sumber data tersebut.
Anda tidak dapat menggunakan fitur sinkronisasi waktu nyata untuk menyinkronkan data tempat pernyataan XA ROLLBACK dijalankan. Untuk data transaksi tempat pernyataan XA PREPARE dijalankan, Anda dapat menggunakan fitur sinkronisasi waktu nyata untuk menyinkronkan data ke tujuan. Jika pernyataan XA ROLLBACK dijalankan nanti pada data tersebut, perubahan rollback ke data tidak dapat disinkronkan ke tujuan. Jika tabel yang ingin Anda sinkronkan berisi tabel tempat pernyataan XA ROLLBACK dijalankan, Anda harus menghapus tabel tempat pernyataan XA ROLLBACK dijalankan dan menambahkan kembali tabel yang dihapus untuk menginisialisasi data penuh di sumber dan menyinkronkan data tambahan.
Jika Anda menambahkan instance ApsaraDB RDS for MySQL yang dimiliki oleh akun Alibaba Cloud lain dari ruang kerja saat ini ke DataWorks sebagai sumber data MySQL dan Anda mengonfigurasi node sinkronisasi data untuk sumber data MySQL tersebut, Anda hanya dapat menggunakan grup sumber daya eksklusif untuk Data Integration untuk menjalankan node tersebut. Jika Anda menggunakan grup sumber daya bersama untuk Data Integration untuk menjalankan node tersebut, grup sumber daya tidak dapat mengakses data dalam sumber data MySQL.

Prosedur

Konfigurasikan Daftar Putih untuk Database MySQL.
Tambahkan blok CIDR dari VPC tempat grup sumber daya eksklusif berada ke daftar putih database MySQL.
1. Lihat dan Catat Alamat IP Elastis (EIP) dan Blok CIDR dari Grup Sumber Daya Eksklusif untuk Data Integration.
  1. Masuk ke Konsol DataWorks.
  2. Di panel navigasi di sebelah kiri, klik Resource Groups.
  3. Pada tab Exclusive Resource Groups, temukan grup sumber daya eksklusif untuk Data Integration dan klik View Information di kolom Tindakan.
  4. Dalam kotak dialog Grup Sumber Daya Eksklusif, lihat dan catat nilai parameter EIPAddress dan CIDR Blocks.
  5. Pada tab Exclusive Resource Groups, temukan grup sumber daya eksklusif untuk Data Integration dan klik Network Settings di kolom Tindakan.
  6. Pada tab VPC Binding halaman yang muncul, lihat dan catat CIDR block of the vSwitch yang terkait dengan grup sumber daya eksklusif untuk Data Integration.
2. Tambahkan EIP dan Blok CIDR dari Grup Sumber Daya Eksklusif ke Daftar Putih Database MySQL.
Buat Akun dan Berikan Izin ke Akun.
Anda harus membuat akun untuk masuk ke database MySQL. Berikan izin SELECT, REPLICATION SLAVE, and REPLICATION CLIENT kepada akun tersebut.
1. Buat Akun.
  Untuk informasi lebih lanjut, lihat Buat Akun untuk Mengakses Database MySQL.
2. Berikan Izin ke Akun.
  Anda dapat menjalankan perintah berikut untuk memberikan izin ke akun. Atau, Anda dapat memberikan izin SUPER ke akun. Ganti
```
-- CREATE USER 'Akun untuk sinkronisasi data'@'%' IDENTIFIED BY 'Password'; // Buat akun yang digunakan untuk menyinkronkan data dan atur kata sandi sehingga Anda dapat menggunakan akun dan kata sandi untuk mengakses database dari host. % menunjukkan host. 
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'Akun untuk sinkronisasi data'@'%'; // Berikan izin SELECT, REPLICATION SLAVE, dan REPLICATION CLIENT ke akun. 
```
  *.* menunjukkan bahwa akun sinkronisasi diberikan izin sebelumnya pada semua tabel di semua database. Anda juga dapat memberikan izin sebelumnya pada tabel tertentu di database tertentu ke akun sinkronisasi. Misalnya, untuk memberikan akun izin sebelumnya pada tabel pengguna di database tes, eksekusi pernyataan berikut: GRANT SELECT, REPLICATION CLIENT ON test.user TO 'Akun untuk sinkronisasi data'@'%';.
  Catatan Izin REPLICATION SLAVE adalah izin global. Anda tidak dapat memberikan izin ini pada tabel tertentu di database tertentu ke akun sinkronisasi.
Aktifkan Fitur Pencatatan Biner untuk Database MySQL.
Lakukan langkah-langkah berikut untuk memeriksa apakah fitur pencatatan biner diaktifkan dan untuk menanyakan format log biner:
- Eksekusi pernyataan berikut untuk memeriksa apakah fitur pencatatan biner diaktifkan:
```
show variables like "log_bin";
```
  Jika ON ditampilkan dalam hasil yang dikembalikan, fitur pencatatan biner diaktifkan.
- Jika Anda menggunakan database sekunder untuk menyinkronkan data, eksekusi pernyataan berikut untuk memeriksa apakah fitur pencatatan biner diaktifkan:
```
show variables like "log_slave_updates";
```
  Jika ON ditampilkan dalam hasil yang dikembalikan, fitur pencatatan biner diaktifkan untuk database sekunder.
Jika hasil yang dikembalikan berbeda dari hasil sebelumnya, ikuti petunjuk yang dijelaskan dalam Dokumentasi MySQL untuk mengaktifkan fitur pencatatan biner.
Eksekusi pernyataan berikut untuk melihat format log biner:
```
show variables like "binlog_format";
```
Hasil yang dikembalikan:
- ROW: Format log biner adalah baris.
- STATEMENT: Format log biner adalah pernyataan.
- MIXED: Format log biner adalah campuran.

Apa yang harus dilakukan selanjutnya

Setelah sumber data dikonfigurasi, sumber, tujuan, dan grup sumber daya eksklusif untuk Data Integration terhubung. Kemudian, grup sumber daya eksklusif untuk Data Integration dapat digunakan untuk mengakses sumber data. Anda dapat menambahkan sumber dan tujuan ke DataWorks, dan mengaitkannya dengan solusi sinkronisasi data saat Anda membuat solusi tersebut.

Untuk informasi lebih lanjut tentang cara menambahkan sumber data, lihat Tambahkan Sumber Data.