DataHub:Buat tugas sinkronisasi untuk RDS, MySQL, dan AnalyticDB for MySQL

Sinkronkan data ke RDS

Prasyarat

1. Siapkan instans RDS dan skema tabel. Buat instans RDS di Konsol RDS. Anda dapat memilih jaringan klasik atau VPC. Saat membuat tugas sinkronisasi DataHub, pilih jenis jaringan yang sesuai. Saat DataHub menyinkronkan data, tipe data bidang DataHub dipetakan ke tipe data RDS yang sesuai. Tabel berikut menjelaskan pemetaan tersebut.

Tipe data TINYINT, SMALLINT, INTEGER, dan FLOAT di DataHub didukung mulai dari Java SDK versi 2.16.1-public. 2. Daftar putih RDS dan titik akhir internal. Saat menggunakan fitur sinkronisasi DataHub, Anda harus mengonfigurasi daftar putih IP di Konsol RDS agar layanan DataHub dapat mengakses instans RDS Anda. Untuk rentang alamat IP layanan DataHub, lihat Ikhtisar. Selain itu, saat membuat tugas sinkronisasi DataHub, masukkan titik akhir internal instans RDS untuk memastikan konektivitas jaringan.

3. Catatan sinkronisasi

1. DataHub hanya mendukung penyinkronan data TUPLE ke layanan RDS.

2. Secara default, data TIMESTAMP di DataHub dikonversi ke tipe TIMESTAMP RDS dengan presisi microsecond. Pastikan Anda mengontrol presisi data tersebut.

3. Untuk menghindari perselisihan lock akibat pembacaan dan penulisan konkuren pada primary key yang sama, pastikan data dengan primary key yang sama ditulis ke shard DataHub yang sama.

4. Jika Anda menggunakan VPC, pastikan topik DataHub dan instans RDS berada di wilayah yang sama.

Buat tugas sinkronisasi

1. Buka halaman Project List > Project Details > Topic Details.

2. Klik tombol + Sync di pojok kanan atas untuk membuat tugas sinkronisasi.

Bagian berikut menjelaskan beberapa parameter konfigurasi saat membuat tugas sinkronisasi di konsol. Untuk operasi yang lebih fleksibel, Anda dapat menggunakan SDK.

1. Host: Titik akhir layanan RDS. Anda harus memasukkan internal endpoint untuk memastikan konektivitas.

2. Import fields: Anda dapat mengonfigurasi DataHub untuk menyinkronkan konten kolom tertentu ke tabel RDS.

3. Write mode: Mode ini mencakup mode IGNORE dan OVERWRITE.

   • IGNORE: Mengabaikan data duplikat. Mode ini menggunakan pernyataan INSERT IGNORE INTO.

   • OVERWRITE: Memperbarui data duplikat. Mode ini menggunakan pernyataan REPLACE INTO.

4. VpcId dan Instance ID: Jika instans RDS Anda berada di VPC, Anda harus memberikan informasi VpcId dan ID instans RDS.

   Contoh sinkronisasi

5. Buat instans RDS dan tabel data di Konsol RDS, seperti yang ditunjukkan pada gambar berikut:

6. Buat topik DataHub. Pada contoh ini, topik TUPLE dibuat.

7. Buat tugas sinkronisasi. Untuk contoh ini, atur write mode ke IGNORE dan impor semua field.

8. Tulis data TUPLE ke topik DataHub. Gambar berikut menunjukkan empat catatan data.

9. Konfirmasi data yang telah disinkronkan. Gunakan client MySQL untuk terhubung ke layanan RDS dan melihat datanya. Gambar berikut menunjukkan hasilnya:

Sinkronkan data ke MySQL

Prasyarat

1. Siapkan instans MySQL dan skema tabel. Buat instans MySQL di Konsol MySQL.

Saat DataHub menyinkronkan data, tipe data bidang DataHub dipetakan ke tipe data MySQL yang sesuai. Tabel berikut menjelaskan pemetaan tersebut.

Tipe data TINYINT, SMALLINT, INTEGER, dan FLOAT di DataHub didukung mulai dari Java SDK versi 2.16.1-public.

2. Catatan sinkronisasi. Perhatikan hal berikut saat melakukan operasi sinkronisasi: DataHub hanya mendukung penyinkronan data TUPLE ke layanan MySQL. Secara default, data TIMESTAMP di DataHub dikonversi ke tipe TIMESTAMP MySQL dengan presisi microsecond. Pastikan Anda mengontrol presisi data tersebut. Untuk menghindari perselisihan lock akibat pembacaan dan penulisan konkuren pada primary key yang sama, pastikan data dengan primary key yang sama ditulis ke shard DataHub yang sama.

Buat tugas sinkronisasi

1. Buka halaman Project List > Project Details > Topic Details.

2. Klik tombol + Sync di pojok kanan atas untuk membuat tugas sinkronisasi.

Bagian berikut menjelaskan beberapa parameter konfigurasi saat membuat tugas sinkronisasi di konsol. Untuk operasi yang lebih fleksibel, Anda dapat menggunakan SDK.

1. Host: Titik akhir layanan MySQL. Anda harus memasukkan internal endpoint untuk memastikan konektivitas.

2. Import fields: Anda dapat mengonfigurasi DataHub untuk menyinkronkan konten kolom tertentu ke tabel MySQL.

3. Write mode: Mode ini mencakup mode IGNORE dan OVERWRITE.

   • IGNORE: Mengabaikan data duplikat. Mode ini menggunakan pernyataan INSERT IGNORE INTO.

   • OVERWRITE: Memperbarui data duplikat. Mode ini menggunakan pernyataan REPLACE INTO.

Contoh sinkronisasi

1. Buat instans MySQL dan tabel data di Konsol MySQL.

2. Buat topik DataHub. Pada contoh ini, topik TUPLE dibuat. Gambar berikut menunjukkan skemanya.

3. Buat tugas sinkronisasi. Untuk contoh ini, atur write mode ke IGNORE dan impor semua field.

4. Tulis data TUPLE ke topik DataHub. Gambar berikut menunjukkan empat catatan data.

5. Konfirmasi data yang telah disinkronkan. Gunakan client MySQL untuk terhubung ke layanan MySQL dan melihat datanya. Gambar berikut menunjukkan hasilnya.

Sinkronkan data ke AnalyticDB for MySQL 3.0

Prasyarat

1. Siapkan instans AnalyticDB for MySQL dan skema tabel. Buat instans AnalyticDB for MySQL di Konsol AnalyticDB for MySQL. Anda dapat memilih jaringan klasik atau VPC. Saat membuat tugas sinkronisasi DataHub, pilih jenis jaringan yang sesuai. Saat DataHub menyinkronkan data, tipe data bidang DataHub dipetakan ke tipe data AnalyticDB for MySQL yang sesuai. Tabel berikut menjelaskan pemetaan tersebut.

Tipe data TINYINT, SMALLINT, INTEGER, dan FLOAT di DataHub didukung mulai dari Java SDK versi 2.16.1-public. 2. Daftar putih AnalyticDB for MySQL dan titik akhir internal. Saat menggunakan fitur sinkronisasi DataHub, Anda harus mengonfigurasi daftar putih IP di Konsol AnalyticDB for MySQL agar layanan DataHub dapat mengakses layanan AnalyticDB for MySQL Anda. Untuk rentang alamat IP layanan DataHub, lihat FAQ. Selain itu, saat membuat tugas sinkronisasi DataHub, masukkan titik akhir internal instans AnalyticDB for MySQL untuk memastikan konektivitas jaringan. 3. Catatan sinkronisasi. Perhatikan hal berikut saat melakukan operasi sinkronisasi: DataHub hanya mendukung penyinkronan data TUPLE ke layanan AnalyticDB for MySQL. Secara default, data TIMESTAMP di DataHub dikonversi ke tipe TIMESTAMP AnalyticDB for MySQL dengan presisi microsecond. Pastikan Anda mengontrol presisi data tersebut. Untuk menghindari perselisihan lock akibat pembacaan dan penulisan konkuren pada primary key yang sama, pastikan data dengan primary key yang sama ditulis ke shard DataHub yang sama. Jika Anda menggunakan VPC, pastikan topik DataHub dan instans AnalyticDB for MySQL berada di wilayah yang sama.

Buat tugas sinkronisasi

1. Buka halaman Project List > Project Details > Topic Details.

2. Klik tombol + Sync di pojok kanan atas untuk membuat tugas sinkronisasi.

Bagian berikut menjelaskan beberapa parameter konfigurasi saat membuat tugas sinkronisasi di konsol. Untuk operasi yang lebih fleksibel, Anda dapat menggunakan SDK.

1. Masukkan internal network address sebagai titik akhir layanan HostRDS untuk memastikan konektivitas layanan.

2. DataHub dapat mengimpor data ke tabel RDS dengan menyinkronkan konten field tertentu berdasarkan pengaturan Anda.

3. Write mode: Mode ini mencakup mode IGNORE dan OVERWRITE.

   • IGNORE: Mengabaikan data duplikat. Mode ini menggunakan pernyataan INSERT IGNORE INTO.

   • OVERWRITE: Memperbarui data duplikat. Mode ini menggunakan pernyataan REPLACE INTO.

4. Cara memperoleh ID instans

   1. Klik DescribeDBClusterAttribute - Query the detailed properties of a cluster.

   2. Klik tombol Debug. Di halaman debug, pilih titik akhir, masukkan DBClusterId (ID kluster instans AnalyticDB for MySQL Edisi Data Warehouse Anda), lalu lakukan panggilan.

   3. Di halaman hasil, nilai field VPCCloudInstanceId adalah ID instans yang diperlukan.

Contoh sinkronisasi

1. Buat instans dan skema tabel AnalyticDB for MySQL.

2. Buat topik DataHub. Pada contoh ini, topik TUPLE dibuat.

3. Buat tugas sinkronisasi. Untuk contoh ini, atur write mode ke IGNORE dan impor semua field.

4. Tulis data TUPLE ke topik DataHub. Gambar berikut menunjukkan empat catatan data.

5. Konfirmasi data yang telah disinkronkan. Gunakan client MySQL untuk terhubung ke layanan AnalyticDB for MySQL dan melihat datanya.