AnalyticDB:Sinkronisasi data dengan zero-ETL

Buat AnalyticDB for MySQL

1. Navigasi ke halaman Role di Konsol RAM.

2. Periksa apakah peran terkait layanan bernama AliyunServiceRoleForAnalyticDBForMySQL sudah ada. Jika belum, Anda harus membuat peran tersebut.

3. Di panel navigasi kiri, klik Create Role.

4. Di kotak dialog Create Role, pilih Alibaba Cloud Service dan klik Next.

5. Untuk jenis peran, pilih Service-Linked Role, lalu pilih AnalyticDB for MySQL dari daftar drop-down layanan.

6. Klik Finish. Kembali ke daftar peran dan verifikasi bahwa peran terkait layanan telah dibuat.

Berikan izin kepada Pengguna RAM

Pengguna RAM memerlukan dua jenis izin berikut untuk membuat dan mengelola tugas zero-ETL.

{
    "Version": "1",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "dts:*",
            "Resource": [
                "acs:adb:*:*:*",
                "acs:rds:*:*:*",
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "dts:DescribeRegions",
                "dts:DescribeConfigRelations",
                "dts:DescribeSrcLinkConfig",
                "dts:DescribeDestLinkConfig",
                "dts:DescribeLinkConfig"
            ],
            "Resource": [
                "acs:dts:*:*:*"
            ]
        }
    ]
}

{
    "Version": "1",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "dts:*",
            "Resource": [
                "acs:adb:*:*:dbcluster/am-2zeod8ax4b9a****",
                "acs:rds:*:*:dbinstance/rm-2ze6fs8ouh43****",
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "dts:DescribeRegions",
                "dts:DescribeConfigRelations",
                "dts:DescribeSrcLinkConfig",
                "dts:DescribeDestLinkConfig",
                "dts:DescribeLinkConfig"
            ],
            "Resource": "acs:dts:*:*:*"
        }
    ]
}

Prosedur

1. Login ke Konsol AnalyticDB for MySQL. Di pojok kiri atas konsol, pilih wilayah. Di panel navigasi kiri, klik Clusters. Temukan kluster yang ingin Anda kelola dan klik ID kluster tersebut.

2. Navigasi ke halaman fitur zero-ETL. Titik masuknya berbeda-beda tergantung edisi kluster.

   • Untuk kluster Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse: Di panel navigasi kiri, pilih Data Ingestion > Database Data Synchronization.

   • Untuk kluster Edisi Gudang Data: Di panel navigasi kiri, pilih Data Transmission Service > Zero-ETL.

3. Klik Create Zero-ETL Task. Di halaman Create Zero-ETL Task, konfigurasikan informasi database sumber dan tujuan.

   • Konfigurasikan informasi database sumber:

     Source database	Description
     Task Name	Nama tugas zero-ETL.
     Database Type	Pilih RDS for MySQL.
     Access Method	Hanya Alibaba Cloud Instance yang didukung.
     Instance Region	Wilayah tempat instans RDS for MySQL berada.
     RDS Instance ID	ID instans RDS for MySQL.
     Database Account	Akun database untuk instans RDS for MySQL.
     Database Password	Password untuk akun database instans RDS for MySQL.
     Encryption	Metode untuk menghubungkan ke instans RDS for MySQL. Opsi termasuk koneksi non-terenkripsi dan koneksi aman SSL. Catatan Jika Anda memilih SSL-encrypted, Anda harus terlebih dahulu mengaktifkan enkripsi SSL untuk instans RDS for MySQL. Untuk informasi selengkapnya, lihat Gunakan sertifikat cloud untuk mengaktifkan enkripsi SSL dengan cepat.

   • Konfigurasikan informasi database tujuan:

     Destination database	Description
     Database Type	Saat ini, hanya AnalyticDB for MySQL 3.0 yang didukung sebagai tujuan.
     Access Method	Hanya Alibaba Cloud Instance yang didukung.
     Instance Region	Wilayah tempat kluster AnalyticDB for MySQL berada.
     Instance ID	ID kluster AnalyticDB for MySQL.
     Database Account	Akun database untuk kluster AnalyticDB for MySQL.
     Database Password	Password untuk akun database kluster AnalyticDB for MySQL.

4. Setelah mengonfigurasi parameter, klik Test Connectivity and Proceed. Di halaman konfigurasi, atur parameter berikut:

   Parameter	Description
   DDL and DML Operations to Be Synchronized	Pilih operasi DML dan DDL yang akan disinkronkan. Semua operasi dipilih secara default.
   Source Objects dan Selected Objects	Objek sumber di database dan objek yang akan disinkronkan.
   Advanced Settings (Optional)	Konfigurasikan interval percobaan ulang untuk ketidaktersediaan database dan potensi masalah lainnya.

5. Setelah menyelesaikan pengaturan, klik Next: Configure Database and Table Fields dan konfigurasikan informasi berikut:

   Configuration	Description
   Database Name	Pilih database yang sudah ada.
   Table Name	Pilih tabel yang sudah ada.
   Primary Key Column	Kolom kunci primer dari tabel yang dipilih.
   Distribution Key	Kolom kunci distribusi dari tabel yang dipilih.
   Type	Jenis tabel. Opsi termasuk tabel partisi dan tabel replikasi.
   Definition Status	Setelah bidang database dan tabel dikonfigurasi, status berubah dari Undefined menjadi Defined.

6. Setelah mengonfigurasi semua parameter, klik Next: Save Task Settings and Precheck.

7. Jika pemeriksaan awal berhasil, klik Start untuk menjalankan tugas zero-ETL.

   Di halaman Zero-ETL, Anda dapat melihat informasi tentang tugas tersebut, termasuk ID/Name, Source/Destination, dan Status-nya.

1. Login ke Konsol Cloud Monitor.

2. Lihat informasi pemantauan.

   1. Di panel navigasi kiri, pilih Cloud Service Monitoring > Cloud Service Monitoring.

   2. Arahkan kursor ke kartu AnalyticDB for MySQL dan klik AnalyticDB for mysql 3.0 - ZeroETL Latency.

   3. Klik ID kluster untuk melihat informasi pemantauan tugas zero-ETL di kluster tersebut.

3. Buat aturan peringatan.

   1. Di panel navigasi kiri, klik Alerts > Alert Rules.

   2. Klik Create Alert Rule. Di panel Create Alert Rule, konfigurasikan aturan peringatan untuk tugas zero-ETL. Untuk informasi selengkapnya, lihat Buat aturan peringatan.

      Catatan

      Untuk parameter Product, pilih AnalyticDB for mysql 3.0 - ZeroETL Latency.

4. Buat kebijakan langganan.

   1. Di panel navigasi kiri, klik Event Center > Event Subscription.

   2. Klik Create a subscription policy. Di halaman Create a subscription policy, konfigurasikan kebijakan langganan untuk tugas zero-ETL. Untuk informasi selengkapnya, lihat Buat langganan event.

      Catatan

      • Product: Pilih Analyticdb for mysql 3.0.

      • event types: Pilih Abnormal atau Restore.

      • Event Name: Pilih zero_etl_job_abnormal atau zero_etl_job_restore.