AnalyticDB：Sinkronisasi data SLS melalui fitur sinkronisasi data APS

Langkah 1: Buat sumber data dan tautan sinkronisasi

1. Login ke Konsol Simple Log Service.

2. Pada daftar Proyek, klik proyek target. Di panel navigasi sebelah kiri, klik untuk membuka tab Log Storage dan perluas bagian di bawah Logstore target.

3. Klik Data Processing > Export, lalu klik ikon + di sebelah AnalyticDB.

4. Pada kotak dialog Shipping Note yang muncul, pilih Create in AnalyticDB for MySQL Console.

   

5. Pada halaman AnalyticDB for MySQL Log Synchronization, konfigurasikan parameter pada tab Source and Destination Settings, Destination Database and Table Settings, dan Synchronization Settings.

   • Tabel berikut menjelaskan parameter pada bagian Source and Destination Settings.

     Parameter	Deskripsi metrik
     Job Name	Nama tautan data. Sistem secara otomatis menghasilkan nama berdasarkan jenis sumber data dan waktu saat ini. Anda dapat mengubah nama sesuai kebutuhan.
     Simple Log Service Project	Proyek SLS.
     Simple Log Service Logstore	Logstore SLS.
     Destination AnalyticDB for MySQL Cluster	Pilih kluster AnalyticDB for MySQL.
     AnalyticDB for MySQL Account	Akun database kluster AnalyticDB for MySQL.
     AnalyticDB for MySQL Password	Password akun database untuk kluster AnalyticDB for MySQL.

   • Tabel berikut menjelaskan parameter pada bagian Destination Database and Table Settings.

     Parameter	Deskripsi
     Database Name	Nama database di kluster AnalyticDB for MySQL.
     Table Name	Nama tabel data di kluster AnalyticDB for MySQL.
     Source Data Preview	Klik View Latest 10 Logstore Data Entries untuk melihat 10 catatan data terbaru dari SLS sumber.
     Schema Field Mapping	AnalyticDB for MySQL secara otomatis mengisi Destination Table Field dan Source Field untuk bidang-bidang dalam tabel kluster. Jika pemetaan antara Destination Table Field dan Source Field salah, ubah secara manual. Misalnya, jika nama bidang untuk tabel data di kluster AnalyticDB for MySQL adalah name, sedangkan nama bidang data sumber di SLS adalah user_name, sistem secara otomatis mengisi Source Field dan Destination Table Field dengan name. Dalam kasus ini, Anda perlu mengubah Source Field menjadi user_name secara manual.

   • Tabel berikut menjelaskan parameter pada bagian Synchronization Settings.

     Parameter	Deskripsi
     Start Offset	Saat tugas sinkronisasi dimulai, sistem mengonsumsi data SLS dari titik waktu yang ditentukan. Misalnya, jika Anda menetapkan Start Offset ke 2024-04-09 13:10, sistem mulai mengonsumsi data dari catatan pertama setelah pukul 13:10 pada 9 April 2024.
     Dirty Data Processing Mode	Selama sinkronisasi data, jika tipe data suatu bidang di tabel tujuan tidak sesuai dengan tipe data aktual dari SLS sumber, sinkronisasi akan gagal. Misalnya, jika data sumber adalah abc dan tipe bidang tujuan adalah int, terjadi error sinkronisasi karena data tidak dapat dikonversi. Nilai berikut valid untuk mode penanganan data rusak: Stop Synchronization (Default): Sinkronisasi data dihentikan. Anda harus mengubah tipe bidang di tabel tujuan atau mengganti mode penanganan data rusak, lalu restart tugas sinkronisasi. Treat as Null: Data rusak ditulis sebagai nilai NULL ke tabel tujuan, dan data rusak asli dibuang. Misalnya, satu baris data SLS memiliki tiga bidang (col1, col2, dan col3). Jika bidang col2 merupakan data rusak, data untuk bidang col2 dikonversi menjadi nilai NULL dan ditulis ke tabel. Data untuk bidang col1 dan col3 ditulis secara normal.
     Convert Unix Timestamp into Datetime	Jika bidang SLS sumber berupa timestamp Unix (misalnya, 1710604800) dan tipe bidang tujuan adalah DATETIME atau TIMESTAMP, Anda harus mengaktifkan fitur ini untuk konversi. Setelah mengaktifkan fitur ini, Anda dapat memilih Timestamp Accurate to Seconds, Timestamp Accurate to Milliseconds, atau Timestamp Accurate to Microseconds berdasarkan presisi data timestamp SLS.
     Job Resource Group	Pilih kelompok sumber daya khusus tugas untuk menjalankan tugas sinkronisasi inkremental. Penting Parameter ini hanya diperlukan jika kluster AnalyticDB for MySQL berupa Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse.
     ACUs for Incremental Synchronization	Jumlah awal ACU yang digunakan untuk menjalankan tugas sinkronisasi inkremental. Nilainya tetap pada 1 ACU. Nilai ini dapat berkisar dari 1 hingga sumber daya maksimum kelompok sumber daya khusus tugas. Setelah tautan sinkronisasi dibuat, AnalyticDB for MySQL secara otomatis menyesuaikan jumlah ACU berdasarkan beban kerja bisnis. Jumlah ACU dapat diskalakan hingga 64 atau diturunkan hingga 1. Penting Parameter ini hanya diperlukan jika kluster AnalyticDB for MySQL berupa Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse.

6. Setelah mengonfigurasi parameter, klik Submit.

   Sistem secara otomatis membuat sumber data SLS dan tautan data di AnalyticDB for MySQL dan mengarahkan Anda ke halaman Simple Log Service/Kafka Data Synchronization di Konsol AnalyticDB for MySQL.

Langkah 2: Mulai tugas sinkronisasi

1. Pada kolom Actions tautan data target, klik Start.

2. Setelah tugas dimulai, klik Query di pojok kanan atas. Jika status berubah menjadi Running, tugas sinkronisasi telah dimulai.

Langkah 3: Kelola tugas sinkronisasi

Anda dapat melakukan operasi berikut di kolom Tindakan:

Langkah 1: (Opsional) Konfigurasi otorisasi RAM

Saat menyinkronkan data SLS dari akun Alibaba Cloud lain ke AnalyticDB for MySQL, Anda harus membuat role RAM di akun sumber, memberikan izin detail halus kepada role RAM tersebut, dan memodifikasi kebijakan kepercayaan role RAM.

1. Buat role RAM. Untuk informasi selengkapnya, lihat Buat role RAM untuk akun Alibaba Cloud tepercaya.

   Catatan

   Saat mengonfigurasi parameter Principal Name, pilih Other Account dan masukkan ID akun Alibaba Cloud tempat kluster AnalyticDB for MySQL berada. Anda dapat login ke Pusat Akun dan melihat Account ID pada halaman Security Settings.

2. Gunakan otorisasi detail halus untuk memberikan izin AliyunAnalyticDBAccessingLogRolePolicy kepada role RAM.

3. Modifikasi kebijakan kepercayaan role RAM agar kluster AnalyticDB for MySQL milik akun Alibaba Cloud tertentu dapat mengasumsikan role RAM ini.

   {
     "Statement": [
       {
         "Action": "sts:AssumeRole",
         "Effect": "Allow",
         "Principal": {
           "RAM": [
               "acs:ram::<ID akun Alibaba Cloud>:root"
           ],
           "Service": [
               "<ID akun Alibaba Cloud>@ads.aliyuncs.com"
           ]
         }
       }
     ],
     "Version": "1"
   }

   Catatan

   ID akun Alibaba Cloud adalah ID akun Alibaba Cloud tempat kluster AnalyticDB for MySQL berada, sebagaimana ditentukan pada Langkah 1. Saat mengonfigurasi kebijakan, jangan sertakan tanda kurung sudut (<>).

Langkah 2: Buat sumber data

1. Login ke Konsol AnalyticDB for MySQL. Di pojok kiri atas konsol, pilih wilayah. Di panel navigasi sebelah kiri, klik Clusters. Temukan kluster yang ingin Anda kelola dan klik ID kluster tersebut.

2. Di panel navigasi sebelah kiri, pilih Data Ingestion > Data Sources.

3. Di pojok kanan atas, klik Create Data Source.

4. Pada halaman Create Data Source, konfigurasikan parameter. Tabel berikut menjelaskan parameter tersebut.

   Parameter	Deskripsi
   Data Source Type	Pilih SLS.
   Data Source Name	Sistem secara otomatis menghasilkan nama berdasarkan jenis sumber data dan waktu saat ini. Anda dapat mengubah nama sesuai kebutuhan.
   Data Source Description	Deskripsi sumber data, seperti skenario aplikasi atau pembatasan bisnis.
   Cloud provider	Hanya Alibaba Cloud Instance yang didukung.
   Region of Simple Log Service Project	Wilayah tempat proyek SLS berada. Catatan Anda hanya dapat memilih wilayah tempat kluster AnalyticDB for MySQL berada.
   Across Alibaba Cloud Accounts	Kluster AnalyticDB for MySQL dapat menyinkronkan data SLS dari akun Alibaba Cloud yang sama atau dari akun Alibaba Cloud lain (cross-account). No: Menyinkronkan data SLS dari akun Alibaba Cloud saat ini ke kluster AnalyticDB for MySQL. Yes: Menyinkronkan data SLS dari akun Alibaba Cloud lain ke kluster AnalyticDB for MySQL. Saat memilih Yes, Anda harus mengonfigurasi otorisasi RAM dan memasukkan Alibaba Cloud Account dan RAM Role. Untuk informasi selengkapnya, lihat Konfigurasi otorisasi RAM. Catatan Alibaba Cloud Account: ID akun Alibaba Cloud tempat proyek SLS berada. RAM Role: Role RAM milik akun Alibaba Cloud tempat proyek SLS berada. Ini adalah role RAM yang Anda buat pada Langkah 1 di Konfigurasi otorisasi RAM.
   Simple Log Service Project	Proyek SLS sumber.
   Simple Log Service Logstore	Logstore SLS sumber.

5. Setelah mengonfigurasi parameter, klik Create.

Langkah 3: Buat tautan sinkronisasi

1. Di panel navigasi sebelah kiri, pilih Data Ingestion > Simple Log Service/Kafka Data Synchronization.

2. Di pojok kanan atas, klik Create Synchronization Job.

3. Pada halaman Create Synchronization Job, konfigurasikan parameter pada tab Source and Destination Settings, Destination Database and Table Settings, dan Synchronization Settings.

   • Tabel berikut menjelaskan parameter pada bagian Source and Destination Settings.

     Parameter	Deskripsi
     Job Name	Nama tautan data. Sistem secara otomatis menghasilkan nama berdasarkan jenis sumber data dan waktu saat ini. Anda dapat mengubah nama sesuai kebutuhan.
     Data Source	Pilih sumber data SLS yang sudah ada atau buat sumber data baru.
     Destination Type	Untuk kluster Edisi Perusahaan, Edisi Dasar, dan Edisi Data Lakehouse, pilih Data Warehouse - AnalyticDB for MySQL Storage. Parameter ini tidak diperlukan untuk kluster Edisi Gudang Data.
     AnalyticDB for MySQL Account	Akun database kluster AnalyticDB for MySQL.
     AnalyticDB for MySQL Password	Password akun database untuk kluster AnalyticDB for MySQL.

   • Tabel berikut menjelaskan parameter pada bagian Destination Database and Table Settings.

     Parameter	Deskripsi
     Database Name	Nama database di kluster AnalyticDB for MySQL.
     Table Name	Nama tabel data di kluster AnalyticDB for MySQL.
     Source Data Preview	Klik View Latest 10 Logstore Data Entries untuk melihat 10 catatan data terbaru dari SLS sumber.
     Schema Field Mapping	AnalyticDB for MySQL secara otomatis mengisi Destination Table Field dan Source Field untuk bidang-bidang dalam tabel kluster. Jika pemetaan antara Destination Table Field dan Source Field salah, ubah secara manual. Misalnya, jika nama bidang untuk tabel data di kluster AnalyticDB for MySQL adalah name, sedangkan nama bidang data sumber di SLS adalah user_name, sistem secara otomatis mengisi Source Field dan Destination Table Field dengan name. Dalam kasus ini, Anda perlu mengubah Source Field menjadi user_name secara manual.

   • Tabel berikut menjelaskan parameter pada bagian Synchronization Settings.

     Parameter	Deskripsi
     Start Offset	Saat tugas sinkronisasi dimulai, sistem mengonsumsi data SLS dari titik waktu yang ditentukan. Misalnya, jika Anda menetapkan Start Offset ke 2024-04-09 13:10, sistem mulai mengonsumsi data dari catatan pertama setelah pukul 13:10 pada 9 April 2024.
     Dirty Data Processing Mode	Selama sinkronisasi data, jika tipe data suatu bidang di tabel tujuan tidak sesuai dengan tipe data aktual dari SLS sumber, sinkronisasi akan gagal. Misalnya, jika data sumber adalah abc dan tipe bidang tujuan adalah int, terjadi error sinkronisasi karena data tidak dapat dikonversi. Nilai berikut valid untuk mode penanganan data rusak: Stop Synchronization (Default): Sinkronisasi data dihentikan. Anda harus mengubah tipe bidang di tabel tujuan atau mengganti mode penanganan data rusak, lalu restart tugas sinkronisasi. Treat as Null: Data rusak ditulis sebagai nilai NULL ke tabel tujuan, dan data rusak asli dibuang. Misalnya, satu baris data SLS memiliki tiga bidang (col1, col2, dan col3). Jika bidang col2 merupakan data rusak, data untuk bidang col2 dikonversi menjadi nilai NULL dan ditulis ke tabel. Data untuk bidang col1 dan col3 ditulis secara normal.
     Convert Unix Timestamp into Datetime	Jika bidang SLS sumber berupa timestamp Unix (misalnya, 1710604800) dan tipe bidang tujuan adalah DATETIME atau TIMESTAMP, Anda harus mengaktifkan fitur ini untuk konversi. Setelah mengaktifkan fitur ini, Anda dapat memilih Timestamp Accurate to Seconds, Timestamp Accurate to Milliseconds, atau Timestamp Accurate to Microseconds berdasarkan presisi data timestamp SLS.

4. Setelah mengonfigurasi parameter, klik Submit.

Langkah 4: Mulai tugas sinkronisasi data

1. Pada halaman sinkronisasi data, temukan tugas sinkronisasi yang telah Anda buat dan klik Start pada kolom Actions.

2. Jika status berubah menjadi Running, tugas sinkronisasi telah dimulai.

Langkah 5: Kelola Sumber Data

Pada halaman sinkronisasi data, Anda dapat melakukan operasi berikut di kolom Actions.