AnalyticDB:Sinkronisasi data SLS dengan fitur sinkronisasi data

Langkah 1: Buat sumber data dan tautan data

1. Masuk ke konsol Simple Log Service.

2. Pada daftar Project, klik project target. Di panel navigasi sebelah kiri, klik ikon , buka tab Logstores, lalu perluas Logstore target.

3. Klik Data Processing > Export, lalu klik ikon + di samping AnalyticDB.

4. Pada kotak dialog Shipping Note, pilih Create in AnalyticDB for MySQL Console.

   Kotak dialog ini menunjukkan bahwa pengiriman langsung akan mengirim semua data baru yang ditulis ke tujuan. Jika Anda perlu memproses data—misalnya dengan memfilter, mengonversi format, atau memperkaya data—atau jika Anda perlu mengirim data historis, Anda dapat menggunakan fitur Data Transformation. Hal ini memerlukan penempatan sementara data di Logstore sementara, lalu membuat tugas pengiriman langsung darinya.

5. Pada halaman AnalyticDB for MySQL Log Synchronization, konfigurasikan parameter pada bagian Source and Destination Settings, Destination Database and Table Settings, dan Synchronization Settings.

   • Tabel berikut menjelaskan parameter untuk Source and Destination Settings.

     Parameter	Deskripsi
     Job Name	Nama tugas sinkronisasi. Sistem menghasilkan nama berdasarkan jenis sumber data dan waktu pembuatan. Anda dapat mengubah nama sesuai kebutuhan.
     Simple Log Service Project	Project SLS sumber.
     Simple Log Service Logstore	Logstore SLS sumber.
     Destination AnalyticDB for MySQL Cluster	Pilih kluster AnalyticDB for MySQL tujuan.
     AnalyticDB for MySQL Account	Akun database untuk kluster AnalyticDB for MySQL.
     AnalyticDB for MySQL Password	Password untuk akun database AnalyticDB for MySQL.

   • Destination Database and Table Settings

     Parameter	Deskripsi
     Database Name	Nama database di kluster AnalyticDB for MySQL.
     Table Name	Nama tabel tujuan di kluster AnalyticDB for MySQL.
     Source Data Preview	Klik View Latest 10 Logstore Data Entries untuk melihat pratinjau 10 entri terbaru dari logstore SLS sumber.
     Schema Field Mapping	Field tabel kluster AnalyticDB for MySQL secara otomatis mengisi field Destination Field dan Source Field. Jika pemetaan antara Destination Field dan Source Field salah, ubah secara manual. Misalnya, jika sebuah field di tabel data kluster AnalyticDB for MySQL bernama name dan field data sumber di SLS bernama user_name, sistem secara otomatis mengisi Source Field dan Destination Field dengan name. Dalam kasus ini, Anda harus mengubah secara manual Source Field menjadi user_name.

   • Tabel berikut menjelaskan parameter untuk Synchronization Settings.

     Parameter	Deskripsi
     Start Offset	Menentukan titik waktu mulai tugas sinkronisasi mengonsumsi data SLS. Misalnya, jika Anda mengatur Start Offset ke 2024-04-09 13:10, sistem mulai mengonsumsi data dari catatan pertama yang dibuat setelah pukul 13:10 pada 9 April 2024.
     Dirty Data Processing Mode	Sinkronisasi dapat gagal jika tipe data field sumber tidak kompatibel dengan tipe field tujuan yang sesuai. Misalnya, jika data sumber adalah abc dan tipe field tujuan adalah int, terjadi error konversi sehingga sinkronisasi gagal. Mode berikut tersedia untuk menangani dirty data: Stop Synchronization (Default): Tugas sinkronisasi berhenti. Anda harus mengubah tipe field tujuan atau memilih mode penanganan dirty data lain, lalu restart tugas. Treat as Null: Dirty data dikonversi menjadi NULL dan ditulis ke tabel tujuan. Dirty data asli dibuang. Misalnya, jika satu baris di SLS memiliki tiga field (col1, col2, dan col3) dan data di col2 merupakan dirty data, nilai col2 diatur menjadi NULL, sedangkan data di col1 dan col3 ditulis seperti biasa.
     Convert UNIX Timestamp into Datetime	Jika field SLS sumber berupa Unix timestamp (misalnya, 1710604800) dan tipe field tujuan adalah DATETIME atau TIMESTAMP, aktifkan fitur ini untuk mengonversi nilainya. Setelah Anda mengaktifkan opsi ini, pilih presisi timestamp sumber: Timestamp Accurate to Seconds, Timestamp Accurate to Milliseconds, atau Timestamp Accurate to Microseconds.
     Job Resource Group	Pilih kelompok sumber daya khusus tugas untuk menjalankan tugas sinkronisasi inkremental. Penting Parameter ini hanya berlaku untuk kluster AnalyticDB for MySQL edisi Enterprise Edition, Basic Edition, atau Data Lakehouse Edition.
     ACUs for Incremental Synchronization	Jumlah awal ACU untuk tugas sinkronisasi inkremental tetap sebesar 1. Setelah tautan data dibuat, AnalyticDB for MySQL secara otomatis menskalakan jumlah ACU untuk tugas tersebut berdasarkan beban kerja, dari minimum 1 ACU hingga maksimum 64 ACU. Penting Parameter ini hanya berlaku untuk kluster AnalyticDB for MySQL edisi Enterprise Edition, Basic Edition, atau Data Lakehouse Edition.

6. Setelah mengonfigurasi parameter, klik Submit.

   Sistem secara otomatis membuat sumber data Simple Log Service dan tautan data di AnalyticDB for MySQL dan mengarahkan Anda ke halaman Simple Log Service/Kafka Data Synchronization di konsol AnalyticDB for MySQL.

Langkah 2: Mulai tugas sinkronisasi

1. Pada kolom Actions untuk tautan data target, klik Start.

2. Setelah memulai tugas, klik Search di pojok kanan atas. Tugas sinkronisasi berhasil dimulai ketika statusnya berubah menjadi Running.

Langkah 3: Kelola tugas sinkronisasi

Di kolom Actions, Anda dapat melakukan operasi berikut:

Langkah 1: Konfigurasi otorisasi RAM (opsional)

Untuk sinkronisasi lintas akun data Simple Log Service (SLS) ke AnalyticDB for MySQL, Anda harus membuat peran RAM di akun sumber, memberikan otorisasi detail halus, dan mengubah kebijakan kepercayaannya.

1. Buat peran RAM. Untuk informasi lebih lanjut, lihat Buat peran RAM untuk akun Alibaba Cloud tepercaya.

   Catatan

   Saat mengonfigurasi parameter Select Trusted Alibaba Cloud Account, pilih Other Alibaba Cloud Account dan masukkan ID akun Alibaba Cloud yang berisi kluster AnalyticDB for MySQL. Anda dapat menemukan account ID di halaman Overview di Account Center.

2. Gunakan otorisasi detail halus untuk memberikan izin AliyunAnalyticDBAccessingLogRolePolicy kepada peran RAM.

3. Ubah kebijakan kepercayaan peran RAM agar kluster AnalyticDB for MySQL di akun Alibaba Cloud tertentu dapat mengasumsikan peran ini.

   {
     "Statement": [
       {
         "Action": "sts:AssumeRole",
         "Effect": "Allow",
         "Principal": {
           "RAM": [
               "acs:ram::<Alibaba Cloud account ID>:root"
           ],
           "Service": [
               "<Alibaba Cloud account ID>@ads.aliyuncs.com"
           ]
         }
       }
     ],
     "Version": "1"
   }

   Catatan

   Ganti <Alibaba Cloud account ID> dengan ID akun Alibaba Cloud yang berisi kluster AnalyticDB for MySQL, sebagaimana ditentukan di Langkah 1. Jangan sertakan tanda kurung sudut (<>).

Langkah 2: Buat sumber data

1. Masuk ke konsol AnalyticDB for MySQL. Di pojok kiri atas konsol, pilih wilayah. Di panel navigasi sebelah kiri, klik Clusters. Temukan kluster yang ingin Anda kelola dan klik ID kluster tersebut.

2. Di panel navigasi sebelah kiri, pilih Simple Log Service Data Ingestion > Data Sources.

3. Di pojok kanan atas, klik Create Data Source.

4. Pada halaman Create Data Source, konfigurasikan parameter seperti dijelaskan dalam tabel berikut.

   Parameter	Deskripsi
   Data Source Type	Pilih SLS.
   Data Source Name	Sistem menghasilkan nama berdasarkan jenis sumber data dan waktu pembuatan. Anda dapat mengubah nama sesuai kebutuhan.
   Data Source Description	Deskripsi opsional untuk sumber data, seperti kasus penggunaan atau batasan terkait bisnis.
   Deployment Mode	Hanya Alibaba Cloud Instance yang didukung.
   Region of Simple Log Service Project	Wilayah tempat project SLS berada. Catatan Anda hanya dapat memilih wilayah tempat kluster AnalyticDB for MySQL Anda berada.
   Across Alibaba Cloud Accounts	Kluster AnalyticDB for MySQL dapat menyinkronkan data SLS dari akun Alibaba Cloud yang sama atau berbeda (cross-account). No: Menyinkronkan data SLS dari akun Alibaba Cloud saat ini ke kluster AnalyticDB for MySQL. Yes: Menyinkronkan data SLS dari akun Alibaba Cloud berbeda ke kluster AnalyticDB for MySQL. Jika Anda memilih Yes, Anda harus mengonfigurasi otorisasi RAM dan menentukan Alibaba Cloud Account dan RAM Role. Untuk informasi lebih lanjut tentang otorisasi RAM, lihat Langkah 1: Konfigurasi otorisasi RAM (opsional). Catatan Alibaba Cloud Account: ID akun Alibaba Cloud yang berisi project SLS. RAM Role: Peran RAM di akun Alibaba Cloud yang berisi project SLS. Ini adalah peran RAM yang Anda buat di Langkah 1.
   Simple Log Service Project	Project SLS sumber.
   Simple Log Service Logstore	Logstore SLS sumber.

5. Setelah mengonfigurasi parameter, klik Create.

Langkah 3: Buat tugas sinkronisasi

1. Di panel navigasi sebelah kiri, pilih Simple Log Service Data Ingestion > Data Synchronization.

2. Di pojok kanan atas, klik Create Synchronization Job.

3. Pada halaman Create Synchronization Job, konfigurasikan bagian Source and Destination Settings, Destination Database and Table Settings, dan Synchronization Settings. Parameter dijelaskan dalam tabel berikut.

   • Source and Destination Settings

     Parameter	Deskripsi
     Job Name	Nama tugas sinkronisasi. Sistem menghasilkan nama berdasarkan jenis sumber data dan waktu pembuatan. Anda dapat mengubah nama sesuai kebutuhan.
     Data Source	Pilih sumber data SLS yang sudah ada, atau buat yang baru.
     Destination Type	Untuk kluster Enterprise Edition, Basic Edition, dan Data Lakehouse Edition, pilih Data Warehouse - ADB Storage. Parameter ini tidak berlaku untuk kluster Data Warehouse Edition.
     AnalyticDB for MySQL Account	Akun database untuk kluster AnalyticDB for MySQL.
     AnalyticDB for MySQL Password	Password untuk akun database AnalyticDB for MySQL.

   • Destination Database and Table Settings

     Parameter	Deskripsi
     Database Name	Nama database di kluster AnalyticDB for MySQL.
     Table Name	Nama tabel tujuan di kluster AnalyticDB for MySQL.
     Source Data Preview	Klik View Latest 10 Logstore Data Entries untuk melihat pratinjau 10 entri terbaru dari logstore SLS sumber.
     Schema Field Mapping	Field tabel kluster AnalyticDB for MySQL secara otomatis mengisi field Destination Field dan Source Field. Jika pemetaan antara Destination Field dan Source Field salah, ubah secara manual. Misalnya, jika sebuah field di tabel data kluster AnalyticDB for MySQL bernama name dan field data sumber di SLS bernama user_name, sistem secara otomatis mengisi Source Field dan Destination Field dengan name. Dalam kasus ini, Anda harus mengubah secara manual Source Field menjadi user_name.

   • Synchronization Settings

     Parameter	Deskripsi
     Start Offset	Menentukan titik waktu mulai tugas sinkronisasi mengonsumsi data SLS. Misalnya, jika Anda mengatur Start Offset ke 2024-04-09 13:10, sistem mulai mengonsumsi data dari catatan pertama yang dibuat setelah pukul 13:10 pada 9 April 2024.
     Dirty Data Processing Mode	Sinkronisasi dapat gagal jika tipe data field sumber tidak kompatibel dengan tipe field tujuan yang sesuai. Misalnya, jika data sumber adalah abc dan tipe field tujuan adalah int, terjadi error konversi sehingga sinkronisasi gagal. Mode berikut tersedia untuk menangani dirty data: Stop Synchronization (Default): Tugas sinkronisasi berhenti. Anda harus mengubah tipe field tujuan atau memilih mode penanganan dirty data lain, lalu restart tugas. Treat as Null: Dirty data dikonversi menjadi NULL dan ditulis ke tabel tujuan. Dirty data asli dibuang. Misalnya, jika satu baris di SLS memiliki tiga field (col1, col2, dan col3) dan data di col2 merupakan dirty data, nilai col2 diatur menjadi NULL, sedangkan data di col1 dan col3 ditulis seperti biasa.
     Convert UNIX Timestamp into Datetime	Jika field SLS sumber berupa Unix timestamp (misalnya, 1710604800) dan tipe field tujuan adalah DATETIME atau TIMESTAMP, aktifkan fitur ini untuk mengonversi nilainya. Setelah Anda mengaktifkan opsi ini, pilih presisi timestamp sumber: Timestamp Accurate to Seconds, Timestamp Accurate to Milliseconds, atau Timestamp Accurate to Microseconds.

4. Setelah mengonfigurasi semua parameter, klik Submit.

Langkah 4: Mulai tugas sinkronisasi data

1. Pada halaman Data Synchronization, temukan tugas sinkronisasi yang telah Anda buat. Di kolom Actions, klik Start.

2. Di pojok kanan atas, klik Search. Tugas berhasil dimulai ketika statusnya berubah menjadi Running.

Langkah 5: Kelola tugas sinkronisasi

Di halaman Data Synchronization, Anda dapat melakukan operasi berikut di kolom Actions.