AnalyticDB:Sinkronisasi data SLS dengan menggunakan fitur sinkronisasi data

Langkah 1: Buat sumber data dan tautan data

1. Login ke Konsol Simple Log Service.

2. Pada daftar Proyek, klik proyek target. Di panel navigasi sebelah kiri, klik , buka tab Logstores, lalu perluas Logstore target.

3. Klik Data Processing > Export, lalu klik + di samping AnalyticDB.

4. Pada kotak dialog Shipping Note yang muncul, pilih Create in AnalyticDB for MySQL Console.

   Pengiriman langsung mengirimkan semua data baru ke tujuan. Untuk memproses data (misalnya, dengan penyaringan, konversi format, atau pengayaan data) atau mengirimkan data historis, gunakan fitur Data Processing. Ini melibatkan pengalihan data ke Logstore sementara, lalu mengonfigurasi pengiriman langsung dari Logstore tersebut.

5. Pada halaman AnalyticDB for MySQL Log Synchronization, konfigurasikan parameter pada bagian Source and Destination Settings, Destination Database and Table Settings, dan Synchronization Settings.

   • Tabel berikut menjelaskan parameter pada bagian Source and Destination Settings.

     Parameter	Deskripsi
     Job Name	Nama tautan data. Sistem menghasilkan nama default berdasarkan jenis sumber data dan waktu saat ini. Ubah nama sesuai kebutuhan.
     Simple Log Service Project	Proyek SLS.
     Simple Log Service Logstore	Logstore SLS.
     Destination AnalyticDB for MySQL Cluster	Pilih kluster AnalyticDB for MySQL.
     AnalyticDB for MySQL Account	Akun database untuk kluster AnalyticDB for MySQL.
     AnalyticDB for MySQL Password	Kata sandi untuk akun database kluster AnalyticDB for MySQL.

   • Destination Database and Table Settings parameter:

     Parameter	Deskripsi
     Database Name	Nama database di kluster AnalyticDB for MySQL.
     Table Name	Nama tabel data di kluster AnalyticDB for MySQL.
     Source Data Preview	Klik View Latest 10 Logstore Data Entries untuk melihat 10 entri data terbaru dari Logstore SLS sumber.
     Schema Field Mapping	Sistem secara otomatis mengisi Destination Field dan Source Field dengan bidang dari tabel kluster AnalyticDB for MySQL. Jika pemetaan antara Destination Field dan Source Field salah, ubah secara manual. Misalnya, jika bidang di tabel kluster AnalyticDB for MySQL bernama name dan bidang yang sesuai di data SLS sumber bernama user_name, sistem secara otomatis mengisi kedua Destination Field dan Source Field dengan name. Dalam kasus ini, Anda harus mengubah Source Field menjadi user_name secara manual.

   • Tabel berikut menjelaskan parameter pada bagian Synchronization Settings.

     Parameter	Deskripsi
     Start Offset	Saat tugas sinkronisasi dimulai, sistem mulai mengonsumsi data SLS dari waktu yang ditentukan. Misalnya, jika Anda menetapkan Start Offset ke 2024-04-09 13:10, sistem mulai mengonsumsi data dari entri pertama setelah pukul 13:10 tanggal 9 April 2024.
     Dirty Data Processing Mode	Selama sinkronisasi data, jika tipe data bidang di tabel tujuan tidak sesuai dengan tipe data bidang yang sesuai dari data SLS sumber, sinkronisasi akan gagal. Misalnya, jika data sumber adalah abc tetapi tipe bidang tujuan adalah int, terjadi kesalahan konversi dan sinkronisasi gagal. Mode penanganan data kotor dapat berupa salah satu dari opsi berikut: Stop Synchronization (Default): Tugas sinkronisasi berhenti. Anda kemudian harus mengubah tipe bidang di tabel tujuan atau memilih mode penanganan lain, lalu me-restart tugas sinkronisasi. Treat as Null: Data dirty ditulis sebagai nilai NULL ke tabel tujuan, dan data dirty asli dibuang. Misalnya, jika satu baris data SLS memiliki tiga bidang (col1, col2, dan col3) dan bidang col2 berisi data dirty, nilai col2 dikonversi menjadi NULL dan ditulis ke tabel. Data untuk bidang col1 dan col3 ditulis secara normal.
     Convert UNIX Timestamp into Datetime	Jika bidang SLS sumber berupa timestamp Unix (misalnya, 1710604800) dan tipe bidang tujuan adalah DATETIME atau TIMESTAMP, aktifkan fitur ini untuk mengonversi timestamp. Setelah diaktifkan, Anda dapat memilih Timestamp Accurate to Seconds, Timestamp Accurate to Milliseconds, atau Timestamp Accurate to Microseconds berdasarkan presisi data SLS Anda.
     Job Resource Group	Pilih kelompok sumber daya khusus tugas untuk menjalankan tugas sinkronisasi inkremental. Penting Parameter ini wajib diisi hanya jika kluster AnalyticDB for MySQL berupa Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse.
     ACUs for Incremental Synchronization	Jumlah awal ACU untuk tugas sinkronisasi inkremental. Nilai ini harus berada dalam rentang [1, sumber daya komputasi maksimum kelompok sumber daya khusus tugas]. Setelah tautan data dibuat, AnalyticDB for MySQL secara otomatis menskalakan jumlah ACU yang digunakan untuk menjalankan tugas sinkronisasi inkremental berdasarkan beban kerja bisnis. Jumlah ACU dapat diskalakan hingga 64 atau diturunkan hingga 1. Penting Parameter ini wajib diisi hanya jika kluster AnalyticDB for MySQL berupa Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse.

6. Setelah mengonfigurasi parameter, klik Submit.

   Sistem kemudian secara otomatis membuat sumber data SLS dan tautan data di AnalyticDB for MySQL dan mengarahkan Anda ke halaman SLS/Kafka Data Synchronization di Konsol AnalyticDB for MySQL.

Langkah 2: Mulai tugas sinkronisasi

1. Pada kolom Actions tautan data target, klik Start.

2. Setelah tugas dimulai, klik Search di pojok kanan atas untuk memperbarui statusnya. Tugas berhasil dimulai ketika statusnya berubah menjadi Running.

Langkah 3: Kelola tugas sinkronisasi

Anda dapat melakukan operasi berikut di kolom Actions:

Langkah 1 (Opsional): Konfigurasi otorisasi RAM

Untuk menyinkronkan data SLS cross-account ke AnalyticDB for MySQL, Anda harus membuat peran RAM di akun sumber, memberikan izin yang diperlukan, lalu mengubah kebijakan kepercayaannya.

1. Buat peran RAM. Untuk informasi selengkapnya, lihat Buat peran RAM untuk akun Alibaba Cloud tepercaya.

   Catatan

   Untuk parameter Select Trusted Alibaba Cloud Account, pilih Other Alibaba Cloud Account dan masukkan ID akun Alibaba Cloud yang memiliki kluster AnalyticDB for MySQL. Untuk mendapatkan ID akun, login ke Account Center. Pada halaman Overview, temukan Account ID Anda.

2. Gunakan otorisasi presisi untuk memberikan izin AliyunAnalyticDBAccessingLogRolePolicy kepada peran RAM.

3. Ubah kebijakan kepercayaan peran RAM agar kluster AnalyticDB for MySQL milik akun Alibaba Cloud tertentu dapat mengasumsikan peran RAM ini.

   {
     "Statement": [
       {
         "Action": "sts:AssumeRole",
         "Effect": "Allow",
         "Principal": {
           "RAM": [
               "acs:ram::<Alibaba Cloud account ID>:root"
           ],
           "Service": [
               "<Alibaba Cloud account ID>@ads.aliyuncs.com"
           ]
         }
       }
     ],
     "Version": "1"
   }

   Catatan

   ID akun Alibaba Cloud adalah ID akun yang memiliki kluster AnalyticDB for MySQL, yang Anda tentukan di Langkah 1. Jangan sertakan tanda kurung sudut (<>) saat mengonfigurasi kebijakan.

Langkah 2: Buat sumber data

1. Login ke Konsol AnalyticDB for MySQL. Di pojok kiri atas konsol, pilih wilayah. Di panel navigasi sebelah kiri, klik Clusters. Temukan kluster yang ingin Anda kelola dan klik ID kluster tersebut.

2. Di panel navigasi sebelah kiri, klik Simple Log Service Data Ingestion > Data Sources.

3. Di pojok kanan atas, klik Create Data Source.

4. Pada halaman Create Data Source, konfigurasikan parameter. Tabel berikut menjelaskan parameter tersebut:

   Parameter	Deskripsi
   Data Source Type	Pilih SLS.
   Data Source Name	Sistem menghasilkan nama berdasarkan jenis sumber data dan waktu saat ini. Ubah nama sesuai kebutuhan.
   Data Source Description	Deskripsi sumber data, seperti skenario aplikasi atau batasan bisnisnya.
   Deployment Mode	Hanya Alibaba Cloud Instance yang didukung.
   Region of Simple Log Service Project	Wilayah tempat proyek SLS berada. Catatan Hanya wilayah tempat kluster AnalyticDB for MySQL berada yang didukung.
   Across Alibaba Cloud Accounts	Kluster AnalyticDB for MySQL dapat menyinkronkan data SLS dari akun Alibaba Cloud yang sama atau dari akun Alibaba Cloud lain (lintas akun). No: Menyinkronkan data SLS dari akun Alibaba Cloud saat ini ke kluster AnalyticDB for MySQL. Yes: Menyinkronkan data SLS dari akun Alibaba Cloud lain ke kluster AnalyticDB for MySQL. Saat memilih Yes, konfigurasikan otorisasi RAM dan tentukan parameter Alibaba Cloud Account dan RAM Role. Untuk informasi selengkapnya tentang cara mengonfigurasi otorisasi RAM, lihat Konfigurasi otorisasi RAM. Catatan Alibaba Cloud Account: ID akun Alibaba Cloud tempat proyek SLS berada. RAM Role: Peran RAM milik akun Alibaba Cloud proyek SLS. Ini adalah peran RAM yang dibuat di Langkah 1 Konfigurasi otorisasi RAM.
   Simple Log Service Project	Proyek SLS sumber.
   Simple Log Service Logstore	Logstore SLS sumber.

5. Setelah mengonfigurasi parameter, klik Create.

Langkah 3: Buat tautan sinkronisasi

1. Di panel navigasi sebelah kiri, klik Simple Log Service Data Ingestion > Data Synchronization.

2. Di pojok kanan atas, klik Create Synchronization Job.

3. Pada halaman Create Synchronization Job, konfigurasikan Source and Destination Settings, Destination Database and Table Settings, dan Synchronization Settings. Tabel berikut menjelaskan parameter tersebut.

   • Source and Destination Settings parameter:

     Parameter	Deskripsi
     Job Name	Nama tautan data. Sistem menghasilkan nama default berdasarkan jenis sumber data dan waktu saat ini. Ubah nama sesuai kebutuhan.
     Data Source	Pilih sumber data SLS yang sudah ada atau buat yang baru.
     Destination Type	Untuk kluster Edisi Perusahaan, Edisi Dasar, dan Edisi Data Lakehouse, pilih Data Warehouse-ADB Storage. Anda tidak perlu menentukan parameter ini untuk kluster Edisi Data Warehouse.
     AnalyticDB for MySQL Account	Akun database untuk kluster AnalyticDB for MySQL.
     AnalyticDB for MySQL Password	Kata sandi untuk akun database kluster AnalyticDB for MySQL.

   • Parameter Destination Database and Table Settings:

     Parameter	Deskripsi
     Database Name	Nama database di kluster AnalyticDB for MySQL.
     Table Name	Nama tabel data di kluster AnalyticDB for MySQL.
     Source Data Preview	Klik View Latest 10 Logstore Data Entries untuk melihat 10 entri data terbaru dari Logstore SLS sumber.
     Schema Field Mapping	Sistem secara otomatis mengisi Destination Field dan Source Field dengan bidang dari tabel kluster AnalyticDB for MySQL. Jika pemetaan antara Destination Field dan Source Field salah, ubah secara manual. Misalnya, jika bidang di tabel kluster AnalyticDB for MySQL bernama name dan bidang yang sesuai di data SLS sumber bernama user_name, sistem secara otomatis mengisi kedua Destination Field dan Source Field dengan name. Dalam kasus ini, Anda harus mengubah Source Field menjadi user_name secara manual.

   • Parameter Synchronization Settings:

     Parameter	Deskripsi
     Start Offset	Saat tugas sinkronisasi dimulai, sistem mulai mengonsumsi data SLS dari waktu yang ditentukan. Misalnya, jika Anda menetapkan Start Offset ke 2024-04-09 13:10, sistem mulai mengonsumsi data dari entri pertama setelah pukul 13:10 tanggal 9 April 2024.
     Dirty Data Processing Mode	Selama sinkronisasi data, jika tipe data bidang di tabel tujuan tidak sesuai dengan tipe data bidang yang sesuai dari data SLS sumber, sinkronisasi akan gagal. Misalnya, jika data sumber adalah abc tetapi tipe bidang tujuan adalah int, terjadi kesalahan konversi dan sinkronisasi gagal. Mode penanganan data kotor dapat berupa salah satu opsi berikut: Stop Synchronization (Default): Tugas sinkronisasi berhenti. Anda kemudian harus mengubah tipe bidang di tabel tujuan atau memilih mode penanganan lain, lalu me-restart tugas sinkronisasi. Treat as Null: Data dirty ditulis sebagai nilai NULL ke tabel tujuan, dan data dirty asli dibuang. Misalnya, jika satu baris data SLS memiliki tiga bidang (col1, col2, dan col3) dan bidang col2 berisi data dirty, nilai col2 dikonversi menjadi NULL dan ditulis ke tabel. Data untuk bidang col1 dan col3 ditulis secara normal.
     Convert UNIX Timestamp into Datetime	Jika bidang SLS sumber berupa timestamp Unix (misalnya, 1710604800) dan tipe bidang tujuan adalah DATETIME atau TIMESTAMP, aktifkan fitur ini untuk mengonversi timestamp. Setelah diaktifkan, Anda dapat memilih Timestamp Accurate to Seconds, Timestamp Accurate to Milliseconds, atau Timestamp Accurate to Microseconds berdasarkan presisi data SLS Anda.

4. Setelah mengonfigurasi parameter, klik Submit.

Langkah 4: Mulai tugas sinkronisasi data

1. Pada halaman Data Synchronization, pilih tugas sinkronisasi data yang telah dibuat. Di kolom Actions, klik Start.

2. Klik Search di pojok kanan atas. Tugas sinkronisasi berhasil dimulai ketika statusnya berubah menjadi Running.

Langkah 5: Kelola sumber data

Pada halaman Data Synchronization, Anda dapat melakukan tindakan berikut di kolom Actions.