Security Center：Impor data log Tencent Cloud

Buat tugas untuk mengirim data dari CLS melalui konsumsi protokol Kafka

1. Aktifkan konsumsi protokol Kafka

   1. Buka halaman Tencent Cloud - Log Topic dan pilih Region penyimpanan log yang sesuai di pojok kiri atas.

   2. Klik nama Log Topic target untuk membuka halaman detailnya.

      • Web Application Firewall: Biasanya ditemukan di bawah Logset plain. Untuk detailnya, lihat Kirim log ke CLS.

   3. Di panel navigasi sebelah kiri, klik Consumption over Kafka. Pada tab Basic Information, klik Edit di sebelah kanan dan aktifkan sakelar Current Status. Konfigurasikan pengaturan seperti dijelaskan di bawah ini, lalu klik OK.

      • Timestamp Range: History + Latest.

      • Consumer Data Format: JSON (pilih Disable Escape) atau Raw Content.

      • Data Compression Format: No Compression.

      • Public Access: Enabled.

      • Service Log: Enabled.

2. Dapatkan informasi yang diperlukan untuk menghubungkan ke layanan Kafka

   Setelah konfigurasi selesai, lihat parameter konsumen untuk mendapatkan informasi konfigurasi yang diperlukan: alamat layanan publik (endpoint) CLS, username, dan consumer topic. Catat informasi ini untuk digunakan saat Anda Mengotorisasi Security Center untuk mengakses COS dan Membuat tugas impor data.

   Parameter	Deskripsi
   Public endpoint	Format: kafkaconsumer-${region}.cls.tencentcs.com:9096.
   topic	Topik Kafka.
   username	Diatur ke ${LogSetID}, yaitu ID Logset.
   password	Diatur ke ${SecretId}#${SecretKey}.

Atur pasangan AccessKey

• Gunakan kunci akun utama: Buka halaman Tencent Cloud - API Key Management dan klik Create Key. Simpan dengan aman SecretId dan SecretKey yang dihasilkan dengan mengklik Download CSV File atau menyalinnya ke file lokal. Untuk informasi lebih lanjut, lihat Managing Main Account Access Keys.

  Catatan

  Anda dapat menggunakan kunci API atau kunci proyek.

• Gunakan kunci sub-akun:

  1. Di halaman Tencent Cloud - Policies di konsol CAM, buat kebijakan dengan izin minimum yang diperlukan untuk memastikan keamanan kunci. Untuk informasi lebih lanjut, lihat Authorization for Kafka Protocol Consumption dan Create Custom Policy by Policy Syntax.

     {
         "version": "2.0",
         "statement": [{
             "action": [
                 "cls:PreviewKafkaRecharge",
                 "cls:CreateKafkaRecharge",
                 "cls:ModifyKafkaRecharge"
             ],
             "resource": "*",
             "effect": "allow"
         }]
     }

  2. Buka halaman Tencent Cloud - User List dan pilih sub-account yang sudah ada atau buat yang baru.

     • Lampirkan kebijakan akses yang Anda buat pada langkah sebelumnya.

     • Di halaman User Details, buka tab API Key dan klik Create Key. Simpan dengan aman SecretId dan SecretKey yang dihasilkan dengan mengklik Download CSV File atau menyalinnya ke file lokal. Untuk informasi lebih lanjut, lihat Managing Sub-account Access Keys.

Otorisasi Security Center untuk mengakses Kafka

1. Buka Security Center Console > System Settings > Feature Settings. Di pojok kiri atas halaman, pilih Region tempat aset Anda berada: Chinese Mainland atau Outside Chinese Mainland.

2. Di tab Multi-cloud Configuration Management, pilih Multi-cloud Assets, lalu klik Grant Permission. Di panel yang terbuka, konfigurasikan parameter berikut:

   • Vendor: Pilih Apache.

   • Connection Type: Pilih Kafka.

   • Endpoint: Masukkan alamat akses publik untuk konsumsi protokol Kafka dari Tencent Cloud.

   • Username: Masukkan username untuk konsumsi protokol Kafka dari Tencent Cloud.

   • Password: Informasi kunci akun yang digabungkan (SecretId#SecretKey) dari Atur pasangan AccessKey.

   • Communication Protocol: sasl_plaintext.

   • SASL Authentication Mechanism: plain.

3. Konfigurasi kebijakan sinkronisasi

   AK Service Status Check: Atur interval pemeriksaan otomatis oleh Security Center terhadap validitas pasangan AccessKey akun Tencent Cloud. Anda dapat memilih Disable untuk menonaktifkan pemeriksaan ini.

Buat tugas impor data

1. Buat sumber data

   Buat sumber data Agentic SOC khusus untuk data log Tencent Cloud Anda. Jika sudah dibuat, lewati langkah ini.

   1. Buka Security Center Console > Agentic SOC > Integration Center. Di pojok kiri atas halaman, pilih Region tempat aset Anda berada: Chinese Mainland atau Outside Chinese Mainland.

   2. Di tab Data Source, buat sumber data untuk menerima log dari Tencent Cloud. Untuk petunjuk spesifik, lihat Buat sumber data: Log tidak terhubung ke Log Service (SLS)Sumber data.

      • Source Data Source Type: Anda dapat memilih User Log Service atau Agentic SOC Dedicated Collection Channel.

      • Add Instances: Kami menyarankan membuat Logstore baru untuk mengisolasi data.

2. Di tab Data Import, klik Add Data. Di panel yang terbuka, konfigurasikan parameter berikut:

   • Endpoint: Pilih alamat akses publik untuk konsumsi protokol Kafka dari Tencent Cloud.

   • Topics: Pilih topik konsumen untuk konsumsi protokol Kafka dari Tencent Cloud.

   • Value Type: Ini sesuai dengan Consumer Data Format yang Anda konfigurasikan untuk tugas pengiriman data CLS.

     Format pengiriman	Jenis nilai
     JSON	json
     Raw Content	text

3. Konfigurasi sumber data target

   • Data Source Name: Pilih sumber data yang Anda buat di Langkah 1.

   • Target Logstore: Sistem secara otomatis mengambil Logstore di bawah sumber data yang dipilih.

4. Klik OK untuk menyimpan konfigurasi. Setelah konfigurasi impor selesai, Security Center secara otomatis menarik log dari Tencent Cloud.

Buat tugas untuk mengirim data dari CLS ke COS

1. Buat tugas pengiriman COS:

   1. Buka halaman Tencent Cloud - Log Topic dan pilih Region penyimpanan log yang sesuai di pojok kiri atas.

   2. Klik nama Log Topic target untuk membuka halaman detailnya.

      • Web Application Firewall: Biasanya ditemukan di bawah Logset waf_post_logset. Untuk detailnya, lihat Kirim log ke CLS.

   3. Di panel navigasi sebelah kiri, pilih Shipping to COS, lalu klik Add Shipping Configuration. Konfigurasikan parameter seperti dijelaskan di bawah ini:

      Catatan

      Jika Anda melihat halaman konfirmasi arsip log, klik Still Ship To COS untuk melanjutkan.

      • Konfigurasi Dasar:

        • Time range: Untuk mendukung analisis data, jangan atur waktu akhir.

        • File Size: Tetapkan nilai pemicu untuk pengiriman log. Saat ukuran log terakumulasi mencapai nilai ini, log akan dikirim ke COS.

        • Shipping Interval: Tetapkan interval waktu untuk pengiriman log. Log yang dihasilkan dalam setiap interval dikompresi dan dikirim ke COS.

        Penting

        Kondisi File Size dan Shipping Interval memiliki hubungan logika OR. Pengiriman log dipicu ketika salah satu kondisi terpenuhi.

      • Konfigurasi Bucket:

        • COS Bucket: Pilih atau buat Bucket untuk menyimpan log dari produk Tencent Cloud seperti WAF dan CFW.

        • File naming: Kami menyarankan memilih Delivery time naming agar data mudah dibedakan.

        • File Compression: Pilih gzip atau No Compression.

          Peringatan

          Security Center tidak mendukung penguraian file log dengan kompresi lzop atau snappy.

        • COS Storage Class: Pilih Standard. Untuk informasi lebih lanjut, lihat Storage Class Overview.

      • Konfigurasi Lanjutan:

        • Consumer Data Format: Pilih JSON.

        • JSON: Pilih Disable Escape.

2. Dapatkan nama domain akses (Endpoint) Bucket COS.

   Buka halaman Tencent Cloud - Bucket List dan temukan COS Bucket yang Anda konfigurasikan pada langkah sebelumnya. Buka halaman detail bucket dan dapatkan nama domain dari bagian Domain Information.

   Penting

   • Pastikan nama domain tidak menyertakan nama bucket. Formatnya adalah cos.${region}.myqcloud.com.

   • Catat informasi ini untuk digunakan saat Anda Mengotorisasi Security Center untuk mengakses COS dan Membuat tugas impor data.

   

Atur pasangan AccessKey

• Gunakan kunci akun utama: Buka halaman Tencent Cloud - API Key Management dan klik Create Key. Simpan dengan aman SecretId dan SecretKey yang dihasilkan dengan mengklik Download CSV File atau menyalinnya ke file lokal. Untuk informasi lebih lanjut, lihat Managing Main Account Access Keys.

  Catatan

  Anda dapat menggunakan kunci API atau kunci proyek.

• Gunakan kunci sub-akun:

  1. Di halaman Tencent Cloud - Policies di konsol CAM, buat kebijakan dengan izin minimum yang diperlukan untuk memastikan keamanan kunci. Untuk informasi lebih lanjut, lihat Authorization for Shipping to COS dan Create Custom Policy by Policy Syntax.

     {
         "version": "2.0",
         "statement": [
             {
                 "effect": "allow",
                 "action": [
                     "cls:DescribeTopics",
                     "cls:DescribeLogsets",
                     "cls:DescribeIndex",
                     "cls:CreateShipper"
                 ],
                 "resource": "*"
             },
             {
                 "effect": "allow",
                 "action": [
                     "tag:DescribeResourceTagsByResourceIds",
                     "tag:DescribeTagKeys",
                     "tag:DescribeTagValues", 
                     "cls:ModifyShipper",
                     "cls:DescribeShippers",
                     "cls:DeleteShipper",
                     "cls:DescribeShipperTasks",
                     "cls:RetryShipperTask",
                     "cls:DescribeShipperPreview",
                     "cos:GetService",
                     "cam:ListAttachedRolePolicies",
                     "cam:AttachRolePolicy",
                     "cam:CreateRole",
                     "cam:DescribeRoleList"
                 ],
                 "resource": "*"
             }
         ]
     }

  2. Buka halaman Tencent Cloud - User List dan pilih sub-account yang sudah ada atau buat yang baru.

     • Lampirkan kebijakan akses yang Anda buat pada langkah sebelumnya.

     • Di halaman User Details, buka tab API Key dan klik Create Key. Simpan dengan aman SecretId dan SecretKey yang dihasilkan dengan mengklik Download CSV File atau menyalinnya ke file lokal. Untuk informasi lebih lanjut, lihat Managing Sub-account Access Keys.

Otorisasi Security Center untuk mengakses COS

1. Buka Security Center Console > System Settings > Feature Settings. Di pojok kiri atas halaman, pilih Region tempat aset Anda berada: Chinese Mainland atau Outside Chinese Mainland.

2. Di tab Multi-cloud Configuration Management, pilih Multi-cloud Assets, klik Grant Permission, lalu pilih IDC dari dropdown. Di panel yang terbuka, konfigurasikan parameter berikut:

   • Vendor: Pilih AWS-S3.

   • Connection Type: Pilih S3.

   • Endpoint: Dapatkan nama domain akses (Endpoint) Bucket COS.

   • Access Key ID/Secret Access Key: Kunci dari Atur pasangan AccessKey.

3. Konfigurasi kebijakan sinkronisasi

   AK Service Status Check: Atur interval pemeriksaan otomatis oleh Security Center terhadap validitas pasangan AccessKey akun Tencent Cloud. Anda dapat memilih Disable untuk menonaktifkan pemeriksaan ini.

Buat tugas impor data

1. Buka Security Center Console > Agentic SOC > Integration Center. Di pojok kiri atas halaman, pilih Region tempat aset Anda berada: Chinese Mainland atau Chinese Mainland.

2. Di tab Data Import, klik Add Data. Di panel yang terbuka, konfigurasikan parameter berikut:

   • Endpoint: Dapatkan nama domain akses (Endpoint) Bucket COS.

   • Bucket: COS Bucket

3. Konfigurasi sumber data target

   • Data Source Name: Pilih sumber data kustom dengan status normal (Custom Log Capability/Agentic SOC Dedicated Data Collection Channel). Jika tidak ada sumber data yang sesuai, lihat Siapkan sumber data untuk membuat yang baru.

   • Target Logstore: Sistem secara otomatis mengambil Logstore di bawah sumber data yang dipilih.

4. Klik OK untuk menyimpan konfigurasi. Setelah konfigurasi impor selesai, Security Center secara otomatis menarik log dari Tencent Cloud.