Impor data log Tencent Cloud ke Security Center. Integrasikan log WAF dan Cloud Firewall menggunakan CLS untuk analitik keamanan multi-cloud terpadu. Gunakan CKafka atau COS untuk mentransfer log ke Alibaba Cloud. - Security Center

Dalam lingkungan multi-cloud, log keamanan yang tersebar menyulitkan pendeteksian ancaman dan tanggapan insiden secara terpadu. Cloud Threat Detection and Response (CTDR) dari Security Center memusatkan impor dan analisis log keamanan dari Web Application Firewall (WAF) Tencent Cloud untuk manajemen keamanan terpadu di seluruh lingkungan cloud Anda.

Cara kerja

Agregasi log di sumber: Log dari produk Tencent Cloud, seperti WAF, dikonsolidasikan ke dalam Tencent Cloud Log Service (CLS).
Ekspor data: Log diekspor dari CLS ke TDMQ for CKafka atau Cloud Object Storage (COS), yang berfungsi sebagai perantara untuk transfer data lintas cloud.
Impor data lintas cloud: Platform CTDR berlangganan dan menarik data log dari antrian pesan atau COS menggunakan protokol Kafka atau S3 standar. Data tersebut kemudian dikirim ke sumber data yang ditentukan.
Ingesti dan normalisasi: Anda membuat Kebijakan Ingesti di platform CTDR dan menerapkan Aturan Standardisasi. Kebijakan dan aturan ini mengurai dan menormalisasi log mentah sebelum menyimpannya di gudang data.

Log yang didukung

Solusi ini hanya mendukung pengimporan Web Application Firewall (WAF) Alert Log dari Tencent Cloud.

Kirim log ke CLS

Pertama, konsolidasikan log keamanan dari produk Tencent Cloud Anda ke dalam CLS.

Web Application Firewall

Catatan

Untuk petunjuk lengkap, lihat dokumentasi resmi Tencent Cloud: Log Shipping.

Otorisasi dan aktifkan layanan log
1. Masuk ke atau . Buka halaman Access Log > Log shipping atau halaman Attack Log > Log shipping. Klik Configure dan ikuti petunjuk untuk menyelesaikan otorisasi.
2. Setelah diotorisasi, klik Create pada halaman LogShipping.
  Penting
  Setelah otorisasi, sistem secara otomatis membuat Logset bernama waf_post_logset.
Aktifkan pengiriman log
Aktifkan pengiriman log untuk log yang ingin Anda kumpulkan. Untuk informasi lebih lanjut, lihat Enabling Log Shipping.
- Aktifkan Pengiriman Log Serangan: Di panel navigasi sebelah kiri Konsol WAF, pilih Instance Management. Pada halaman detail instans, aktifkan sakelar Attack log shipping.
- Aktifkan Pengiriman Log Akses:
  1. Di panel navigasi sebelah kiri Konsol WAF, pilih Connection Management > Domain names. Di kolom Actions untuk domain tersebut, klik More > Log shipping.
  2. Pada jendela pengaturan lanjutan, pilih Delivery Target dan klik Save.

Pilih metode impor

Pilih metode yang paling sesuai dengan kebutuhan bisnis Anda, dengan mempertimbangkan perbedaan dalam kinerja real-time, biaya, dan kompleksitas konfigurasi. Untuk mengimpor log CLS Tencent Cloud ke Security Center, Anda dapat memilih antara konsumsi protokol Kafka dan COS.

Item	Konsumsi protokol Kafka	COS
Kinerja real-time	Hampir real-time.	Latensi tingkat menit.
Kompleksitas konfigurasi	Rendah. Memerlukan konfigurasi konsumsi protokol Kafka.	Rendah. Memerlukan konfigurasi tugas pengiriman COS.
Struktur biaya	Tencent Cloud: Biaya Layanan Log. Alibaba Cloud: Biaya lalu lintas ingesti log CTDR.	Tencent Cloud: Biaya penyimpanan COS. Alibaba Cloud: Biaya lalu lintas ingesti log CTDR.
Kasus penggunaan	Persyaratan real-time tinggi untuk analisis log, seperti komputasi keamanan berbasis aliran atau tanggapan peringatan cepat.	Persyaratan real-time rendah, dengan fokus pada efisiensi biaya, pengarsipan log, atau analisis offline batch.

Konfigurasi impor data

Impor data menggunakan konsumsi protokol Kafka

Langkah 1: Konfigurasi konsumsi protokol Kafka dan dapatkan Pasangan Kunci Akses di Tencent Cloud

Buat tugas untuk mengirim data dari CLS melalui konsumsi protokol Kafka

Catatan

Untuk petunjuk lengkap, lihat dokumentasi resmi Tencent Cloud: Consume Logs over Kafka.

Aktifkan konsumsi protokol Kafka
1. Buka halaman Tencent Cloud - Log Topic dan pilih Wilayah penyimpanan log yang sesuai di pojok kiri atas.
2. Klik nama Log Topic target untuk membuka halaman detailnya.
  - Web Application Firewall: Biasanya ditemukan di bawah Logset plain. Untuk detailnya, lihat Kirim log ke CLS.
3. Di panel navigasi sebelah kiri, klik Consumption over Kafka. Pada tab Basic Information, klik Edit di sebelah kanan dan aktifkan sakelar Current Status. Konfigurasikan pengaturan seperti dijelaskan di bawah ini, lalu klik OK.
  - Timestamp Range: History + Latest.
  - Consumer Data Format: JSON (pilih Disable Escape) atau Raw Content.
  - Data Compression Format: No Compression.
  - Public Access: Diaktifkan.
  - Service Log: Diaktifkan.
Dapatkan informasi yang diperlukan untuk menghubungkan ke layanan Kafka
Setelah konfigurasi selesai, lihat parameter konsumen untuk mendapatkan informasi konfigurasi yang diperlukan: alamat layanan publik (endpoint) CLS, username, dan consumer topic. Catat informasi ini untuk digunakan saat Anda Memberi otorisasi Security Center untuk mengakses COS dan Membuat tugas impor data.
Parameter
Deskripsi
Public endpoint
Format: kafkaconsumer-${region}.cls.tencentcs.com:9096.
topic
Topik Kafka.
username
Diatur ke ${LogSetID}, yaitu ID Logset.
password
Diatur ke ${SecretId}#${SecretKey}.

Atur Pasangan Kunci Akses

Gunakan kunci akun utama: Buka halaman Tencent Cloud - API Key Management dan klik Create Key. Simpan dengan aman SecretId dan SecretKey yang dihasilkan dengan mengklik Download CSV File atau menyalinnya ke file lokal. Untuk informasi lebih lanjut, lihat Managing Main Account Access Keys.
Catatan
Anda dapat menggunakan kunci API atau kunci proyek.
Gunakan kunci sub-akun:
1. Di halaman Tencent Cloud - Policies di konsol CAM, buat kebijakan dengan izin minimum yang diperlukan untuk memastikan keamanan kunci. Untuk informasi lebih lanjut, lihat Authorization for Kafka Protocol Consumption dan Create Custom Policy by Policy Syntax.
```
{
    "version": "2.0",
    "statement": [{
        "action": [
            "cls:PreviewKafkaRecharge",
            "cls:CreateKafkaRecharge",
            "cls:ModifyKafkaRecharge"
        ],
        "resource": "*",
        "effect": "allow"
    }]
}
```
2. Buka halaman Tencent Cloud - User List dan pilih sub-account yang sudah ada atau buat yang baru.
  - Lampirkan kebijakan akses yang Anda buat pada langkah sebelumnya.
  - Di halaman User Details, buka tab API Key dan klik Create Key. Simpan dengan aman SecretId dan SecretKey yang dihasilkan dengan mengklik Download CSV File atau menyalinnya ke file lokal. Untuk informasi lebih lanjut, lihat Managing Sub-account Access Keys.

Langkah 2: Konfigurasi impor log Kafka di Alibaba Cloud

Beri otorisasi Security Center untuk mengakses Kafka

Buka Konsol Security Center > Pengaturan Sistem > Pengaturan Fitur. Di pojok kiri atas halaman, pilih Wilayah tempat aset Anda berada: Chinese Mainland atau Outside Chinese Mainland.
Pada tab Multi-cloud Configuration Management, pilih Multi-cloud Assets, lalu klik Grant Permission. Di panel yang muncul, konfigurasikan parameter berikut:
- Vendor: Pilih Apache.
- Jenis Koneksi: Pilih Kafka.
- Endpoint: Masukkan alamat akses publik untuk konsumsi protokol Kafka dari Tencent Cloud.
- Username: Masukkan username untuk konsumsi protokol Kafka dari Tencent Cloud.
- Password: Informasi kunci akun yang digabungkan (SecretId#SecretKey) dari Atur Pasangan Kunci Akses.
- Protokol Komunikasi: sasl_plaintext.
- Mekanisme Otentikasi SASL: plain.
Konfigurasi kebijakan sinkronisasi
AK Service Status Check: Atur interval di mana Security Center secara otomatis memeriksa validitas Pasangan Kunci Akses akun Tencent Cloud. Anda dapat memilih Disable untuk menonaktifkan pemeriksaan ini.

Buat tugas impor data

Buat sumber data
Buat sumber data CTDR khusus untuk data log Tencent Cloud Anda. Jika sudah membuatnya, lewati langkah ini.
1. Buka Konsol Security Center > CTDR > Pusat Integrasi. Di pojok kiri atas halaman, pilih Wilayah tempat aset Anda berada: Chinese Mainland atau Outside Chinese Mainland.
2. Pada tab Data Source, buat sumber data untuk menerima log dari Tencent Cloud. Untuk petunjuk spesifik, lihat Buat sumber data: Log tidak terhubung ke Layanan Log (SLS)Sumber data.
  - Source Data Source Type: Anda dapat memilih User Log Service atau CTDR-Dedicated Channel.
  - Add Instances: Kami menyarankan membuat Logstore baru untuk mengisolasi data.
Pada tab Data Import, klik Add Data. Di panel yang muncul, konfigurasikan parameter berikut:
- Endpoint: Pilih alamat akses publik untuk konsumsi protokol Kafka dari Tencent Cloud.
- Topics: Pilih topik konsumen untuk konsumsi protokol Kafka dari Tencent Cloud.
- Jenis Nilai: Ini sesuai dengan Consumer Data Format yang Anda konfigurasikan untuk tugas pengiriman data CLS.
  Format pengiriman
  Jenis nilai
  JSON
  json
  Raw Content
  text
Konfigurasi sumber data target
- Nama Sumber Data: Pilih sumber data yang Anda buat di Langkah 1.
- Logstore Target: Sistem secara otomatis mengambil Logstore di bawah sumber data yang dipilih.
Klik OK untuk menyimpan konfigurasi. Setelah konfigurasi impor selesai, Security Center secara otomatis menarik log dari Tencent Cloud.

Impor data menggunakan COS

Langkah 1: Siapkan gudang data COS dan dapatkan Pasangan Kunci Akses di Tencent Cloud

Buat tugas untuk mengirim data dari CLS ke COS

Catatan

Untuk petunjuk lengkap, lihat dokumentasi resmi Tencent Cloud: Create a Shipping Task to COS.

Buat tugas pengiriman COS:
1. Buka halaman Tencent Cloud - Log Topic dan pilih Wilayah penyimpanan log yang sesuai di pojok kiri atas.
2. Klik nama Log Topic target untuk membuka halaman detailnya.
  - Web Application Firewall: Biasanya ditemukan di bawah Logset waf_post_logset. Untuk detailnya, lihat Kirim log ke CLS.
3. Di panel navigasi sebelah kiri, pilih Shipping to COS, lalu klik Add Shipping Configuration. Konfigurasikan parameter seperti dijelaskan di bawah ini:
  Catatan
  Jika Anda melihat halaman konfirmasi pengarsipan log, klik Still Ship To COS untuk melanjutkan.
  - Konfigurasi Dasar:
    - Time range: Untuk mendukung analisis data, jangan atur waktu akhir.
    - File Size: Tetapkan nilai pemicu untuk pengiriman log. Saat ukuran log terakumulasi mencapai nilai ini, log akan dikirim ke COS.
    - Shipping Interval: Tetapkan interval waktu untuk pengiriman log. Log yang dihasilkan dalam setiap interval dikompresi dan dikirim ke COS.
    Penting
    Kondisi Ukuran File dan Interval Pengiriman memiliki hubungan logis OR. Pengiriman log dipicu ketika salah satu kondisi terpenuhi.
  - Konfigurasi Bucket:
    - COS Bucket: Pilih atau buat Bucket untuk menyimpan log dari produk Tencent Cloud seperti WAF dan CFW.
    - File naming: Kami menyarankan memilih Delivery time naming agar mudah membedakan data.
    - File Compression: Pilih gzip atau No Compression.
      Peringatan
      Security Center tidak mendukung penguraian file log dengan kompresi lzop atau snappy.
    - COS Storage Class: Pilih Standard. Untuk informasi lebih lanjut, lihat Storage Class Overview.
  - Konfigurasi Lanjutan:
    - Consumer Data Format: Pilih JSON.
    - JSON: Pilih Disable Escape.
Dapatkan nama domain akses (Endpoint) Bucket COS.
Buka halaman Tencent Cloud - Bucket List dan temukan COS Bucket yang Anda konfigurasi pada langkah sebelumnya. Buka halaman detail bucket dan dapatkan nama domain dari bagian Domain Information.
Penting
- Pastikan nama domain tidak menyertakan nama bucket. Formatnya adalah cos.${region}.myqcloud.com.
- Catat informasi ini untuk digunakan saat Anda Memberi otorisasi Security Center untuk mengakses COS dan Membuat tugas impor data.

Atur Pasangan Kunci Akses

Gunakan kunci akun utama: Buka halaman Tencent Cloud - API Key Management dan klik Create Key. Simpan dengan aman SecretId dan SecretKey yang dihasilkan dengan mengklik Download CSV File atau menyalinnya ke file lokal. Untuk informasi lebih lanjut, lihat Managing Main Account Access Keys.
Catatan
Anda dapat menggunakan kunci API atau kunci proyek.

Gunakan kunci sub-akun:

Di halaman Tencent Cloud - Policies di konsol CAM, buat kebijakan dengan izin minimum yang diperlukan untuk memastikan keamanan kunci. Untuk informasi lebih lanjut, lihat Authorization for Shipping to COS dan Create Custom Policy by Policy Syntax.

{
    "version": "2.0",
    "statement": [
        {
            "effect": "allow",
            "action": [
                "cls:DescribeTopics",
                "cls:DescribeLogsets",
                "cls:DescribeIndex",
                "cls:CreateShipper"
            ],
            "resource": "*"
        },
        {
            "effect": "allow",
            "action": [
                "tag:DescribeResourceTagsByResourceIds",
                "tag:DescribeTagKeys",
                "tag:DescribeTagValues", 
                "cls:ModifyShipper",
                "cls:DescribeShippers",
                "cls:DeleteShipper",
                "cls:DescribeShipperTasks",
                "cls:RetryShipperTask",
                "cls:DescribeShipperPreview",
                "cos:GetService",
                "cam:ListAttachedRolePolicies",
                "cam:AttachRolePolicy",
                "cam:CreateRole",
                "cam:DescribeRoleList"
            ],
            "resource": "*"
        }
    ]
}

Buka halaman Tencent Cloud - User List dan pilih sub-account yang sudah ada atau buat yang baru.
- Lampirkan kebijakan akses yang Anda buat pada langkah sebelumnya.
- Di halaman User Details, buka tab API Key dan klik Create Key. Simpan dengan aman SecretId dan SecretKey yang dihasilkan dengan mengklik Download CSV File atau menyalinnya ke file lokal. Untuk informasi lebih lanjut, lihat Managing Sub-account Access Keys.

Langkah 2: Konfigurasi impor log COS di Alibaba Cloud

Beri otorisasi Security Center untuk mengakses COS

Buka Konsol Security Center > Pengaturan Sistem > Pengaturan Fitur. Di pojok kiri atas halaman, pilih Wilayah tempat aset Anda berada: Chinese Mainland atau Outside Chinese Mainland.
Pada tab Multi-cloud Configuration Management, pilih Multi-cloud Assets, klik Grant Permission, lalu pilih IDC dari dropdown. Di panel yang muncul, konfigurasikan parameter berikut:
- Vendor: Pilih AWS-S3.
- Jenis Koneksi: Pilih S3.
- Endpoint: Dapatkan nama domain akses (Endpoint) Bucket COS.
- ID Kunci Akses/Rahasia Kunci Akses: Kunci dari Atur Pasangan Kunci Akses.
Konfigurasi kebijakan sinkronisasi
AK Service Status Check: Atur interval di mana Security Center secara otomatis memeriksa validitas Pasangan Kunci Akses akun Tencent Cloud. Anda dapat memilih Disable untuk menonaktifkan pemeriksaan ini.

Buat tugas impor data

Buka Konsol Security Center > CTDR > Pusat Integrasi. Di pojok kiri atas halaman, pilih Wilayah tempat aset Anda berada: Chinese Mainland atau Chinese Mainland.
Pada tab Data Import, klik Add Data. Di panel yang muncul, konfigurasikan parameter berikut:
- Endpoint: Dapatkan nama domain akses (Endpoint) Bucket COS.
- Bucket: Bucket COS
Konfigurasi sumber data target
- Nama Sumber Data: Pilih sumber data kustom dengan status normal (Custom Log Capability/CTDR Dedicated Channel). Jika tidak ada sumber data yang sesuai, lihat Set up data sources untuk membuat yang baru.
- Logstore Target: Sistem secara otomatis mengambil Logstore di bawah sumber data yang dipilih.
Klik OK untuk menyimpan konfigurasi. Setelah konfigurasi impor selesai, Security Center secara otomatis menarik log dari Tencent Cloud.

Analisis data yang diimpor

Setelah mengimpor data ke SLS, konfigurasikan kebijakan ingesti dan aturan deteksi untuk mengaktifkan analisis log di Security Center.

Buat kebijakan ingesti baru
Lihat Add a product to CTDR 2.0 untuk membuat kebijakan ingesti baru dengan konfigurasi berikut:
- Data Source: Pilih Sumber Data Target yang dikonfigurasi dalam tugas impor data.
- Standardized Rule: CTDR menyediakan aturan standardisasi bawaan untuk log Tencent Cloud. Anda juga dapat membuat aturan kustom dengan merujuk ke Standardized log access rules.
- Standardization Method: Default ke Real-time Consumption dan tidak dapat diubah.
Konfigurasi aturan deteksi ancaman
Berdasarkan kebutuhan keamanan Anda, aktifkan atau buat aturan deteksi log di manajemen aturan. Hal ini memungkinkan sistem menganalisis log, menghasilkan peringatan, dan membuat event keamanan. Untuk petunjuk spesifik, lihat Configure threat detection rules.

Penagihan

Solusi ini melibatkan biaya dari layanan berikut. Sebelum implementasi, tinjau dengan cermat dokumentasi penagihan untuk setiap produk guna memperkirakan biaya.

Tencent Cloud:

Nama layanan	Item biaya	Dokumentasi penagihan
CLS	Penyimpanan log, operasi baca/tulis, dll.	Tencent Cloud Log Service - Billing Overview.
COS	Kapasitas penyimpanan, permintaan, lalu lintas jaringan publik, dll.	Tencent Cloud COS - Billing Overview.

Alibaba Cloud:

Di sisi Alibaba Cloud, biaya tergantung pada metode penyimpanan data yang dipilih.

Catatan

Untuk informasi tentang penagihan CTDR, lihat CTDR Subscription dan CTDR Pay-As-You-Go.

Untuk informasi tentang penagihan Simple Log Service (SLS), lihat SLS Billing Overview.

Jenis sumber data	Item biaya CTDR	Item biaya SLS	Detail
CTDR-Dedicated Channel	Biaya ingesti log. Biaya penyimpanan dan penulisan log. Catatan Keduanya mengonsumsi Log Ingestion Traffic.	Biaya selain penyimpanan dan penulisan (seperti lalu lintas jaringan publik).	CTDR membuat dan mengelola sumber daya SLS. Oleh karena itu, CTDR ditagih untuk penyimpanan Logstore dan operasi penulisan.
User Log Service	Biaya ingesti log, yang mengonsumsi Log Ingestion Traffic.	Semua biaya terkait log (termasuk penyimpanan, penulisan, lalu lintas jaringan publik, dll.).	Sumber daya log sepenuhnya dikelola oleh SLS. Oleh karena itu, semua biaya terkait log ditagih oleh SLS.

FAQ

Apa yang harus saya lakukan jika tidak melihat data log apa pun di SLS setelah membuat tugas impor data?
1. Periksa cloud pihak ketiga: Masuk ke konsol Tencent Cloud untuk memastikan log telah berhasil dihasilkan dan dikirimkan ke CLS, Topik Kafka, atau Bucket Penyimpanan Objek yang Anda konfigurasi.
2. Periksa kredensial otorisasi: Di Security Center, pada halaman Aset Multi-cloud, periksa apakah status otorisasi normal. Verifikasi bahwa Pasangan Kunci Akses valid dan kata sandi benar, terutama format gabungan Id#Key untuk Kafka Tencent Cloud.
3. Periksa konektivitas jaringan: Jika Anda menggunakan metode Kafka, pastikan akses publik diaktifkan untuk layanan Kafka di cloud pihak ketiga. Juga, periksa apakah aturan grup keamanan atau firewall Anda mengizinkan akses dari IP layanan Security Center.
4. Periksa tugas impor data: Di Security Center, pada halaman Impor Data, periksa status tugas dan log kesalahan. Lakukan koreksi berdasarkan informasi yang diberikan.
Mengapa saya harus memilih Apache atau AWS-S3 alih-alih Tencent Cloud saat memberikan izin?
Hal ini karena impor log menggunakan protokol standar yang kompatibel, bukan API khusus vendor.
- IDC merepresentasikan vendor protokol, di mana Apache merepresentasikan Kafka dan AWS-S3 merepresentasikan penyimpanan objek.
- Otorisasi Tencent Cloud hanya digunakan untuk mengintegrasikan aturan deteksi ancaman CTDR dengan Tencent Cloud untuk penghubungan event keamanan (seperti pemblokiran IP). Jenis otorisasi ini tidak dapat digunakan untuk impor log.

Parameter	Deskripsi
Public endpoint	Format: `kafkaconsumer-${region}.cls.tencentcs.com:9096`.
topic	Topik Kafka.
username	Diatur ke `${LogSetID}`, yaitu ID Logset.
password	Diatur ke `${SecretId}#${SecretKey}`.

Format pengiriman	Jenis nilai
JSON	`json`
Raw Content	`text`