Impor data log Huawei Cloud - Security Center

Dalam lingkungan multi-cloud, log keamanan sering tersebar di berbagai platform cloud, sehingga menyulitkan deteksi ancaman terpadu dan respons insiden. Security Center menyediakan fitur Cloud Threat Analysis and Response (CTDR) untuk mengimpor dan menganalisis log keamanan dari produk Huawei Cloud, seperti Web Application Firewall (WAF) dan Cloud Firewall (CFW), secara terpusat. Fitur ini membantu Anda mencapai manajemen keamanan terpadu di seluruh lingkungan multi-cloud.

Cara kerja

Agregasi log di sumber: Log dari produk Huawei Cloud, seperti WAF dan CFW, pertama kali diagregasikan ke Log Tank Service (LTS) milik Huawei Cloud.
Ekspor data: Menggunakan LTS, data log diekspor ke Distributed Message Service (DMS) for Kafka atau Object Storage Service (OBS), yang bertindak sebagai node perantara untuk transfer data lintas cloud.
Impor data lintas cloud: Platform CTDR bertindak sebagai konsumen, berlangganan dan menarik data log dari DMS for Kafka atau OBS menggunakan protokol standar Kafka atau S3. Data tersebut kemudian dimasukkan ke dalam sumber data tertentu.
Ingesti dan standardisasi: Di dalam platform CTDR, Anda membuat kebijakan ingesti dan menerapkan aturan standardisasi. Platform ini mengurai dan menormalisasi log mentah sebelum menyimpannya di gudang data.

Log yang didukung

Solusi ini mendukung pengimporan tipe log berikut dari Huawei Cloud:

Log alert Web Application Firewall (WAF)
Log alert Cloud Firewall (CFW)

Kirim log ke LTS

Sebelum mengimpor log, Anda harus mengirim semua log produk keamanan dari Huawei Cloud ke LTS.

Web Application Firewall

Catatan

Untuk petunjuk lengkap, lihat dokumentasi resmi Huawei Cloud: Menggunakan LTS untuk Mencatat Log WAF.

Masuk ke konsol
Masuk ke Konsol Web Application Firewall. Di pojok kiri atas, pilih wilayah atau proyek, lalu di panel navigasi sebelah kiri, klik Events.
Konfigurasi LTS
Pada tab Log Settings, klik Connect to LTS. Konfigurasikan parameter berikut:
Penting
Konfigurasi memerlukan waktu sekitar 10 menit untuk berlaku.
- Log Types: Log akses WAF dan log serangan WAF.
- Log Group: Pilih Log Group tempat Anda ingin menyimpan log. Anda dapat mengklik Create Log Group untuk membuat yang baru.
- WAF Access Log Stream: Jika Anda memilih WAF access logs untuk Log Type, pilih aliran log akses WAF. Anda juga dapat mengklik Create Log Stream untuk membuat yang baru.
- WAF Attack Log Stream: Jika Anda memilih WAF attack logs untuk Log Type, pilih aliran log serangan WAF. Anda juga dapat mengklik Create Log Stream untuk membuat yang baru.

Cloud Firewall

Catatan

Untuk petunjuk lengkap, lihat dokumentasi resmi Huawei Cloud: Ingesti Log CFW ke LTS.

Buat log group dan log stream
1. Masuk ke Konsol Layanan Log. Pada halaman Log Ingestion, klik Create Log Group.
2. Pada halaman Create Log Group, konfigurasikan Log Group Name dan Log Retention Period (Days).
  Catatan
  Kami menyarankan menambahkan akhiran -cfw pada nama Log Group (misalnya, mylog-cfw) agar lebih mudah diidentifikasi.
3. Setelah Log Group dibuat, temukan di daftar dan klik Create Log Stream di bawah ikon .
4. Pada halaman Create Log Stream, konfigurasikan Log Stream Name dan Log Storage Duration (Days).
  Catatan
  Kami menyarankan menggunakan akhiran seperti -attack, -access, dan -flow masing-masing untuk log peristiwa serangan, log kontrol akses, dan log trafik.
  - Log serangan: Mencatat alert serangan, termasuk tipe event, aturan perlindungan, aksi, 5-tupel, Payload Serangan, dan detail lainnya.
  - Log akses: Mencatat informasi trafik yang sesuai dengan kebijakan ACL, termasuk waktu hit, 5-tupel, aksi respons, aturan kontrol akses, dan detail lainnya.
  - Log trafik: Mencatat seluruh trafik yang melewati Cloud Firewall, termasuk Waktu mulai, Waktu akhir, 5-tupel, jumlah byte, jumlah paket, dan detail lainnya.
Siapkan sinkronisasi LTS
1. Masuk ke Konsol Cloud Firewall. Di pojok kiri atas, pilih wilayah dan instans firewall. Di panel navigasi sebelah kiri, pilih Log Audit > Log Management.
2. Pada halaman Log Management, klik Configure LTS Synchronization. Atur Log Group dan Log Source ke Log Group dan Log Stream yang telah Anda buat pada langkah sebelumnya.

Pilih metode impor

Anda dapat mengimpor log LTS Huawei Cloud ke Security Center menggunakan metode Kafka atau metode OBS. Setiap metode memiliki pertimbangan berbeda dalam hal performa real-time, biaya, dan kompleksitas konfigurasi. Pilih metode yang paling sesuai dengan kebutuhan Anda.

Aspek	Kafka (DMS)	OBS
Performa real-time	Hampir real-time (transfer real-time dapat dikonfigurasi)	Latensi tingkat menit
Kompleksitas konfigurasi	Lebih tinggi. Memerlukan konfigurasi instans Kafka, Alamat IP Elastis (EIP), grup keamanan, dll.	Lebih rendah. Hanya memerlukan konfigurasi tugas transfer.
Struktur biaya	Huawei Cloud: Biaya untuk instans Kafka, EIP dan trafik, serta Layanan Log. Alibaba Cloud: Trafik ingesti log CTDR.	Huawei Cloud: Biaya untuk penyimpanan OBS dan Layanan Log. Alibaba Cloud: Trafik ingesti log CTDR.
Paling cocok untuk	Skenario yang memerlukan analisis log real-time tinggi, seperti komputasi keamanan berbasis aliran atau respons alert cepat.	Skenario di mana performa real-time tidak kritis, dengan fokus pada efisiensi biaya, pengarsipan log, atau analisis offline batch.

Konfigurasi impor data

Impor data menggunakan Kafka (DMS)

Langkah 1: Siapkan saluran data Kafka di Huawei Cloud

Konfigurasi instans Kafka

Buat instans Kafka
Catatan
Untuk informasi lebih lanjut, lihat dokumentasi resmi Huawei Cloud: Membeli Instans Kafka.
1. Konfigurasi spesifikasi instans dan Virtual Private Cloud (VPC): Buka halaman Beli Halaman Instans Kafka. Pada tab Quick Config, lengkapi konfigurasi dasar dan jaringan.
2. Konfigurasi akses publik: Di area Access Mode, pilih Akses Jaringan Publik dan konfigurasikan parameter berikut:
  - Public Network Access: Ciphertext Access.
  - Public IP Addresses: Pilih Alamat IP Elastis (EIP) yang dapat diakses. Jika Anda tidak memiliki cukup EIP, ikuti langkah-langkah di bawah untuk membelinya. Untuk informasi lebih lanjut, lihat dokumentasi Huawei Cloud: Ajukan EIP.
    - Klik Create Elastic IP untuk menuju halaman pembelian EIP.
      Penting
      Anda harus membeli minimal tiga EIP.
    - Setelah pembelian selesai, klik ikon di samping Elastic IP Address dan pilih EIP yang baru dibeli dari daftar drop-down.
  - Kafka Security Protocol:
    - SASL_SSL: Menggunakan SASL untuk autentikasi dan sertifikat SSL untuk enkripsi data.
    - SASL_PLAINTEXT: Menggunakan SASL untuk autentikasi dan mentransmisikan data dalam teks biasa untuk performa yang lebih baik.
  - SASL PLAIN Mechanism: Jika Anda mengatur Kafka Security Protocol ke SASL_PLAINTEXT, kami menyarankan memilih mekanisme CRAM-SHA-512.
  - Username/Password: Nama pengguna dan kata sandi untuk klien menghubungkan ke instans Kafka. Nama pengguna tidak dapat diubah setelah akses terenkripsi diaktifkan.
    Penting
    Simpan nama pengguna dan kata sandi dengan aman. Anda akan memerlukannya nanti untuk memberikan akses Security Center ke Kafka.
Buat topik
1. Buka halaman Huawei Cloud - Manajemen Kafka. Di pojok kiri atas, pilih wilayah tempat instans Kafka Anda berada.
2. Di panel navigasi sebelah kiri, klik Kafka Instances. Klik nama instans target Anda untuk menuju halaman detailnya. Lalu, klik Topic Management.
3. Pada halaman daftar Topik, klik Create Topic dan konfigurasikan parameter sesuai kebutuhan bisnis Anda. Anda dapat menggunakan pengaturan default jika tidak ada persyaratan khusus.
  Catatan
  Untuk informasi lebih lanjut, lihat dokumentasi resmi Huawei Cloud: Deskripsi Parameter Topik.
Konfigurasi aturan keamanan
Setelah mengaktifkan Akses Publik, Anda harus mengonfigurasi aturan grup keamanan untuk mengizinkan koneksi ke Kafka.
1. Pada halaman detail instans Kafka, di panel navigasi sebelah kiri, klik Overview. Di bagian Network pada halaman Overview, klik ikon di samping Security Group.
2. Pada halaman konfigurasi kebijakan, buka tab Inbound Rules, klik Add Rule, dan konfigurasikan parameter sebagai berikut:
  1. Policy: Allow
  2. Type: IPv4
  3. Protocol: Custom TCP
  4. Port: 9095
  5. Source: 0.0.0.0/0
Dapatkan parameter koneksi Kafka
Pada halaman Overview instans Kafka, catat Address (Public Network, Ciphertext), Security Protocol yang Diaktifkan, dan SASL PLAIN Mechanism.

Buat tugas transfer dari LTS ke Kafka

Catatan

Untuk petunjuk lengkap, lihat dokumentasi resmi Huawei Cloud: Transfer Log ke DMS.

Masuk ke Konsol Layanan Log. Di panel navigasi sebelah kiri, pilih Log Transfer, lalu klik Configure Log Transfer di pojok kanan atas.
Konfigurasikan parameter transfer log seperti dijelaskan di bawah ini.
- Transfer Mode: Transfer berkala.
- Transfer Destination: DMS.
- Log Group Name/Log Stream Name: Pilih Log Group/Log Stream yang Anda konfigurasi pada langkah Kirim log ke LTS (misalnya, log serangan WAF).
- Kafka Instance: Pilih instans yang Anda konfigurasi pada langkah Konfigurasi instans Kafka.
- Topic: Pilih Topik yang Anda konfigurasi pada langkah Buat topik.
- Transfer Interval: Real-time.
- Format: Anda dapat memilih Raw Log Format atau JSON.

Langkah 2: Konfigurasi impor log Kafka di Alibaba Cloud

Berikan akses Security Center ke Kafka

Buka Konsol Security Center > CTDR > Integration Center. Di pojok kiri atas, pilih wilayah aset Anda: Outside Chinese Mainland atau Outside Chinese Mainland.
Pada tab Multi-cloud Configuration Management, pilih Multi-cloud Assets, klik Grant Permission, dan pilih IDC dari daftar drop-down. Di panel yang muncul, konfigurasikan parameter berikut:
- Vendor: Pilih Apache.
- Connection Type: Pilih Kafka.
- Endpoint: Masukkan Titik akhir Publik Terenkripsi IPv4 untuk Kafka yang Anda peroleh dari Huawei Cloud.
- Username/Password: Masukkan nama pengguna dan kata sandi yang Anda konfigurasi untuk Kafka di Huawei Cloud.
- Communication Protocol: Masukkan Protokol Keamanan yang Diaktifkan yang Anda konfigurasi untuk Kafka di Huawei Cloud.
- SASL Authentication Mechanism: Masukkan Mekanisme SASL PLAIN yang Anda konfigurasi untuk Kafka di Huawei Cloud.
Konfigurasi kebijakan sinkronisasi
AK Service Status Check: Atur interval di mana Security Center secara otomatis memeriksa validitas Access Key Huawei Cloud. Anda dapat memilih "Disable" untuk menonaktifkan pemeriksaan ini.

Buat tugas impor data

Buat sumber data
Buat sumber data CTDR khusus untuk data log Huawei Cloud. Jika Anda sudah membuatnya, lewati langkah ini.
1. Buka Konsol Security Center > CTDR > Integration Center. Di pojok kiri atas, pilih wilayah aset Anda: Chinese Mainland atau Outside Chinese Mainland.
2. Pada tab Data Source, buat sumber data untuk log Huawei Cloud. Untuk petunjuk lengkap, lihat Buat sumber data: Log tidak diingesti ke Simple Log Service (SLS).
  - Source Data Source Type: Anda dapat memilih User Log Service atau CTDR-Dedicated Channel.
  - Add Instances: Kami menyarankan membuat Logstore baru untuk mengisolasi data.
Pada tab Data Import, klik Add Data. Di panel yang muncul, konfigurasikan parameter berikut:
- Endpoint: Masukkan Endpoint Publik Terenkripsi IPv4 untuk Kafka yang Anda peroleh dari Huawei Cloud.
- Topics: Pilih Topik yang Anda buat di Huawei Cloud.
- Value Type: Pilih nilai berdasarkan Format transfer yang Anda tetapkan untuk log LTS. Pemetaannya sebagai berikut:
  Transfer Format
  Value Type
  Format JSON
  json
  Raw Log Format
  text
Konfigurasi sumber data tujuan
- Data Source Name: Pilih sumber data yang Anda buat pada Langkah 1.
- Destination Logstore: Logstore di bawah sumber data yang dipilih akan dimuat secara otomatis.
Klik OK untuk menyimpan konfigurasi. Setelah impor dikonfigurasi, Security Center secara otomatis menarik log dari Huawei Cloud.

Impor data menggunakan OBS

Langkah 1: Siapkan data OBS dan peroleh kunci akses di Huawei Cloud

Konfigurasi LTS untuk mentransfer log ke OBS

Buat tugas transfer
Catatan
Untuk petunjuk lengkap, lihat dokumentasi resmi Huawei Cloud: Transfer Log ke OBS.
1. Masuk ke Konsol Layanan Log. Di panel navigasi sebelah kiri, pilih Log Transfer, lalu klik Configure Log Transfer di pojok kanan atas.
2. Konfigurasikan parameter transfer log seperti dijelaskan di bawah ini.
  - Transfer Mode: Transfer berkala.
  - Transfer Destination: OBS Bucket.
  - Log Group Name/Log Stream Name: Pilih Log Group/Log Stream yang Anda konfigurasi pada langkah Kirim log ke LTS (misalnya, WAF Access Log Stream).
  - OBS Bucket: Pilih bucket OBS yang sudah ada atau buat yang baru di halaman Daftar Bucket Huawei Cloud.
    Catatan
    LTS dapat mentransfer log ke bucket OBS yang menggunakan kelas penyimpanan Standard atau Restored Archive.
  - Custom Log Transfer Path:
    - Enabled: Anda dapat menetapkan jalur kustom. Formatnya adalah /LogTanks/RegionName/%GroupName/%StreamName/<custom_transfer_path>. Jalur kustom default adalah lts/%Y/%m/%d.
    - Disabled: Log ditransfer ke jalur sistem default (LogTanks/RegionName/2019/01/01/<Log_Group>/<Log_Stream>/<log_file_name>).
  - Compression Format: Pilih uncompressed, gzip, atau zip.
    Peringatan
    Peringatan
    Security Center saat ini tidak mendukung penguraian file log yang dikompresi dalam format snappy.
Peroleh endpoint bucket OBS
1. Buka halaman Daftar Bucket Huawei Cloud dan temukan bucket OBS transfer log LTS yang Anda konfigurasi pada langkah sebelumnya. Di halaman detail bucket, di panel navigasi sebelah kiri, klik Overview.
2. Di area Domain Name, lihat Endpoint. Formatnya adalah obs.${region}.myhuaweicloud.com.

Buat kunci akses

Buka halaman atau Huawei Cloud - Kredensial Saya dan di panel navigasi sebelah kiri, pilih Access Keys.
Klik Create Access Key. Baik klik Download CSV File atau salin Access Key ID dan Secret Access Key ke file lokal untuk disimpan dengan aman. Untuk informasi lebih lanjut, lihat atau Access Keys.

Langkah 2: Konfigurasi impor log OBS di Alibaba Cloud

Berikan akses Security Center ke OBS Huawei Cloud

Buka Konsol Security Center > CTDR > Integration Center. Di pojok kiri atas, pilih wilayah aset Anda: Chinese Mainland atau Outside Chinese Mainland.
Pada tab Multi-cloud Configuration Management, pilih Multi-cloud Assets, klik Grant Permission, dan pilih IDC dari daftar drop-down. Di panel yang muncul, konfigurasikan parameter berikut:
- Vendor: Pilih AWS-S3.
- Connection Type: Pilih S3.
- Endpoint: Masukkan Endpoint bucket OBS.
- Access Key ID/Secret Access Key: Masukkan Access Key yang Anda buat di Huawei Cloud.
Konfigurasi kebijakan sinkronisasi
AK Service Status Check: Atur interval di mana Security Center secara otomatis memeriksa validitas Access Key Huawei Cloud. Anda dapat memilih "Disable" untuk menonaktifkan pemeriksaan ini.

Buat tugas impor data

Buka Konsol Security Center > CTDR > Integration Center. Di pojok kiri atas, pilih wilayah aset Anda: Chinese Mainland atau Outside Chinese Mainland.
Pada tab Data Import, klik Add Data. Di panel yang muncul, konfigurasikan parameter berikut:
- Endpoint: Masukkan Endpoint bucket OBS.
- OBS Bucket: Bucket OBS tempat LTS mentransfer log.
Konfigurasi sumber data tujuan
- Data Source Name: Pilih sumber data kustom dengan status normal (Custom Log Capability atau CTDR Dedicated Channel). Jika tidak tersedia sumber data yang sesuai, buat satu dengan mengikuti petunjuk di Sumber data.
- Destination Logstore: Logstore di bawah sumber data yang dipilih akan dimuat secara otomatis.
Klik OK untuk menyimpan konfigurasi. Setelah impor dikonfigurasi, Security Center secara otomatis menarik log dari Huawei Cloud.

Analisis data yang diimpor

Setelah data berhasil diingesti, Anda harus mengonfigurasi aturan penguraian dan deteksi agar Security Center dapat menganalisis log.

Buat kebijakan ingesti baru
Ikuti petunjuk di Hubungkan produk ke CTDR 2.0 untuk membuat kebijakan ingesti baru dengan pengaturan berikut:
- Data Source: Pilih Destination Data Source yang Anda konfigurasi dalam tugas impor data.
- Standardized Rule: CTDR menyediakan aturan standardisasi bawaan untuk produk Huawei Cloud yang dapat Anda pilih langsung.
- Standardization Method: Karena Anda mengingesti log alert, ini diatur ke Real-time Consumption secara default dan tidak dapat diubah.
Konfigurasi aturan deteksi ancaman
Berdasarkan kebutuhan keamanan Anda, aktifkan atau buat aturan deteksi log di manajemen aturan untuk menganalisis log, menghasilkan alert, dan membuat event keamanan. Untuk petunjuk lengkap, lihat Konfigurasi aturan deteksi ancaman.

Penagihan

Solusi ini menimbulkan biaya dari layanan berikut. Sebelum melanjutkan, baca dengan cermat dokumentasi penagihan untuk setiap produk guna memperkirakan biaya Anda:

Di sisi Huawei Cloud: Biaya terutama untuk transfer dan penyimpanan data:

Layanan	Item yang dapat ditagih	Dokumentasi penagihan
LTS	Penyimpanan log, operasi baca/tulis, dll.	Huawei Cloud LTS - Ikhtisar Penagihan.
DMS for Kafka	Spesifikasi instans, trafik jaringan publik, dll.	Huawei Cloud Kafka - Ikhtisar Penagihan.
OBS	Kapasitas penyimpanan, jumlah permintaan, trafik jaringan publik, dll.	Huawei Cloud OBS - Ikhtisar Penagihan.

Di sisi Alibaba Cloud: Biaya tergantung pada metode penyimpanan data yang Anda pilih.

Catatan

Untuk informasi tentang penagihan CTDR, lihat Analisis dan respons ancaman dan Penagihan bayar sesuai pemakaian untuk Analisis dan Respons Ancaman.

Untuk informasi tentang penagihan Simple Log Service (SLS), lihat Ikhtisar penagihan SLS.

Tipe sumber data	Item yang dapat ditagih CTDR	Item yang dapat ditagih SLS	Catatan
CTDR-Dedicated Channel	Biaya ingesti log. Biaya penyimpanan dan penulisan log. Catatan Kedua item tersebut mengonsumsi Log Ingestion Traffic.	Biaya untuk item selain penyimpanan dan penulisan log (seperti trafik jaringan publik).	CTDR membuat dan mengelola sumber daya SLS. Oleh karena itu, biaya untuk penyimpanan dan penulisan Logstore ditagih melalui CTDR.
User Log Service	Biaya ingesti log, yang mengonsumsi Log Ingestion Traffic.	Semua biaya terkait log (termasuk penyimpanan, penulisan, trafik jaringan publik, dll.).	Semua sumber daya log dikelola oleh Simple Log Service (SLS). Oleh karena itu, semua biaya terkait log ditagih melalui SLS.

FAQ

Apa yang harus saya lakukan jika tidak melihat data log apa pun di SLS setelah membuat tugas impor data?
1. Periksa sisi cloud pihak ketiga: Masuk ke konsol Huawei Cloud dan pastikan log dihasilkan serta dikirim atau ditransfer ke LTS, Topik Kafka, atau bucket OBS yang dikonfigurasi.
2. Periksa kredensial: Di Security Center, buka halaman Aset Multi-cloud dan periksa apakah status otorisasi normal. Pastikan Access Key valid dan kata sandi benar.
3. Periksa konektivitas jaringan: Jika Anda menggunakan metode Kafka, pastikan akses publik diaktifkan untuk layanan Kafka di cloud pihak ketiga dan aturan grup keamanan atau firewall mengizinkan trafik dari alamat IP layanan Security Center.
4. Periksa tugas impor data: Di Security Center, buka halaman Data Import untuk melihat status tugas dan log kesalahan. Lakukan perbaikan berdasarkan informasi yang diberikan.
Mengapa memilih Apache atau AWS-S3 alih-alih Huawei Cloud saat memberikan izin?
Hal ini karena fitur impor log menggunakan protokol standar yang kompatibel, bukan API khusus vendor.
- IDC merepresentasikan vendor protokol. Apache merepresentasikan Kafka, dan AWS-S3 merepresentasikan penyimpanan objek.
- Otorisasi Huawei Cloud digunakan untuk mengkoordinasikan respons event keamanan dengan Huawei Cloud (seperti memblokir alamat IP) menggunakan aturan deteksi ancaman CTDR; ini tidak mengaktifkan impor log.

Transfer Format	Value Type
Format JSON	json
Raw Log Format	text