Layanan Log Sederhana mengirimkan log ke sistem security information and event management (SIEM), memungkinkan Anda mengimpor semua log regulasi, audit, dan log terkait lainnya dari Alibaba Cloud ke Pusat Operasi Keamanan (SOC) Anda.
Istilah
-
SIEM: Security information and event management system, seperti Splunk atau IBM QRadar.
-
Splunk HEC: Splunk HTTP Event Collector, antarmuka yang menerima log melalui HTTP atau HTTPS.
Saran penyebaran
-
OS: Linux, seperti Ubuntu x64.
-
Perangkat keras:
-
CPU: 2,0+ GHz × 8 core.
-
Memori: 16 GB, disarankan 32 GB.
-
Jaringan: network interface controller (NIC) 1 Gbps.
-
Ruang disk: minimal 2 GB, disarankan 10 GB+.
-
-
Parameter jaringan:
Bandwidth dari lingkungan Anda ke Alibaba Cloud harus melebihi laju pembuatan log. Jika tidak, log tidak dapat dikonsumsi secara real time. Contoh: 1 TB log mentah per hari dengan laju seragam dan puncak 2×, dikompresi dengan rasio 5:1, memerlukan sekitar 4 MB/s (32 Mbps).
-
Python: Panduan ini menggunakan Python. Untuk Java, gunakan Konsumsi log menggunakan consumer groups.
Python SDK
-
Gunakan interpreter CPython standar.
-
Instal SLS SDK untuk Python: python3 -m pip install aliyun-log-python-sdk -U.
-
Detail penggunaan: User Guide.
Pustaka konsumen
Pustaka konsumen adalah metode konsumsi log tingkat lanjut yang menggunakan consumer group untuk mengabstraksi dan mengelola konsumen. Pustaka ini menangani load balancing dan failover secara otomatis, sehingga Anda dapat fokus pada logika bisnis.
Logstore berisi beberapa shard. Pustaka konsumen menetapkan shard ke konsumen berdasarkan prinsip berikut:
-
Setiap shard ditetapkan hanya ke satu konsumen.
-
Satu konsumen dapat ditetapkan beberapa shard.
Ketika konsumen baru bergabung ke dalam consumer group, penetapan shard akan diseimbangkan ulang secara otomatis. Prinsip penetapan tetap sama, dan proses ini transparan bagi pengguna.
Pustaka konsumen menyimpan checkpoint, memungkinkan program melanjutkan dari posisi terakhir setelah terjadi kegagalan tanpa konsumsi duplikat.
Spark Streaming, Storm, dan Flink Connector semuanya dibangun di atas pustaka konsumen.
Metode pengiriman
Buat program yang menggunakan consumer group SLS untuk konsumsi real time dan mengirimkan log ke SIEM Anda melalui HTTPS atau Syslog.
-
HTTPS: Kirimkan log ke SIEM.
-
Syslog: Kirimkan log ke SIEM melalui Syslog.