Layanan Log memungkinkan Anda mengirim log ke sistem manajemen informasi dan peristiwa keamanan (SIEM). Dengan cara ini, Anda dapat mengimpor semua log terkait regulasi dan audit di Alibaba Cloud ke Pusat Operasi Keamanan (SOC) Anda.
Istilah
SIEM: Sistem SIEM mencakup Splunk dan IBM QRadar.
Splunk HEC: Splunk HTTP Event Collector (HEC) dapat digunakan untuk menerima log melalui HTTP atau HTTPS.
Saran penyebaran
Sistem operasi: Linux, seperti Ubuntu x64.
Spesifikasi perangkat keras:
CPU: Prosesor 2,0 GHz atau lebih tinggi, dengan 8 inti.
Memori: 32 GB (direkomendasikan) atau 16 GB.
Kartu antarmuka jaringan (NIC): 1 Gbit/s.
Ruang disk yang tersedia: minimal 2 GB. Kami merekomendasikan agar Anda menyiapkan ruang disk sebesar 10 GB atau lebih.
Spesifikasi jaringan:
Bandwidth untuk koneksi antara jaringan Anda dan Alibaba Cloud harus mampu menampung data yang dihasilkan di Alibaba Cloud. Jika tidak, log tidak dapat dikonsumsi secara real-time. Anggaplah data dihasilkan pada kecepatan rata-rata dalam kondisi normal dan dua kali lipat dari kecepatan rata-rata selama jam sibuk, serta 1 TB log mentah dihasilkan setiap hari. Jika data dikompresi dengan rasio 5:1 sebelum transmisi, kami merekomendasikan agar Anda menggunakan bandwidth sekitar 4 MB/s (32 Mbit/s).
Python: Anda dapat menggunakan SDK untuk Python untuk mengonsumsi data log. Untuk informasi lebih lanjut tentang cara menggunakan SDK untuk Java untuk mengonsumsi data log, lihat Gunakan grup konsumen untuk mengonsumsi log.
SDK untuk Python
Kami merekomendasikan agar Anda menggunakan interpreter CPython standar.
Anda dapat menjalankan perintah python3 -m pip install aliyun-log-python-sdk -U untuk menginstal SDK Layanan Log untuk Python.
Untuk informasi lebih lanjut tentang cara menggunakan SDK Layanan Log untuk Python, lihat Panduan Pengguna.
Pustaka konsumen
Pustaka konsumen adalah mode konsumsi log tingkat lanjut di Layanan Log. Dalam mode ini, Anda dapat menggunakan grup konsumen untuk mengonsumsi data log, bukan hanya menggunakan SDK untuk mengonsumsi data log. Dengan cara ini, Anda dapat fokus pada logika bisnis, bukan pada detail implementasi Layanan Log, penyeimbangan beban antar konsumen, dan failover yang mungkin terjadi.
Di Layanan Log, sebuah Logstore dapat memiliki beberapa shard. Pustaka konsumen mengalokasikan shard ke konsumen dalam grup konsumen. Daftar berikut menggambarkan aturan alokasi:
Setiap shard hanya dapat dialokasikan ke satu konsumen.
Satu konsumen dapat mengonsumsi data dari beberapa shard.
Setelah konsumen baru ditambahkan ke grup konsumen, shard yang dialokasikan ke grup konsumen akan dialokasikan ulang ke setiap konsumen untuk penyeimbangan beban. Shard dialokasikan ulang berdasarkan aturan sebelumnya. Anda dapat melihat detail alokasi shard.
Pustaka konsumen juga dapat menyimpan titik kontrol. Dengan cara ini, Anda dapat mulai mengonsumsi data dari titik kontrol tempat konsumsi data dihentikan setelah pemulihan kesalahan. Ini memastikan bahwa data hanya dikonsumsi sekali.
Spark Streaming, Storm, dan Flink Connector semuanya mengonsumsi data berdasarkan pustaka konsumen.
Metode pengiriman data
Kami merekomendasikan agar Anda menulis program berdasarkan grup konsumen untuk mengonsumsi log dari Layanan Log secara real-time. Kemudian, Anda dapat mengirim log ke sistem SIEM melalui HTTPS atau Syslog.
Untuk informasi lebih lanjut tentang cara mengirim log melalui HTTPS, lihat Kirim log ke sistem SIEM melalui HTTPS.
Untuk informasi lebih lanjut tentang cara mengirim log melalui Syslog, lihat Kirim log ke sistem SIEM melalui Syslog.