Simple Log Service:Alibaba Cloud Log Service Add-on for Splunk

Cara kerja

Konsep utama

• Data input berperan sebagai konsumen yang mengonsumsi log.

• Consumer group berisi beberapa konsumen yang bersama-sama mengonsumsi data dari logstore. Setiap log diproses hanya oleh satu konsumen untuk mencegah duplikasi.

• Logstore berisi beberapa shard.

  • Setiap shard hanya ditugaskan ke satu konsumen.

  • Satu konsumen dapat ditugaskan beberapa shard.

• Nama setiap konsumen merupakan kombinasi dari nama consumer group, hostname, nama proses, dan jenis protokol event, sehingga menjamin keunikan dalam grup tersebut.

Gunakan consumer group untuk mengonsumsi log.

Prasyarat

• Dapatkan pasangan AccessKey untuk Log Service.

  Gunakan Alibaba Cloud Resource Access Management (RAM) untuk mendapatkan pasangan AccessKey untuk proyek Log Service Anda. Pasangan AccessKey.

  Gunakan asisten izin untuk mengonfigurasi izin RAM. Konfigurasi asisten izin. Kode berikut menunjukkan contoh kebijakan RAM umum:

  Catatan

  Ganti <Project name> dan <logstore name> dengan nama aktual Anda. Wildcard (*) didukung.

  {
    "Version": "1",
    "Statement": [
      {
        "Action": [
          "log:ListShards",
          "log:GetCursorOrData",
          "log:GetConsumerGroupCheckPoint",
          "log:UpdateConsumerGroup",
          "log:ConsumerGroupHeartBeat",
          "log:ConsumerGroupUpdateCheckPoint",
          "log:ListConsumerGroup",
          "log:CreateConsumerGroup"
        ],
        "Resource": [
          "acs:log:*:*:project/<Project name>/logstore/<LogStore name>",
          "acs:log:*:*:project/<Project name>/logstore/<LogStore name>/*"
        ],
        "Effect": "Allow"
      }
    ]
  }

• Periksa versi Splunk dan lingkungan runtime Anda.

  • Pastikan Anda menggunakan versi terbaru add-on.

  • Sistem operasi: Linux, macOS, atau Windows.

  • Versi Splunk: heavy forwarder Splunk 8.0 atau lebih baru dan indexer Splunk 7.0 atau lebih baru.

• Konfigurasikan Splunk HTTP Event Collector (HEC). Konfigurasi HTTP Event Collector pada Splunk Enterprise.

  Hanya diperlukan jika Anda menggunakan HEC. Lewati langkah ini jika Anda menggunakan protokol privat Splunk.

  Catatan

  Saat Anda membuat token Event Collector, fitur acknowledgment indexer tidak didukung.

• Lengkapi pengumpulan log kontainer untuk kluster Kubernetes Anda.

  Sebelum mengirimkan log ke Splunk, pastikan pengumpulan log kontainer untuk kluster Kubernetes Anda telah selesai dan Log Service sudah berisi data log kontainer yang dikumpulkan. (Disarankan) Deploy LoongCollector atau Logtail sebagai DaemonSet di kluster ACK Anda untuk mengumpulkan output standar dan file log dari kontainer ke Log Service. Untuk informasi selengkapnya, lihat Pengumpulan log kontainer Kubernetes.

  Catatan

  Anda hanya dapat mengirimkan log ke Splunk menggunakan add-on Splunk setelah Log Service sudah berisi data log kontainer yang dikumpulkan.

Instal add-on

Konfigurasi add-on

Jika Splunk tidak berjalan pada instance ECS Alibaba Cloud, gunakan pasangan AccessKey untuk mengakses Log Service:

1. Pada UI web Splunk, klik Alibaba Cloud Log Service Add-on for Splunk.

2. Konfigurasikan akun global.

   Buka tab Configure > Account dan konfigurasikan pasangan AccessKey untuk Log Service.

   Catatan

   Bidang Username dan Password dipetakan ke ID AccessKey dan AccessKey Secret Log Service.

3. Konfigurasikan tingkat logging untuk add-on.

   Buka tab Configure > Logging dan konfigurasikan tingkat logging untuk add-on.

4. Buat data input.

   1. Klik Input untuk membuka halaman Input.

   2. Klik Create New Input untuk membuat data input baru.

      Tabel 1. Parameter data input

      Parameter	Wajib dan format	Deskripsi	Contoh
      Name	Ya, String	Nama unik global untuk data input.	None
      Interval	Ya, Integer	Interval dalam detik sebelum proses data input dimulai ulang setelah berhenti.	Nilai default: 10
      Index	Ya, String	Indeks Splunk.	None
      SLS AccessKey	Ya, String	Pasangan AccessKey Alibaba Cloud (ID AccessKey dan AccessKey Secret). Catatan Bidang Username dan Password dipetakan ke ID AccessKey dan AccessKey Secret Log Service.	Username dan password yang dikonfigurasi untuk akun global.
      SLS endpoint	Ya, String	Titik akhir Log Service. Titik akhir.	cn-huhehaote.log.aliyuncs.com https://cn-huhehaote.log.aliyuncs.com
      SLS project	Ya, String	Proyek Log Service. Kelola proyek.	None
      SLS logstore	Ya, String	Logstore Log Service. Untuk informasi selengkapnya, lihat Kelola logstore.	None
      SLS consumer group	Ya, String	Consumer group Log Service. Untuk penskalaan horizontal, gunakan nama consumer group yang sama di beberapa data input. Gunakan consumer group untuk mengonsumsi log.	None
      SLS cursor start time	Ya, String	Waktu mulai pengonsumsian log. Hanya berlaku saat consumer group pertama kali dibuat. Consumer group yang sudah ada akan dilanjutkan dari checkpoint terakhir yang disimpan. Catatan Waktu ini didasarkan pada saat log tiba di server.	Nilai valid: begin, end, atau waktu dalam format ISO 8601 (misalnya, 2018-12-26 0:0:0+8:00).
      SLS heartbeat interval	Ya, Integer	Interval heartbeat dalam detik antara konsumen dan server.	Nilai default: 60
      SLS data fetch interval	Ya, Integer	Interval dalam detik untuk menarik log. Hindari nilai kecil saat frekuensi log rendah.	Nilai default: 1
      Consumer processor	Tidak, String	Consumer processor yang berisi SPL (misalnya, consume-processor-1). Harus dibuat terlebih dahulu di proyek Anda. Hanya untuk Linux x86_64. Kelola consumer processor.	None
      Topic filter	Tidak, String	Daftar topik yang dipisahkan titik koma untuk difilter. Log yang sesuai dengan salah satu topik dalam daftar tidak dikirim ke Splunk.	"TopicA;TopicB" berarti log dengan topik "TopicA" atau "TopicB" diabaikan.
      Unfolded fields	Tidak, JSON	Pemetaan berformat JSON dari topik ke daftar bidang: {"topicA": ["field_nameA1", "field_nameA2", ...], "topicB": ["field_nameB1", "field_nameB2", ...], ...}	{"actiontrail_audit_event": ["event"] } berarti untuk log dengan topik actiontrail_audit_event, string dalam bidang event log diperluas menjadi objek JSON.
      Event source	Tidak, String	Sumber data untuk event Splunk.	None
      Event source type	Tidak, String	Jenis sumber untuk event Splunk.	None
      Event retry times	Tidak, Integer	Atur ke 0 untuk percobaan ulang tanpa batas.	Nilai default: 0
      Event protocol	Ya	Protokol untuk mengirimkan event Splunk. Jika Anda memilih Private protocol, parameter HEC di bawah ini tidak berlaku.	HTTP for HEC HTTPS for HEC Private protocol
      HEC host	Ya, String. Hanya berlaku saat Event protocol diatur ke opsi HEC.	Host HEC. Siapkan dan gunakan HTTP Event Collector di Splunk Web.	None
      HEC port	Ya, Integer. Hanya berlaku saat Event protocol diatur ke opsi HEC.	Port HEC.	None
      HEC token	Ya, String. Hanya berlaku saat Event protocol diatur ke opsi HEC.	Token HEC. Tentang token Event Collector.	None
      HEC timeout	Ya, Integer. Hanya berlaku saat Event protocol diatur ke opsi HEC.	Periode timeout HEC dalam detik.	Nilai default: 120

1. Sambungkan peran RAM ke instance.

   Buat peran RAM, berikan izin, dan sambungkan ke instance ECS. Konfigurasi peran RAM instance.

   Untuk kebijakan izin peran RAM, lihat kebijakan di bagian Prasyarat.

2. Pada UI Web Splunk, klik Alibaba Cloud Log Service Add-on for Splunk.

3. Konfigurasikan akun global.

   Buka tab Configure > Account dan konfigurasikan informasi peran RAM untuk instance ECS. Tambahkan akun dengan Username diatur ke ECS_RAM_ROLE dan Password diatur ke nama peran RAM yang Anda buat di Langkah 1.

4. Buat data input.

   1. Klik Input untuk membuka halaman Input.

   2. Klik Create New Input untuk membuat data input baru.

      Atur parameter SLS AccessKey ke akun global yang Anda buat di Langkah 3. Untuk informasi tentang parameter lainnya, lihat Parameter data input.

Cari dan tampilkan log

• Cari data

  Pastikan data input diaktifkan. Pada halaman utama Splunk, klik Search & Reporting untuk mengkueri log audit yang dikumpulkan.

  Di Splunk Enterprise, pilih aplikasi App: Search & Reporting. Di bilah pencarian, masukkan * sebagai wildcard untuk mencari semua event dan atur rentang waktu ke Last 24 hours. Hasil pencarian menampilkan event log audit platform cloud dalam format JSON, termasuk bidang seperti eventName, eventSource, eventTime, dan sourceIp.

• Tampilkan log internal

  • Jalankan index="_internal" | search "SLS info" untuk melihat informasi terkait Log Service.

  • Jalankan index="_internal" | search "error" untuk melihat pesan error waktu proses.

Kinerja dan keamanan

• Spesifikasi kinerja

  Faktor-faktor berikut memengaruhi throughput add-on:

  • Titik akhir: Gunakan titik akhir publik, jaringan klasik, VPC, atau percepatan global. Titik akhir jaringan klasik atau VPC direkomendasikan. Titik akhir.

  • Bandwidth: Antara Log Service dan heavy forwarder, serta antara heavy forwarder dan indexer.

  • Kemampuan pemrosesan indexer Splunk.

  • Jumlah shard: Lebih banyak shard meningkatkan kemampuan transfer data. Atur jumlah berdasarkan laju pembuatan log sumber Anda. Kelola shard.

  • Jumlah data input Splunk: Lebih banyak data input dengan consumer group yang sama meningkatkan throughput.

    Catatan

    Konkurensi konsumen dipengaruhi oleh jumlah shard di logstore Log Service.

  • CPU dan memori: Setiap data input biasanya menggunakan memori 1–2 GB dan satu core CPU.

  Satu data input dapat mengonsumsi log dengan kecepatan 1–2 MB/detik. Atur jumlah shard berdasarkan laju pembuatan log sumber Anda.

  Sebagai contoh, logstore yang menghasilkan 10 MB/detik memerlukan minimal 10 shard dan 10 data input. Pada satu mesin, ini memerlukan 10 core CPU dan memori 12 GB.

• Ketersediaan tinggi

  Consumer group menyimpan checkpoint di server, sehingga jika satu konsumen berhenti, konsumen lain melanjutkan dari checkpoint terakhir. Sebarkan data input di beberapa mesin untuk redundansi. Untuk toleransi kesalahan tambahan, jalankan lebih banyak data input daripada jumlah shard.

• Gunakan HTTPS

  • Log Service

    Jika titik akhir diawali dengan https://, seperti https://cn-beijing.log.aliyuncs.com, koneksi ke Log Service secara otomatis dienkripsi menggunakan HTTPS.

    Sertifikat server *.aliyuncs.com dikeluarkan oleh GlobalSign. Secara default, sebagian besar mesin Linux dan Windows secara otomatis mempercayai sertifikat ini. Dalam kasus jarang di mana mesin tidak mempercayai sertifikat ini, lihat Instal CA root tepercaya atau sertifikat tanda tangan sendiri.

  • Splunk

    Untuk menggunakan HEC melalui HTTPS, aktifkan SSL di pengaturan global HEC Splunk. Konfigurasi HTTP Event Collector pada Splunk Enterprise.

• Perlindungan penyimpanan pasangan AccessKey

  Pasangan AccessKey Log Service dan token HEC Splunk disimpan dalam penyimpanan terenkripsi Splunk untuk mencegah kebocoran kredensial.

Pemecahan masalah

• Error konfigurasi

  • Pemeriksaan konfigurasi dasar dijalankan saat Anda membuat atau mengubah data input. Parameter data input.

  • Terjadi error konfigurasi Log Service, seperti kegagalan membuat consumer group.

    • Perintah:index="_internal" | search "error"

    • Log error:

      aliyun.log.consumer.exceptions.ClientWorkerException: 
      error occour when create consumer group, 
      errorCode: LogStoreNotExist, 
      errorMessage: logstore xxxx does not exist

    • Error ConsumerGroupQuotaExceed

      Satu logstore mendukung hingga 20 consumer group. Hapus consumer group yang tidak diperlukan di konsol Log Service jika Anda mendekati batas tersebut. Melebihi 20 akan memicu error ConsumerGroupQuotaExceed.

• Error izin

  • Tidak memiliki izin untuk mengakses Alibaba Cloud Log Service

    • Perintah:index="_internal" | search "error"

    • Log error:

      aliyun.log.consumer.exceptions.ClientWorkerException: 
      error occour when create consumer group, 
      errorCode: SignatureNotMatch, 
      errorMessage: signature J70VwxYH0+W/AciA4BdkuWxK6W8= not match

  • Otentikasi RAM ECS gagal

    • Perintah:index="_internal" | search "error"

    • Log error:

      ECS RAM Role detected in user config, but failed to get ECS RAM credentials. Please check if ECS instance and RAM role 'ECS-Role' are configured appropriately.

      Nama ECS-Role adalah placeholder untuk nama aktual peran RAM Anda.

    • Kemungkinan penyebab:

      • Pastikan parameter SLS AccessKey pada data input dikonfigurasi untuk menggunakan akun global yang memiliki peran RAM.

      • Pastikan akun global dikonfigurasi dengan benar untuk peran RAM. Username harus ECS_RAM_ROLE, dan password harus nama peran RAM.

      • Pastikan peran RAM disambungkan ke instance ECS.

      • Pastikan entitas tepercaya untuk peran RAM adalah layanan Alibaba Cloud, dan layanan tepercaya adalah Elastic Compute Service (ECS).

      • Pastikan instance ECS yang memiliki peran RAM yang disambungkan adalah mesin yang sama yang menjalankan Splunk.

  • Tidak memiliki izin untuk mengakses HEC

    • Perintah:index="_internal" | search "error"

    • Log error:

      ERROR HttpInputDataHandler - Failed processing http input, token name=n/a, channel=n/a, source_IP=127.0.0.1, reply=4, events_processed=0, http_input_body_size=369
      
      WARNING pid=48412 tid=ThreadPoolExecutor-0_1 file=base_modinput.py:log_warning:302 | 
      SLS info: Failed to write [{"event": "{\"__topic__\": \"topic_test0\", \"__source__\": \"127.0.0.1\", \"__tag__:__client_ip__\": \"10.10.10.10\", \"__tag__:__receive_time__\": \"1584945639\", \"content\": \"goroutine id [0, 1584945637]\", \"content2\": \"num[9], time[2020-03-23 14:40:37|1584945637]\"}", "index": "main", "source": "sls log", "sourcetype": "http of hec", "time": "1584945637"}] remote Splunk server (http://127.0.0.1:8088/services/collector) using hec. 
      Exception: 403 Client Error: Forbidden for url: http://127.0.0.1:8088/services/collector, times: 3

    • Kemungkinan penyebab:

      • HEC tidak dikonfigurasi atau diaktifkan.

      • Konfigurasi HEC pada data input salah. Misalnya, jika Anda menggunakan HTTPS, Anda harus mengaktifkan konfigurasi SSL.

      • Periksa apakah fitur acknowledgment indexer dinonaktifkan untuk token HEC.

• Latensi konsumsi

  Lihat status consumer group di konsol Log Service. Langkah 2: Lihat status consumer group.

  Untuk mengatasi latensi konsumsi, tingkatkan jumlah shard atau buat lebih banyak data input dengan consumer group yang sama. Spesifikasi kinerja.

• Jitter jaringan

  • Perintah:index="_internal" | search "SLS info: Failed to write"

  • Log error:

    WARNING pid=58837 tid=ThreadPoolExecutor-0_0 file=base_modinput.py:log_warning:302 |
    SLS info: Failed to write [{"event": "{\"__topic__\": \"topic_test0\", \"__source__\": \"127.0.0.1\", \"__tag__:__client_ip__\": \"10.10.10.10\", \"__tag__:__receive_time__\": \"1584951417\", \"content2\": \"num[999], time[2020-03-23 16:16:57|1584951417]\", \"content\": \"goroutine id [0, 1584951315]\"}", "index": "main", "source": "sls log", "sourcetype": "http of hec", "time": "1584951417"}] remote Splunk server (http://127.0.0.1:8088/services/collector) using hec. 
    Exception: ('Connection aborted.', ConnectionResetError(54, 'Connection reset by peer')), times: 3

  Add-on secara otomatis mencoba ulang. Jika masalah berlanjut, hubungi administrator jaringan Anda.

• Ubah waktu mulai konsumsi

  Catatan

  Parameter SLS cursor start time hanya berlaku saat consumer group pertama kali dibuat. Grup yang sudah ada akan dilanjutkan dari checkpoint terakhir.

  1. Pada halaman Input di UI web Splunk, nonaktifkan data input target.

  2. Login ke konsol Log Service. Di bagian Data Consumption logstore target, hapus consumer group yang sesuai.

  3. Pada halaman Input di UI web Splunk, klik Actions > Edit di sebelah data input target. Ubah parameter SLS cursor start time lalu restart data input.