Elasticsearch:Kumpulkan log layanan ECS menggunakan Filebeat

Langkah 1: Buka halaman Beats Data Shippers

1. Masuk ke Konsol Alibaba Cloud Elasticsearch.

2. Pada bilah navigasi atas, pilih wilayah.

3. Pada panel navigasi kiri, klik Beats Data Shippers.

4. (Opsional) Jika ini kunjungan pertama Anda, baca pesan yang muncul lalu klik OK untuk mengizinkan sistem membuat peran terkait layanan untuk akun Anda.

Beats bergantung pada peran terkait layanan ini untuk mengakses sumber data Anda. Jangan menghapusnya. Untuk detail selengkapnya, lihat Peran terkait layanan Elasticsearch.

Langkah 2: Konfigurasikan pengirim Filebeat

1. Pada bagian Create Shipper, arahkan kursor ke Filebeat lalu klik ECS Logs.

   Untuk jenis pengirim lainnya, klik langsung nama pengirim tersebut — misalnya, klik Metricbeat untuk membuat pengirim Metricbeat.

   

2. Pada langkah Configure Shipper, isi parameter yang dijelaskan dalam tabel berikut. Contoh konfigurasi minimal untuk Shipper YML Configuration:

   Penting

   • Jangan mengonfigurasi tujuan output di Shipper YML Configuration — Anda telah memilihnya di bidang Output. Menduplikasi pengaturan tersebut menyebabkan error instalasi pengirim.

   • Nama indeks bersifat tetap dan tidak dapat dikustomisasi. Sistem membuat indeks dalam format filebeat-%{[agent.version]}-%{+yyyy.MM.dd} — contohnya, filebeat-6.8.5-2021.12.11.

   Parameter	Deskripsi
   Shipper Name	1–30 karakter; huruf, angka, garis bawah (_), dan tanda hubung (-); harus dimulai dengan huruf.
   Version	Atur ke 6.8.5 — satu-satunya versi yang didukung untuk Filebeat.
   Output	Kluster tujuan. Pilih dari kluster Elasticsearch atau Logstash yang sudah ada. Protokol harus sesuai dengan kluster Elasticsearch yang dipilih. Kluster Elasticsearch V8.X tidak didukung.
   Username and Password	Jika Anda memilih Elasticsearch untuk Output, masukkan kredensial untuk kluster Elasticsearch tujuan. Username default adalah elastic. Kata sandi ditetapkan saat Anda membuat kluster; atur ulang jika diperlukan. Lihat Atur ulang kata sandi akses untuk kluster Elasticsearch.
   Enable Kibana Monitoring	Memantau metrik pengirim di Kibana. Jika Output adalah Elasticsearch, kluster yang sama digunakan untuk pemantauan. Jika Output adalah Logstash, konfigurasikan pemantauan di file konfigurasi kluster Logstash.
   Enable Kibana Dashboard	Mengaktifkan dasbor Kibana default. Kibana diterapkan dalam VPC — aktifkan fitur Akses Jaringan Pribadi untuk Kibana terlebih dahulu. Lihat Konfigurasikan daftar putih alamat IP publik atau privat untuk Kibana.
   Filebeat File Path	Direktori pada instance ECS tempat log dikumpulkan. Jalur ini dipasang ke dalam kontainer Docker dan harus sesuai dengan nilai paths di Shipper YML Configuration. Untuk jalur yang mengandung wildcard (*), tentukan hanya direktori induk non-wildcard — misalnya, untuk mengumpulkan dari /var/log/*/*.log, masukkan /var/ atau /var/log/. Untuk mengumpulkan dari beberapa direktori, klik Add dan masukkan setiap jalur, lalu tambahkan semua jalur tersebut ke parameter paths di Shipper YML Configuration.
   Shipper YML Configuration	Konfigurasi Filebeat. Pengumpulan log harus diaktifkan dan paths harus sesuai dengan Filebeat File Path. Lihat Siapkan file konfigurasi YML untuk pengirim untuk opsi tambahan.

   filebeat.inputs:
   - type: log
     enabled: true
     paths:
     - /var/log/*.log

   

3. Klik Next.

Langkah 3: Otorisasi dan instal pengirim

1. (Opsional) Jika ini pertama kalinya Anda berada di langkah Install Shipper, klik Authorize Now. Pada halaman Cloud Resource Access Authorization, klik Agree to Authorization. Tindakan ini membuat dua peran sistem melalui Resource Access Management (RAM): Jangan menghapus peran atau kebijakan ini selama Beats sedang digunakan. Jika secara tidak sengaja dihapus, buka kembali halaman Cloud Resource Access Authorization untuk mengotorisasi ulang. Pengguna RAM Anda juga memerlukan kebijakan kustom berikut — lihat Buat kebijakan kustom:

   • AliyunElasticsearchAccessingOOSRole (kebijakan: AliyunElasticsearchAccessingOOSRolePolicy)

   • AliyunOOSAccessingECS4ESRole (kebijakan: AliyunOOSAccessingECS4ESRolePolicy)

   {
       "Version": "1",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "ram:CreateRole",
                   "ram:AttachPolicyToRole",
                   "ram:GetRole"
               ],
               "Resource": "acs:ram:*:*:role/*",
               "Condition": {
                   "ForAllValues:StringEquals": {
                       "ram:TrustedPrincipalTypes": "Service",
                       "ram:ServiceNames": [
                           "elasticsearch.aliyuncs.com",
                           "oos.aliyuncs.com"
                       ]
                   }
               }
           },
           {
               "Effect": "Allow",
               "Action": "ram:AttachPolicyToRole",
               "Resource": "acs:ram:*:*:policy/*"
           },
           {
               "Action": "ram:PassRole",
               "Resource": "*",
               "Effect": "Allow",
               "Condition": {
                   "StringEquals": {
                       "acs:Service": "elasticsearch.aliyuncs.com"
                   }
               }
           }
       ]
   }

   

2. Pilih instance ECS tempat Anda ingin menginstal pengirim.

   Daftar menampilkan semua instance ECS di akun Anda yang berada dalam VPC yang sama dengan kluster Output. Hanya instance yang telah menginstal Cloud Assistant dan Docker yang dapat menjalankan pengirim.

3. Klik Start.

4. Pada kotak dialog Start Shipper, klik Back to Beats Shippers.

Langkah 4: Verifikasi shipper sedang berjalan

Pada bagian Manage Shippers, temukan pengirim yang baru dibuat dan periksa kolom Status-nya.

• Enabled — pengirim telah dibuat. Dua angka yang mengikuti (misalnya, 2/3) menunjukkan jumlah instance ECS yang telah terinstal pengirim dibandingkan total yang diminta. Ketika kedua angka tersebut sama, instalasi telah selesai di semua instance.

Untuk memeriksa status per instance, klik View Instances pada kolom Actions. Kolom Installed Shippers menampilkan salah satu dari tiga nilai berikut:

Langkah 5: Lihat pemantauan dan dasbor (opsional)

Jika Anda mengaktifkan Kibana Monitoring atau Kibana Dashboard saat konfigurasi, akses keduanya dari Konsol Kibana setelah pengirim mulai berjalan.

1. Pada bagian Manage Shippers, arahkan kursor ke pada kolom Actions untuk pengirim Anda, lalu pilih View Dashboards.

2. Masuk ke Konsol Kibana dengan username dan password Anda.

3. Untuk melihat dasbor: klik Dashboard pada panel navigasi kiri, lalu pilih metrik.

4. Untuk melihat data pemantauan: klik Monitoring pada panel navigasi kiri, lalu pilih item pemantauan.

FAQ

Bagaimana cara mengumpulkan log dari beberapa direktori?

Klik Add saat mengonfigurasi parameter Filebeat File Path, masukkan setiap direktori tambahan, lalu tambahkan semua jalur tersebut ke parameter paths di Shipper YML Configuration.

Apa yang harus saya lakukan jika instalasi pengirim Beats gagal pada instance ECS?

Ikuti langkah troubleshooting di Kegagalan instalasi pengirim Beats.

Referensi API

Untuk membuat pengirim secara terprogram, gunakan operasi API CreateCollector.