Elasticsearch:Kumpulkan log layanan ECS menggunakan Filebeat

Prosedur

1. Masuk ke Konsol Alibaba Cloud Elasticsearch.

2. Navigasikan ke halaman Beats Data Shippers.

   1. Di bilah navigasi atas, pilih wilayah.

   2. Di panel navigasi kiri, klik Beats Data Shippers.

   3. Opsi: Jika ini pertama kalinya Anda mengakses halaman Beats Data Shippers, tinjau informasi yang ditampilkan dalam pesan yang muncul lalu klik OK untuk mengotorisasi sistem membuat peran terkait layanan untuk akun Anda.

      Catatan

      Saat Beats mengumpulkan data dari berbagai sumber data, Beats bergantung pada peran terkait layanan dan aturan yang ditentukan untuk peran tersebut. Jangan menghapus peran terkait layanan tersebut. Jika dihapus, penggunaan Beats akan terganggu. Untuk informasi selengkapnya, lihat Peran terkait layanan Elasticsearch.

3. Konfigurasikan dan mulai mengumpulkan log layanan ECS.

   Catatan

   Langkah-langkah berikut menggunakan Filebeat sebagai contoh.

   1. Di bagian Create Shipper, arahkan ke Filebeat lalu klik ECS Logs.

      Catatan

      Untuk jenis shipper lain, seperti Metricbeat, Anda dapat langsung mengklik nama shipper tersebut.

   2. Di wizard Configure Shipper, masukkan atau pilih informasi shipper.

      Parameter	Deskripsi
      Shipper Name	Masukkan nama kustom untuk shipper. Nama harus terdiri dari 1–30 karakter, dimulai dengan huruf, dan hanya boleh berisi huruf, angka, garis bawah (_), dan tanda hubung (-).
      Version	Hanya versi 6.8.5 yang didukung untuk Filebeat.
      Output	Tujuan data dari Filebeat. Pilih instance Alibaba Cloud Elasticsearch atau Logstash yang sudah ada. Protokol akses harus sesuai dengan protokol instance Elasticsearch yang dipilih. Penting Instance Elasticsearch versi 8.x atau lebih baru tidak didukung.
      Username and Password	Jika Anda memilih Output sebagai Elasticsearch, Anda harus memberikan username dan password yang sesuai agar Filebeat dapat menulis data ke instance Elasticsearch. Username default adalah elastic. Anda menetapkan password saat membuat instance. Jika lupa password, Anda dapat meresetnya. Untuk informasi selengkapnya, lihat Reset password akses instance.
      Enable Kibana Monitoring	Mengaktifkan pemantauan untuk metrik Filebeat. Jika Anda memilih Output sebagai Elasticsearch, pemantauan secara default menggunakan instance Alibaba Cloud Elasticsearch yang sama dengan Output. Jika Anda memilih Output sebagai Logstash, Anda harus menambahkan konfigurasi ke file konfigurasi.
      Enable Kibana Dashboard	Mengonfigurasi dashboard Kibana default. Karena Alibaba Cloud Kibana dideploy di VPC, Anda harus mengaktifkan akses jaringan pribadi untuk Kibana di halaman konfigurasinya. Untuk informasi selengkapnya, lihat Masuk ke konsol Kibana.
      Filebeat File Path	Karena Alibaba Cloud menggunakan Docker untuk deploy Beats, Anda harus memetakan direktori host untuk pengumpulan log ke dalam kontainer Docker. Jalur yang Anda masukkan di sini harus merupakan direktori induk dari jalur yang ditentukan dalam parameter filebeat.yml input.path. Karakter wildcard (*) tidak diizinkan di bidang ini. Misalnya, jika input.path: /var/log/*/*.log ditetapkan, direktori file Filebeat dapat berupa /var/ atau /var/log/. Penting Jalur dapat berupa direktori atau jalur lengkap. Anda juga dapat menggunakan pola glob untuk mencocokkan jenis file tertentu dalam suatu jalur. Jika Anda perlu mengumpulkan log dari beberapa direktori, klik Add untuk memasukkan jalur lain. Anda juga harus menambahkan jalur baru tersebut ke parameter paths di Shipper YML Configuration.
      Shipper YML Configuration	File konfigurasi shipper. Gunakan contoh berikut untuk memastikan bahwa pengumpulan log diaktifkan dan direktori dalam paths konsisten dengan direktori yang Anda masukkan untuk Filebeat file directories. filebeat.inputs: - type: log enabled: true paths: - /var/log/*.log Untuk parameter lainnya, ubah konfigurasi berdasarkan kebutuhan bisnis Anda. Untuk informasi selengkapnya, lihat Shipper YML configuration.

      Penting

      • Setelah Anda menentukan Output, Anda tidak perlu mengonfigurasinya lagi di Shipper YML Configuration. Melakukannya akan menyebabkan error instalasi.

      • Filebeat Alibaba Cloud tidak mendukung nama indeks kustom. Secara default, Filebeat membuat indeks dengan nama filebeat-%{[agent.version]}-%{+yyyy.MM.dd}, misalnya, filebeat-6.8.5-2021.12.11.

   3. Klik Next.

   4. Opsi: Jika ini pertama kalinya Anda menggunakan wizard Install Shipper, klik Authorize Now. Di halaman Cloud Resource Access Authorization, klik Authorize untuk memberikan izin kepada instance Elasticsearch mengakses ECS.

      • Layanan otorisasi disediakan oleh Resource Access Management (RAM). Setelah memberikan otorisasi, sistem secara otomatis membuat dua peran terkait layanan: AliyunElasticsearchAccessingOOSRole dan AliyunOOSAccessingECS4ESRole. Kebijakan sistem default yang dilampirkan adalah AliyunElasticsearchAccessingOOSRolePolicy dan AliyunOOSAccessingECS4ESRolePolicy, masing-masing. Jangan menghapus peran atau kebijakan sistem ini.

      • Jika Anda menghapus kebijakan default atau peran sistem dari konsol RAM, Anda dapat memberikan kembali izin tersebut menggunakan Cloud Resource Access Authorization. Anda juga harus memberikan izin kustom berikut kepada Pengguna RAM untuk menghindari error izin. Untuk petunjuk cara membuat kebijakan kustom, lihat Buat kebijakan kustom.

        {
            "Version": "1",
            "Statement": [
                {
                    "Effect": "Allow",
                    "Action": [
                        "ram:CreateRole",
                        "ram:AttachPolicyToRole",
                        "ram:GetRole"
                    ],
                    "Resource": "acs:ram:*:*:role/*",
                    "Condition": {
                        "ForAllValues:StringEquals": {
                            "ram:TrustedPrincipalTypes": "Service",
                            "ram:ServiceNames": [
                                "elasticsearch.aliyuncs.com",
                                "oos.aliyuncs.com"
                            ]
                        }
                    }
                },
                {
                    "Effect": "Allow",
                    "Action": "ram:AttachPolicyToRole",
                    "Resource": "acs:ram:*:*:policy/*"
                },
                {
                    "Action": "ram:PassRole",
                    "Resource": "*",
                    "Effect": "Allow",
                    "Condition": {
                        "StringEquals": {
                            "acs:Service": "elasticsearch.aliyuncs.com"
                        }
                    }
                }
            ]
        }

   5. Di wizard Install Shipper, pilih instance ECS target.

      Catatan

      Daftar instance menampilkan semua instance ECS di bawah akun Anda yang berada di VPC yang sama dengan instance Elasticsearch atau Logstash yang dipilih untuk Output. Anda hanya dapat menginstal shipper pada instance ECS yang telah menginstal Cloud Assistant dan Docker.

   6. Klik Start.

   7. Di kotak dialog Start Shipper, klik Back to Beats Shippers. Lihat shipper yang baru dibuat di daftar shipper.

      Tunggu hingga Shipper Status berubah menjadi Enabled, yang menunjukkan bahwa shipper siap digunakan. Dua angka setelah Enabled merepresentasikan jumlah instalasi ECS yang berhasil dan jumlah total instance ECS target. Jika instalasi berhasil di semua instance, kedua angka tersebut akan sama.

4. Lihat instance yang sedang berjalan.

   Setelah membuat shipper, Anda dapat melihat instance yang sedang berjalan untuk memeriksa status instalasi dan melakukan troubleshooting terhadap pengecualian.

   1. Di bagian Manage Shippers, temukan shipper tersebut lalu klik View Instances di kolom Actions.

   2. Di halaman View Instances, periksa Installed Shippers.

      Installed Shippers dapat berupa salah satu dari berikut: Normal Heartbeat, No Heartbeat, atau Installation Failed. Jika statusnya No Heartbeat atau Installation Failed, Anda dapat menghapus node bermasalah atau mencoba menginstal ulang. Jika percobaan ulang gagal, lihat Troubleshoot Beats installation failures.

5. Opsi: Lihat halaman pemantauan atau dashboard.

   Jika Anda memilih Enable Kibana Monitoring atau Enable Kibana Dashboard saat membuat shipper, Anda dapat melihat informasi pemantauan atau dashboard di Kibana setelah shipper dimulai.

   1. Di bagian Manage Shippers, temukan shipper tersebut, klik ikon di kolom Actions, lalu pilih View Dashboards.

   2. Di halaman logon Kibana, masukkan username dan password Anda, lalu klik Log in.

   3. Di panel navigasi kiri, klik Dashboard. Kemudian, klik metrik untuk melihat dashboard-nya.

   4. Di panel navigasi kiri, klik Monitoring. Kemudian, klik item pemantauan untuk melihat informasinya.

Dokumentasi terkait

Operasi API untuk membuat shipper (disebut sebagai collector dalam API): CreateCollector

FAQ

• Bagaimana cara menggunakan Beats untuk mengumpulkan log dari beberapa direktori?

  Saat mengonfigurasi shipper, klik Add, masukkan jalur di kotak teks, dan tambahkan jalur tersebut ke parameter paths di Shipper YML Configuration. Misalnya, jika Anda menambahkan /var/log/*.log dan /var/log/messages di Filebeat File Path, maka bagian paths di Shipper YML Configuration juga harus mencakup kedua jalur tersebut.

• Apa yang harus saya lakukan jika instalasi Beats pada instance ECS gagal?

  Untuk informasi troubleshooting, lihat Troubleshoot Beats installation failures.