Elasticsearch:Kumpulkan log layanan ECS menggunakan Filebeat

Prosedur

1. Masuk ke Konsol Alibaba Cloud Elasticsearch.

2. Navigasikan ke halaman Beats Data Shippers.

   1. Di bilah navigasi atas, pilih wilayah.

   2. Di panel navigasi kiri, klik Beats Data Shippers.

   3. Opsi: Jika ini pertama kalinya Anda mengakses halaman Beats Data Shippers, baca informasi yang ditampilkan dalam pesan yang muncul lalu klik OK untuk memberi otorisasi kepada sistem agar membuat peran terkait layanan untuk akun Anda.

      Catatan

      Saat Beats mengumpulkan data dari berbagai sumber data, Beats bergantung pada peran terkait layanan dan aturan yang ditentukan untuk peran tersebut. Jangan menghapus peran terkait layanan tersebut. Jika dihapus, penggunaan Beats akan terganggu. Untuk informasi lebih lanjut, lihat Peran terkait layanan Alibaba Cloud ES.

3. Konfigurasikan dan mulai mengumpulkan log layanan ECS.

   Catatan

   Langkah-langkah berikut menggunakan Filebeat sebagai contoh.

   1. Di bagian Create Shipper, arahkan kursor ke Filebeat lalu klik ECS Logs.

      

      Catatan

      Untuk jenis shipper lainnya, seperti Metricbeat, Anda dapat langsung mengklik nama shipper tersebut.

   2. Di wizard Configure Shipper, masukkan atau pilih informasi shipper.

      

      Parameter	Deskripsi
      Shipper Name	Masukkan nama kustom untuk shipper. Nama harus terdiri dari 1–30 karakter, dimulai dengan huruf, dan hanya boleh berisi huruf, angka, garis bawah (_), dan tanda hubung (-).
      Version	Hanya versi 6.8.5 yang didukung untuk Filebeat.
      Output	Tujuan data dari Filebeat. Pilih instans Alibaba Cloud Elasticsearch atau Logstash yang sudah ada. Protokol akses harus sesuai dengan protokol instans Elasticsearch yang dipilih. Penting Instans Elasticsearch versi 8.x atau lebih baru tidak didukung.
      Username and Password	Jika Anda memilih Output sebagai Elasticsearch, Anda harus menyediakan username dan password yang sesuai agar Filebeat dapat menulis data ke instans Elasticsearch. Username default adalah elastic. Anda menetapkan password saat membuat instans. Jika lupa password, Anda dapat mengatur ulang. Untuk informasi lebih lanjut, lihat Atur ulang password akses instans.
      Enable Kibana Monitoring	Mengaktifkan pemantauan untuk metrik Filebeat. Jika Anda memilih Output sebagai Elasticsearch, pemantauan secara default menggunakan instans Alibaba Cloud Elasticsearch yang sama dengan Output. Jika Anda memilih Output sebagai Logstash, Anda harus menambahkan konfigurasi ke file konfigurasi.
      Enable Kibana Dashboard	Mengonfigurasi dasbor Kibana default. Karena Alibaba Cloud Kibana diterapkan di VPC, Anda harus mengaktifkan akses jaringan pribadi untuk Kibana di halaman konfigurasinya. Untuk informasi lebih lanjut, lihat Masuk ke konsol Kibana.
      Filebeat File Path	Karena Alibaba Cloud menggunakan Docker untuk menerapkan Beats, Anda harus memetakan direktori host untuk pengumpulan log ke dalam kontainer Docker. Jalur yang Anda masukkan di sini harus merupakan direktori induk dari jalur yang ditentukan dalam parameter filebeat.yml yaitu input.path. Karakter wildcard (*) tidak diizinkan di bidang ini. Misalnya, jika input.path: /var/log/*/*.log diatur, direktori file Filebeat dapat berupa /var/ atau /var/log/. Penting Jalur dapat berupa direktori atau jalur lengkap. Anda juga dapat menggunakan pola glob untuk mencocokkan jenis file tertentu dalam suatu jalur. Jika Anda perlu mengumpulkan log dari beberapa direktori, klik Add untuk memasukkan jalur lain. Anda juga harus menambahkan jalur baru tersebut ke parameter paths dalam Shipper YML Configuration.
      Shipper YML Configuration	File konfigurasi shipper. Gunakan contoh berikut untuk memastikan bahwa pengumpulan log diaktifkan dan direktori dalam paths konsisten dengan direktori yang Anda masukkan untuk Filebeat file directories. filebeat.inputs: - type: log enabled: true paths: - /var/log/*.log Untuk parameter lainnya, ubah konfigurasi sesuai kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Konfigurasi YML shipper.

      Penting

      • Setelah Anda menentukan Output, Anda tidak perlu mengonfigurasinya lagi di Shipper YML Configuration. Melakukan hal tersebut akan menyebabkan error instalasi.

      • Filebeat Alibaba Cloud tidak mendukung nama indeks kustom. Secara default, Filebeat membuat indeks dengan nama filebeat-%{[agent.version]}-%{+yyyy.MM.dd}, misalnya, filebeat-6.8.5-2021.12.11.

   3. Klik Next.

   4. Opsi: Jika ini pertama kalinya Anda menggunakan wizard Install Shipper, klik Authorize Now. Di halaman Cloud Resource Access Authorization, klik Authorize untuk memberikan izin kepada instans Elasticsearch agar dapat mengakses ECS.

      

      • Layanan otorisasi disediakan oleh Resource Access Management (RAM). Setelah memberikan otorisasi, sistem secara otomatis membuat dua peran terkait layanan: AliyunElasticsearchAccessingOOSRole dan AliyunOOSAccessingECS4ESRole. Kebijakan sistem default yang dilampirkan masing-masing adalah AliyunElasticsearchAccessingOOSRolePolicy dan AliyunOOSAccessingECS4ESRolePolicy. Jangan menghapus peran atau kebijakan sistem ini.

      • Jika Anda menghapus kebijakan default atau peran sistem dari konsol RAM, Anda dapat memberikan kembali izin tersebut melalui Cloud Resource Access Authorization. Anda juga harus memberikan izin kustom berikut kepada Pengguna RAM untuk menghindari error izin. Untuk petunjuk cara membuat kebijakan kustom, lihat Buat kebijakan kustom.

        {
            "Version": "1",
            "Statement": [
                {
                    "Effect": "Allow",
                    "Action": [
                        "ram:CreateRole",
                        "ram:AttachPolicyToRole",
                        "ram:GetRole"
                    ],
                    "Resource": "acs:ram:*:*:role/*",
                    "Condition": {
                        "ForAllValues:StringEquals": {
                            "ram:TrustedPrincipalTypes": "Service",
                            "ram:ServiceNames": [
                                "elasticsearch.aliyuncs.com",
                                "oos.aliyuncs.com"
                            ]
                        }
                    }
                },
                {
                    "Effect": "Allow",
                    "Action": "ram:AttachPolicyToRole",
                    "Resource": "acs:ram:*:*:policy/*"
                },
                {
                    "Action": "ram:PassRole",
                    "Resource": "*",
                    "Effect": "Allow",
                    "Condition": {
                        "StringEquals": {
                            "acs:Service": "elasticsearch.aliyuncs.com"
                        }
                    }
                }
            ]
        }

   5. Di wizard Install Shipper, pilih instans ECS target.

      Catatan

      Daftar instans menampilkan semua instans ECS di bawah akun Anda yang berada dalam VPC yang sama dengan instans Elasticsearch atau Logstash yang dipilih untuk Output. Anda hanya dapat menginstal shipper pada instans ECS yang telah memiliki Cloud Assistant dan Docker terinstal.

   6. Klik Start.

   7. Di kotak dialog Start Shipper, klik Back to Beats Shippers. Lihat shipper yang baru dibuat di daftar shipper.

      Tunggu hingga Shipper Status berubah menjadi Enabled, yang menunjukkan bahwa shipper siap digunakan. Dua angka setelah Enabled merepresentasikan jumlah instalasi ECS yang berhasil dan jumlah total instans ECS target. Jika instalasi berhasil di semua instans, kedua angka tersebut akan sama.

4. Lihat instans yang sedang berjalan.

   Setelah membuat shipper, Anda dapat melihat instans yang sedang berjalan untuk memeriksa status instalasi dan melakukan troubleshooting terhadap pengecualian.

   1. Di bagian Manage Shippers, temukan shipper tersebut lalu klik View Instances di kolom Actions.

   2. Di halaman View Instances, periksa Installed Shippers.

      Installed Shippers dapat berupa salah satu dari berikut: Normal Heartbeat, No Heartbeat, atau Installation Failed. Jika statusnya No Heartbeat atau Installation Failed, Anda dapat menghapus node bermasalah atau mencoba menginstal ulang. Jika percobaan ulang gagal, lihat Troubleshoot Beats installation failures.

5. Opsi: Lihat halaman pemantauan atau dasbor.

   Jika Anda memilih Enable Kibana Monitoring atau Enable Kibana Dashboard saat membuat shipper, Anda dapat melihat informasi pemantauan atau dasbor di Kibana setelah shipper dimulai.

   1. Di bagian Manage Shippers, temukan shipper tersebut, klik ikon di kolom Actions, lalu pilih View Dashboards.

   2. Di halaman login Kibana, masukkan username dan password Anda, lalu klik Log in.

   3. Di panel navigasi kiri, klik Dashboard. Kemudian, klik metrik untuk melihat dasbornya.

   4. Di panel navigasi kiri, klik Monitoring. Kemudian, klik item pemantauan untuk melihat informasinya.

Dokumentasi terkait

Operasi API untuk membuat shipper (disebut sebagai collector dalam API): CreateCollector

FAQ

• Bagaimana cara menggunakan Beats untuk mengumpulkan log dari beberapa direktori?

  Saat mengonfigurasi shipper, klik Add, masukkan jalur di kotak teks, lalu tambahkan jalur tersebut ke parameter paths dalam Shipper YML Configuration.

• Apa yang harus saya lakukan jika instalasi Beats pada instans ECS gagal?

  Untuk informasi troubleshooting, lihat Troubleshoot Beats installation failures.