Elasticsearch：Mengumpulkan log instance ECS

Prosedur

1. Masuk ke Konsol Elasticsearch Alibaba Cloud.

2. Navigasikan ke halaman Beats Data Shippers.

   1. Di bilah navigasi atas, pilih wilayah.

   2. Di panel navigasi sisi kiri, klik Beats Data Shippers.

   3. Opsional: Jika ini pertama kalinya Anda masuk ke halaman Beats Data Shippers, tinjau informasi dalam pesan yang muncul dan klik OK untuk mengotorisasi pembuatan peran terkait layanan untuk akun Anda.

      Catatan

      Saat Beats mengumpulkan data dari berbagai sumber, ia bergantung pada peran terkait layanan dan aturan yang ditentukan. Jangan hapus peran terkait layanan, karena dapat memengaruhi penggunaan Beats. Untuk informasi lebih lanjut, lihat Peran Terkait Layanan Elasticsearch.

3. Konfigurasikan dan aktifkan shipper untuk mengumpulkan log instance ECS.

   Catatan

   Dalam contoh ini, shipper Filebeat digunakan.

   1. Di bagian Create Shipper, arahkan pointer ke Filebeat dan klik ECS Logs.

      

      Catatan

      Untuk jenis shipper lainnya, Anda dapat langsung mengklik jenis shipper. Sebagai contoh, untuk membuat shipper Metricbeat, klik Metricbeat.

   2. Di langkah Configure Shipper, konfigurasikan parameter.

      

      Parameter	Deskripsi
      Shipper Name	Nama shipper. Nama harus memiliki panjang 1 hingga 30 karakter dan dapat berisi huruf, angka, garis bawah (_), dan tanda hubung (-). Nama harus dimulai dengan huruf.
      Version	Tetapkan parameter ini ke 6.8.5, yang merupakan satu-satunya versi yang didukung oleh Filebeat.
      Output	Tujuan untuk data yang dikumpulkan oleh shipper. Sistem menyediakan kluster Elasticsearch dan Logstash yang ada untuk Anda pilih. Protokol harus sama dengan protokol kluster Elasticsearch yang dipilih. Penting Kluster Elasticsearch V8.X tidak didukung.
      Username and Password	Jika Anda memilih Elasticsearch untuk Output, masukkan nama pengguna dan kata sandi yang digunakan untuk mengakses kluster Elasticsearch tujuan. Dengan cara ini, shipper dapat menulis data ke kluster. Nama pengguna default adalah elastic. Kata sandi ditentukan saat Anda membuat kluster Elasticsearch. Jika Anda lupa kata sandi, Anda dapat menyetel ulang. Untuk informasi lebih lanjut tentang prosedur dan tindakan pencegahan untuk menyetel ulang kata sandi, lihat Setel ulang kata sandi akses untuk kluster Elasticsearch.
      Enable Kibana Monitoring	Menentukan apakah akan memantau metrik shipper. Jika Anda memilih Elasticsearch untuk Output, monitor Kibana menggunakan kluster Elasticsearch yang sama dengan Output. Jika Anda memilih Logstash untuk Output, Anda harus mengonfigurasi monitor di file konfigurasi kluster Logstash tujuan.
      Enable Kibana Dashboard	Menentukan apakah akan mengaktifkan dasbor Kibana default. Alibaba Cloud Kibana diterapkan di VPC. Anda harus mengaktifkan fitur Akses Jaringan Pribadi untuk Kibana di halaman Konfigurasi Kibana. Untuk informasi lebih lanjut, lihat Konfigurasikan akses ke Kibana melalui Internet atau VPC.
      Filebeat File Path	Parameter ini spesifik untuk shipper Filebeat. Alibaba Cloud menerapkan Beats dengan Docker. Anda harus memetakan direktori tempat log dikumpulkan ke Docker. Direktori yang Anda tentukan harus sesuai dengan nilai input.path di filebeat.yml. Jika Anda ingin mengumpulkan log dari direktori multi-level, Anda hanya perlu menentukan satu level di direktori. Jika nama level di direktori berisi asterisk (*), Anda tidak perlu memasukkan nama level ini saat mengonfigurasi Path File Filebeat. Sebagai contoh, jika Anda ingin mengumpulkan log dari direktori /var/log/*/*.log dan Anda menentukan input.path: /var/log/*/*.log di filebeat.yml, Anda hanya perlu memasukkan /var/ atau /var/log/ saat mengonfigurasi Path File Filebeat. Penting Anda dapat menentukan direktori atau path lengkap. Anda juga dapat menentukan nilai untuk pencocokan kabur jenis file tertentu di path. Jika Anda ingin mengumpulkan log dari beberapa direktori, klik Add, masukkan direktori tempat Anda ingin mengumpulkan log, lalu tambahkan direktori ke nilai parameter paths di Shipper YML Configuration.
      Shipper YML Configuration	File konfigurasi YML shipper. Anda harus memastikan bahwa pengumpulan log diaktifkan dan bahwa nilai paths sama dengan nilai Path File Filebeat. Kode berikut memberikan contoh: filebeat.inputs: - type: log enabled: true paths: - /var/log/*.log Anda dapat mengonfigurasi parameter lainnya berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Siapkan file konfigurasi YML untuk shipper.

      Penting

      • Jika Anda sudah mengonfigurasi Output, Anda tidak perlu menentukan tujuan lagi di Shipper YML Configuration. Jika tidak, sistem akan melaporkan kesalahan instalasi shipper.

      • Alibaba Cloud Filebeat tidak mengizinkan penyesuaian nama indeks. Secara default, sistem membuat indeks dengan format filebeat-%{[agent.version]}-%{+yyyy.MM.dd}, seperti filebeat-6.8.5-2021.12.11.

   3. Klik Next.

   4. Opsional: Jika ini pertama kalinya Anda masuk ke langkah Install Shipper, klik Authorize Now. Di halaman Cloud Resource Access Authorization, klik Agree to Authorization untuk mengotorisasi kluster Elasticsearch yang dipilih mengakses instance ECS.

      

      • Layanan otorisasi disediakan oleh layanan Resource Access Management (RAM). Setelah Anda mengonfirmasi otorisasi, sistem secara otomatis membuat peran sistem AliyunElasticsearchAccessingOOSRole dan AliyunOOSAccessingECS4ESRole. Kebijakan sistem default untuk AliyunElasticsearchAccessingOOSRole adalah AliyunElasticsearchAccessingOOSRolePolicy, dan untuk AliyunOOSAccessingECS4ESRole adalah AliyunOOSAccessingECS4ESRolePolicy. Jangan hapus peran dan kebijakan sistem selama penggunaan Beats.

      • Jika peran atau kebijakan sistem dihapus, Anda dapat masuk ke halaman Otorisasi Akses Sumber Daya Cloud untuk melakukan otorisasi ulang. Anda dapat melampirkan kebijakan kustom berikut ke pengguna RAM yang Anda gunakan. Jika tidak, sistem akan menampilkan pesan kesalahan yang menunjukkan bahwa Anda tidak memiliki izin yang diperlukan. Untuk informasi tentang cara membuat kebijakan kustom, lihat Buat Kebijakan Kustom.

        {
            "Version": "1",
            "Statement": [
                {
                    "Effect": "Allow",
                    "Action": [
                        "ram:CreateRole",
                        "ram:AttachPolicyToRole",
                        "ram:GetRole"
                    ],
                    "Resource": "acs:ram:*:*:role/*",
                    "Condition": {
                        "ForAllValues:StringEquals": {
                            "ram:TrustedPrincipalTypes": "Service",
                            "ram:ServiceNames": [
                                "elasticsearch.aliyuncs.com",
                                "oos.aliyuncs.com"
                            ]
                        }
                    }
                },
                {
                    "Effect": "Allow",
                    "Action": "ram:AttachPolicyToRole",
                    "Resource": "acs:ram:*:*:policy/*"
                },
                {
                    "Action": "ram:PassRole",
                    "Resource": "*",
                    "Effect": "Allow",
                    "Condition": {
                        "StringEquals": {
                            "acs:Service": "elasticsearch.aliyuncs.com"
                        }
                    }
                }
            ]
        }

   5. Di langkah Install Shipper, pilih instance ECS tempat Anda ingin menginstal shipper.

      Catatan

      Semua instance ECS dalam akun Anda yang berada di VPC yang sama dengan kluster Elasticsearch atau Logstash yang dipilih untuk Output ditampilkan. Shipper hanya dapat diinstal di instance ECS tempat Cloud Assistant dan Docker diinstal.

   6. Klik Start.

   7. Di kotak dialog Start Shipper, klik Back to Beats Shippers. Di bagian Kelola Shippers halaman Beats Data Shippers, lihat shipper yang baru dibuat.

      Setelah nilai Status untuk shipper berubah menjadi Enabled, shipper telah berhasil dibuat. Dua angka yang mengikuti Enabled menunjukkan jumlah instance ECS tempat shipper diinstal dan jumlah total instance ECS tempat Anda ingin menginstal shipper. Jika shipper diinstal di semua instance ECS, kedua angka tersebut akan sama.

4. Lihat instance ECS yang sedang berjalan.

   Setelah shipper dibuat, Anda dapat melihat instance ECS yang sedang berjalan untuk memeriksa apakah instalasi shipper berhasil dan menangani pengecualian sesuai petunjuk.

   1. Di bagian Manage Shippers, temukan shipper yang baru dibuat dan klik View Instances di kolom Actions.

   2. Di panel View Instances, periksa apakah shipper installation di instance ECS berhasil.

      Kolom Installed Shippers memberikan nilai Normal Heartbeat, No Heartbeat, atau Installation Failed untuk menunjukkan status instalasi shipper di instance ECS. Jika nilai Shippers Terpasang adalah No Heartbeat atau Installation Failed, Anda dapat menghapus instance atau mencoba instalasi ulang di instance tersebut. Jika percobaan ulang gagal, Anda dapat memecahkan masalah berdasarkan instruksi yang diberikan di Kegagalan Instalasi Shippers Beats.

5. Opsional: Lihat informasi pemantauan dan dasbor.

   Jika Anda memilih Enable Kibana Monitoring atau Enable Kibana Dashboard di langkah Konfigurasi Shipper, Anda dapat melihat informasi pemantauan atau dasbor di konsol Kibana kluster Elasticsearch tujuan setelah shipper dijalankan.

   1. Di bagian Manage Shippers, temukan shipper yang baru dibuat, arahkan pointer ke di kolom Actions, lalu pilih View Dashboards.

   2. Di halaman login konsol Kibana, masukkan nama pengguna dan kata sandi, lalu klik Log in.

   3. Di panel navigasi sisi kiri, klik Dashboard dan klik metrik yang ingin Anda lihat dasbornya. Kemudian, Anda dapat melihat dasbor metrik tersebut.

   4. Di panel navigasi sisi kiri, klik Monitoring dan pilih item pemantauan yang ingin Anda lihat informasinya. Kemudian, Anda dapat melihat informasi item pemantauan tersebut.

Referensi

Operasi API untuk membuat shipper: CreateCollector

Tanya Jawab Umum

• Bagaimana cara menggunakan shipper Filebeat untuk mengumpulkan log dari beberapa direktori?

  Saat mengonfigurasi parameter Path File Filebeat untuk shipper Filebeat Anda, klik Add, masukkan direktori tempat Anda ingin mengumpulkan log, lalu tambahkan direktori ke nilai parameter paths di Shipper YML Configuration.

  

• Apa yang harus saya lakukan jika gagal menginstal shipper Beats di instance ECS?

  Pecahkan masalah dengan mengikuti instruksi yang diberikan di Kegagalan Instalasi Shippers Beats.