Elasticsearch：Integrasikan Prometheus dan Grafana dengan TimeStream untuk Observabilitas

Prasyarat

Kluster Elasticsearch yang memenuhi persyaratan versi berikut telah dibuat: Versi kluster adalah V7.10 dan versi kernel kluster adalah V1.8.0 atau lebih baru, atau versi kluster adalah V7.16 atau lebih baru dan versi kernel kluster adalah V1.7.0 atau lebih baru. Untuk informasi tentang cara membuat kluster Elasticsearch, lihat Buat kluster Alibaba Cloud Elasticsearch.

Prosedur

1. Langkah 1: Siapkan Lingkungan

2. Langkah 2: Unduh dan Jalankan node_exporter

3. Langkah 3: Unduh, Konfigurasikan, dan Jalankan Prometheus

4. Langkah 4: Unduh, Jalankan, dan Konfigurasikan Dasbor Grafana

Langkah 1: Siapkan Lingkungan

1. Buat instans Alibaba Cloud Elasticsearch edisi General Business Edition V7.16.

   Untuk langkah-langkah detail, lihat Buat instans Alibaba Cloud Elasticsearch.

2. Buat instans ECS yang berada dalam virtual private cloud (VPC) yang sama dengan instans Elasticsearch yang dibuat di Langkah 1, dan gunakan sistem operasi Linux.

   Untuk langkah-langkah detail pembuatan instans ECS, lihat Kustomisasi Pembelian Instans. Instans ECS ini digunakan untuk mengakses kluster Alibaba Cloud Elasticsearch serta menginstal Prometheus dan Grafana, sehingga memungkinkan integrasi antara Alibaba Cloud Elasticsearch, Prometheus, dan Grafana.

3. Buat indeks TimeStream Elasticsearch untuk menerima data Prometheus.

   1. Login ke konsol Kibana instans Alibaba Cloud Elasticsearch Anda. Anda akan diarahkan ke halaman utama Kibana.

      Untuk informasi lebih lanjut, lihat Login ke konsol Kibana.

   2. Di panel navigasi sebelah kiri, klik ikon , lalu pilih Management > Developer Tools.

   3. Di console, eksekusi perintah PUT _time_stream/prom_index untuk membuat indeks TimeStream bernama prom_index.

Langkah 2: Unduh dan Jalankan node_exporter

Prometheus Node Exporter mengekspos berbagai metrik terkait perangkat keras dan kernel, serta memungkinkan Prometheus membaca data metrik tersebut. Untuk informasi lebih lanjut tentang Node Exporter dan cara menginstalnya, lihat node_exporter.

1. Hubungkan ke instans ECS.

   Untuk langkah-langkah spesifik, lihat Login ke instans Linux menggunakan password atau pasangan kunci SSH.

   Catatan

   Topik ini menggunakan izin pengguna biasa sebagai contoh.

2. Unduh paket instalasi node_exporter.

   Contoh ini menggunakan node_exporter V1.3.1. Perintah unduhnya adalah sebagai berikut:

   wget https://github.com/prometheus/node_exporter/releases/download/v1.3.1/node_exporter-1.3.1.linux-amd64.tar.gz

3. Ekstrak paket instalasi dan jalankan node_exporter.

   tar xvfz node_exporter-1.3.1.linux-amd64.tar.gz
   cd node_exporter-1.3.1.linux-amd64
   ./node_exporter

Langkah 3: Unduh, Konfigurasikan, dan Jalankan Prometheus

1. Hubungkan ke instans ECS.

   Untuk informasi lebih lanjut, lihat Login ke instans Linux menggunakan password atau kunci.

2. Unduh paket instalasi Prometheus ke direktori root.

   Contoh ini menggunakan Prometheus V2.36.2. Perintah unduhnya adalah sebagai berikut:

   cd ~
   wget https://github.com/prometheus/prometheus/releases/download/v2.36.2/prometheus-2.36.2.linux-amd64.tar.gz

3. Ekstrak paket instalasi Prometheus.

   tar xvfz prometheus-2.36.2.linux-amd64.tar.gz

4. Di file prometheus.yml dalam folder Prometheus, konfigurasikan node_exporter dan remote_write.

   cd prometheus-2.36.2.linux-amd64
   vim prometheus.yml

   Contoh konfigurasinya adalah sebagai berikut:

   scrape_configs:
     # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
     - job_name: 'prometheus'
   
       # metrics_path defaults to '/metrics'
       # scheme defaults to 'http'.
   
       static_configs:
       - targets: ['localhost:9090']
   
     # Configure node_exporter.
     - job_name: "node"
       static_configs:
       - targets: ["127.0.0.1:9100"]
   
   # Configure remote_write. Ensure Prometheus can access the Elasticsearch cluster.
   remote_write:
     - url: "http://xxx:9200/_time_stream/prom_write/prom_index"
       basic_auth:
        username: elastic
        password: xxxx

   Parameter	Deskripsi
   node_exporter	Konfigurasikan informasi koneksi untuk node_exporter. targets harus diatur ke endpoint:port node_exporter. Karena Prometheus dan Node Exporter dideploy pada instans ECS yang sama dalam contoh ini, gunakan alamat IP lokal 127.0.0.1 sebagai endpoint Node Exporter dan port default 9100.
   remote_write	Konfigurasikan informasi koneksi indeks time series pada instans Elasticsearch. Anda harus mengonfigurasi parameter dasar berikut. Untuk parameter lanjutan, lihat remote_write. url: URL untuk mengakses indeks TimeStream. Format: http://<Endpoint publik atau internal instans Elasticsearch>:9200/_time_stream/prom_write/<yourTimeStreamIndex>. Catatan Alamat akses publik atau internal-facing instans Elasticsearch: Anda dapat memperoleh alamat tersebut dari halaman Basic Information instans Elasticsearch. Jika instans ECS tempat Prometheus dideploy berada dalam VPC yang sama dengan instans Elasticsearch, Anda dapat menggunakan alamat akses internal-facing (topik ini menggunakan metode ini sebagai contoh). Jika tidak berada dalam VPC yang sama, Anda perlu menggunakan alamat akses publik dan mengonfigurasi daftar putih akses publik. Untuk informasi lebih lanjut, lihat Konfigurasikan daftar putih akses publik atau internal-facing untuk instans. <yourTimeStreamIndex>: Indeks TimeStream Elasticsearch yang digunakan untuk menerima data Prometheus. Anda harus membuat indeks ini terlebih dahulu. Topik ini menggunakan indeks prom_index sebagai contoh. username: Username yang digunakan untuk mengakses indeks TimeStream. Nilai default-nya adalah akun administrator elastic. Anda juga dapat menggunakan pengguna kustom, tetapi pastikan pengguna kustom tersebut memiliki izin untuk mengakses dan mengelola indeks TimeStream. Untuk informasi lebih lanjut, lihat Kontrol Izin Pengguna Menggunakan Manajemen Peran X-Pack Elasticsearch. password: Password untuk akun pengguna yang digunakan untuk mengakses indeks TimeStream. Password untuk akun elastic ditetapkan saat Anda membuat instans. Jika lupa password, Anda dapat mengatur ulang. Untuk informasi tentang tindakan pencegahan dan prosedur pengaturan ulang password, lihat Atur ulang password akses instans.

5. Jalankan Prometheus.

   ./prometheus

6. Verifikasi apakah data Prometheus telah disinkronkan ke indeks TimeStream Elasticsearch.

   Di konsol Kibana Elasticsearch, jalankan perintah berikut untuk verifikasi:

   • Periksa apakah indeks prom_index sudah berisi data.

     GET _cat/indices/prom_index?v&s=i

     Hasil yang diharapkan:

   • Konfirmasi apakah Anda dapat melakukan kueri dan melihat datanya.

     GET prom_index/_search

     Hasil yang diharapkan:

Langkah 4: Unduh, Jalankan, dan Konfigurasikan Dasbor Grafana

1. Hubungkan ke instans ECS.

   Untuk instruksi spesifik, lihat Login ke instans Linux menggunakan password atau pasangan kunci SSH.

2. Unduh paket instalasi Grafana ke direktori root.

   Contoh ini menggunakan Grafana V9.0.2. Perintah unduhnya adalah sebagai berikut:

   cd ~
   wget https://dl.grafana.com/enterprise/release/grafana-enterprise-9.0.2.linux-amd64.tar.gz

3. Ekstrak paket instalasi Grafana dan jalankan Grafana.

   tar xvfz grafana-enterprise-9.0.2.linux-amd64.tar.gz
   cd grafana-9.0.2
   ./bin/grafana-server

4. Di browser, masukkan endpoint Grafana http://<alamat IP publik instans ECS>:3000. Buka halaman login Grafana, lalu masukkan username dan password Anda untuk mengakses konsol Grafana.

   • Pertama kali login ke konsol Grafana, gunakan username dan password default, yaitu `admin`. Setelah login, sistem akan meminta Anda mengubah password. Setelah mengubah password, Anda dapat mengakses konsol Grafana.

   • Alamat IP publik instans ECS Anda: Buka ECS console, lalu peroleh dari kolom IP Address instans terkait.

   • Port default untuk mengakses Grafana adalah 3000. Saat mengakses port 3000 di browser, Anda harus mengonfigurasi aturan security group inbound untuk instans ECS Anda, atur Destination ke 3000, dan atur Source ke alamat IP client Anda. Untuk informasi lebih lanjut, lihat Menambahkan Aturan Security Group.

5. Buat sumber data Prometheus di Grafana.

   1. Di panel navigasi sebelah kiri konsol Grafana, pilih > Data sources.

   2. Di tab Data sources, klik Add data source.

   3. Di daftar Time series databases, klik Prometheus.

   4. Di tab Settings, konfigurasikan informasi sumber data Prometheus.

      

      Parameter yang harus dikonfigurasi dalam topik ini adalah sebagai berikut:

      Parameter	Deskripsi
      URL	URL untuk mengakses indeks TimeStream. Format: http://<Endpoint publik atau internal instans Elasticsearch>:9200/_time_stream/prom/<yourTimeStreamIndex>. Catatan Alamat akses publik atau internal-facing instans Elasticsearch: Anda dapat memperoleh alamat tersebut dari halaman Basic Information instans Elasticsearch. Jika instans ECS tempat Prometheus dideploy berada dalam VPC yang sama dengan instans Elasticsearch, Anda dapat menggunakan alamat akses internal-facing (topik ini menggunakan metode ini sebagai contoh). Jika tidak berada dalam VPC yang sama, Anda perlu menggunakan alamat akses publik dan mengonfigurasi daftar putih akses publik. Untuk informasi lebih lanjut, lihat Konfigurasikan daftar putih akses publik atau internal-facing untuk instans. <yourTimeStreamIndex>: Indeks TimeStream Elasticsearch yang digunakan untuk menerima data Prometheus. Anda harus membuat indeks ini terlebih dahulu. Topik ini menggunakan indeks prom_index sebagai contoh.
      Basic auth	Aktifkan Basic auth untuk instans Elasticsearch. Jika diaktifkan, konfigurasikan username dan password untuk mengakses instans Elasticsearch.
      User	Username yang digunakan untuk mengakses indeks TimeStream. Default-nya adalah akun administrator elastic. Anda juga dapat menggunakan pengguna kustom, tetapi pastikan pengguna kustom tersebut memiliki izin untuk mengakses dan mengelola indeks TimeStream. Untuk informasi lebih lanjut, lihat Kelola Izin Pengguna Menggunakan Manajemen Peran X-Pack Elasticsearch.
      Password	Password untuk pengguna yang mengakses indeks TimeStream. Password untuk akun elastic ditetapkan saat Anda membuat instans. Jika lupa password, Anda dapat mengatur ulang. Untuk informasi lebih lanjut, lihat Atur ulang password akses instans.

   5. Klik Save&test.

      Setelah konfigurasi berhasil, sistem akan menampilkan Data source is working.

6. Buat dasbor di Grafana untuk menampilkan sumber data Prometheus.

   1. Di panel navigasi sebelah kiri konsol Grafana, pilih > New dashboard.

   2. Klik Add a new panel.

   3. Pilih Data source dan rentang waktu, lalu klik Run queries untuk melakukan kueri data.

      

   4. Klik Save di pojok kanan atas untuk menyimpan Dashboard.

7. Impor dasbor bawaan Grafana untuk node_exporter di Grafana. Konfigurasikan sumber data Prometheus untuk menghasilkan dasbor pemantauan metrik.

   1. Di panel navigasi sebelah kiri konsol Grafana, pilih > Import.

   2. Di kotak teks Import via grafana.com, masukkan URL atau ID Grafana untuk node_exporter, misalnya https://grafana.com/grafana/dashboards/1860 atau 1860.

      

   3. Klik Load.

   4. Di halaman konfigurasi, pilih sumber data Prometheus yang telah Anda buat sebelumnya.

      

   5. Klik Import.

   6. Di pojok kanan atas halaman Dashboard, pilih waktu kueri. Anda kemudian dapat melihat dasbor pemantauan metrik untuk periode waktu yang sesuai.

      

      Catatan

      Untuk informasi lebih lanjut, lihat Dokumentasi Grafana.

Referensi

• Mulai Cepat: Kelola data time series Elasticsearch dengan TimeStream

• Pengenalan Fitur: API TimeStream

• Integrasikan TimeStream dengan API Prometheus