Simple Log Service:Integrasikan dengan Grafana

Kompatibilitas plugin

Tabel berikut menjelaskan kompatibilitas antara Grafana dan plugin SLS.

Catatan penggunaan

Jika Anda mengonfigurasi pengalihan berbasis STS, kondisi keamanan berikut harus dipenuhi:

• Pengguna yang terkait dengan kunci akses sumber data harus memiliki kebijakan akses AliyunRAMReadOnlyAccess dan AliyunSTSAssumeRoleAccess, izin untuk memanggil API CreateTicket, serta izin yang diperlukan untuk SLS.

• Peran RAM yang ditentukan dalam bidang RoleArn sumber data hanya boleh memiliki kebijakan akses AliyunLogReadOnlyAccess.

• Untuk informasi selengkapnya tentang cara kerja ini, lihat Sematkan dan bagikan halaman konsol.

Jika Anda mengonfigurasi akses tanpa login, pastikan sumber data tidak digunakan dalam dasbor Grafana yang dibagikan secara publik. Akses publik dapat meningkatkan biaya traffic dan membocorkan konten log.

Langkah 1: Instal plugin SLS

1. Jalankan perintah berikut untuk mengekstrak paket plugin ke direktori plugin Grafana.

   • Untuk Grafana yang diinstal dari repositori YUM atau paket RPM:

     unzip aliyun-log-grafana-datasource-plugin-master.zip -d /var/lib/grafana/plugins

   • Untuk Grafana yang diinstal dari file .tar.gz:

     Dalam perintah ini, {PATH_TO} adalah path instalasi Grafana.

     unzip aliyun-log-grafana-datasource-plugin-master.zip -d {PATH_TO}/grafana-11.4.0/data/plugins

2. Ubah file konfigurasi Grafana.

   1. Buka file konfigurasi.

      • Untuk Grafana yang diinstal dari repositori YUM atau paket RPM: /etc/grafana/grafana.ini

      • Untuk Grafana yang diinstal dari file .tar.gz: {PATH_TO}/grafana-11.4.0/conf/defaults.ini

   2. Pada bagian [plugins] file konfigurasi, atur parameter allow_loading_unsigned_plugins.

      allow_loading_unsigned_plugins = aliyun-log-service-datasource

3. Restart Grafana.

   1. Gunakan perintah kill untuk menghentikan proses Grafana.

   2. Jalankan salah satu perintah berikut untuk memulai Grafana.

      • Untuk Grafana yang diinstal dari repositori YUM atau paket RPM:

        systemctl restart grafana-server

      • Untuk Grafana yang diinstal dari file .tar.gz:

        ./bin/grafana-server web

Langkah 2: Tambahkan sumber data

1. Login ke Grafana.

2. Di panel navigasi sebelah kiri, pilih Connections > Data Sources.

3. Pada tab Data Sources, klik Add data source.

4. Pada halaman Add data source, cari dan klik log-service-datasource.

5. Pada halaman aliyun-log-service-datasource, konfigurasikan pengaturan berikut.

   • Tabel berikut menjelaskan parameter yang diperlukan.

     Parameter	Deskripsi
     Endpoint	Titik akhir untuk Project, misalnya http://cn-qingdao.log.aliyuncs.com. Gunakan titik akhir aktual Anda. Untuk informasi selengkapnya, lihat Endpoints.
     Project	Nama Project SLS.
     AccessKeyID	ID AccessKey digunakan untuk mengidentifikasi pengguna. Untuk informasi selengkapnya, lihat Pasangan kunci akses. Kami menyarankan agar Anda hanya memberikan izin yang diperlukan kepada pengguna RAM berdasarkan prinsip hak istimewa minimal. Untuk informasi selengkapnya tentang cara memberikan izin kepada pengguna RAM, lihat Buat pengguna RAM dan berikan izin dan Contoh kebijakan kustom RAM.
     AccessKeySecret	Rahasia AccessKey digunakan untuk mengenkripsi dan memverifikasi string signature. Rahasia AccessKey harus dirahasiakan.

   • Tabel berikut menjelaskan parameter opsional.

     Parameter	Deskripsi
     Name	Nama sumber data. Nilai default-nya adalah aliyun-log-service-datasource.
     Default	Sakelar ini diaktifkan secara default.
     Default LogStore	Jika Anda mengabaikan Logstore, pastikan kunci akses Anda memiliki izin ListProject untuk Project saat ini.
     RoleArn	Diperlukan untuk pengalihan berbasis STS. Tentukan ARN dari peran RAM.
     HTTP headers	Header kustom didukung dan hanya berlaku ketika jenis sumber data adalah MetricStore(PromQL). Untuk detail konfigurasi, lihat pengaturan FormValue di Percepat kueri. Daftar berikut menjelaskan bidang Headers: x-sls-parallel-enable: Menentukan apakah akan mengaktifkan komputasi konkuren. Secara default dinonaktifkan. x-sls-parallel-time-piece-interval: Unit waktu untuk sharding berdasarkan rentang waktu, dalam detik. Rentang yang didukung adalah [3600, 86400*30]. Nilai default-nya adalah 21600 (6 jam). x-sls-parallel-time-piece-count: Jumlah shard saat melakukan sharding berdasarkan rentang waktu. Rentang yang didukung adalah 1 hingga 16. Nilai default-nya adalah 8. x-sls-parallel-count: Konkurensi global. Rentang yang didukung adalah 2 hingga 64. Nilai default-nya adalah 8. x-sls-parallel-count-per-host: Konkurensi per host. Rentang yang didukung adalah 1 hingga 8. Nilai default-nya adalah 2. x-sls-global-cache-enable: Menentukan apakah akan mengaktifkan cache global. Secara default dinonaktifkan.
     Region	Mendukung signature v4 untuk keamanan yang lebih baik.

6. Setelah menyelesaikan konfigurasi, klik Save & test.

Langkah 3: Tambahkan dasbor

Untuk menambahkan dasbor ke Grafana:

1. Di panel navigasi sebelah kiri, klik Dashboards.

2. Pada panel Dashboards, klik + Created dashboard. Lalu, klik + Add visualization.

3. Pada halaman Select data source, pilih aliyun-log-service-datasource sebagai sumber data.

4. Tambahkan panel visualisasi.

   Daftar berikut menjelaskan pengaturannya:

   • Data Source Type: Tersedia empat jenis, berdasarkan sintaks (SQL dan PromQL) dan jenis penyimpanan: ALL(SQL), Logstore(SQL), MetricStore(SQL), dan MetricStore(PromQL).

     • Logstore mendukung SQL untuk kueri dan analisis.

     • Metricstore mendukung SQL dan PromQL untuk kueri dan analisis.

     • MetricStore(PromQL) mendukung penambahan header kustom pada halaman konfigurasi sumber data.

   • Logstore list: Pilih nama Logstore yang akan dikueri.

   • Query: Masukkan pernyataan kueri, contohnya:

     * | select count(*) as c, __time__-__time__%60 as t group by t

   • ycol: null

   • xcol: Pilih TimeSeries / Custom dan masukkan t.

   • goto SLS: Pengalihan satu klik ke konsol SLS.

     Pada halaman Explore dan dasbor, Anda dapat mengklik goto SLS untuk langsung menuju konsol SLS guna perbandingan. Anda juga dapat menggunakan fitur yang lebih kuat dan kemampuan pencarian log yang fleksibel dari konsol SLS. Saat dialihkan, informasi kueri dan waktu ikut dibawa, sehingga tidak perlu dimasukkan manual.

     Metode pengalihan ini membawa Anda langsung ke konsol SLS dan tidak memerlukan konfigurasi tambahan. Namun, Anda harus sudah login ke konsol SLS di browser Anda; jika tidak, Anda akan dialihkan ke halaman login.

     Catatan

     Fitur ini tersedia di SLS Grafana Plugin versi 2.30 dan yang lebih baru.

5. Pada Panel options di sebelah kanan, masukkan Judul, lalu klik Save dashboard di pojok kanan atas. Pada kotak dialog yang muncul, klik Save.

Konfigurasikan variabel templat

Konfigurasikan variabel interval waktu

Konfigurasikan variabel nama domain

Konfigurasi grafik

Grafik pie

Format xcol: pie.

Format ycol: <grouping_column>, <numeric_column>.

• Contoh 1

  Jenis panel: Pie Chart

  xcol: pie

  ycol: request_method, c

  query:

  request_method: "$method" | select count(*) as c, request_method group by request_method

  Hasil kueri ditampilkan sebagai grafik pie yang menunjukkan distribusi berbagai metode permintaan HTTP, seperti GET, POST, PUT, dan DELETE.

• Contoh 2

  Jenis panel: Pie Chart

  xcol: pie

  ycol: http_user_agent, pv

  query:

  * | select count(1) as pv, case when http_user_agent like '%Chrome%' then 'Chrome' when http_user_agent like '%Firefox%' then 'Firefox' when http_user_agent like '%Safari%' then 'Safari' else 'unKnown' end as http_user_agent group by case when http_user_agent like '%Chrome%' then 'Chrome' when http_user_agent like '%Firefox%' then 'Firefox' when http_user_agent like '%Safari%' then 'Safari' else 'unKnown' end order by pv desc limit 10

  Hasil kueri ditampilkan sebagai grafik pie yang menunjukkan persentase traffic dari browser berbeda: Chrome, Firefox, Safari, dan unKnown.

• Kasus penggunaan lain

  Format untuk panel Stat juga dapat diterapkan pada grafik pie untuk menghasilkan visualisasi yang valid.

  Jenis panel: Pie Chart

  xcol: stat

  ycol: hostNameNum, ipNum

  query:

  * | select count(distinct labels['hostname']) as hostNameNum, count(distinct labels['ip']) + 20 as ipNum from (select promql_query('${metricName}{cluster =~ ".*"}') from metrics ) limit 100000

  Hasil kueri ditampilkan sebagai grafik pie yang menunjukkan proporsi metrik hostNameNum dan ipNum.

Deret waktu

Format xcol: <time_column>.

Format ycol: <numeric_column> [, <numeric_column>, ...] (sintaks Logstore) atau <labels / grouping_column>#:#<numeric_column> (sintaks Metricstore atau sintaks agregasi log).

• Contoh 1

  Jenis panel: Time series

  xcol: time

  ycol: pv, uv

  query:

  * | select __time__ - __time__ % $${myinterval} as time, COUNT(*)/ 100 as pv, approx_distinct(remote_addr)/ 60 as uv GROUP BY time order by time limit 2000

  Hasil kueri ditampilkan sebagai grafik garis deret waktu yang menunjukkan tren dua seri, pv dan uv, seiring waktu.

• Contoh 2

  Jenis panel: Time series

  xcol: time

  ycol: labels#:#value

  query:

  * | select time, * from (select promql_query_range('${metricName}') from metrics) limit 1000

  Hasil kueri ditampilkan sebagai grafik garis deret waktu, di mana setiap seri secara otomatis diberi nama dan dikelompokkan berdasarkan label-nya.

• Contoh 3

  Anda juga dapat menggunakan SQL untuk menyesuaikan tampilan label deret waktu.

  Jenis panel: Time series

  xcol: time

  ycol: customLabelsExtract#:#value

  query:

  * | select concat(labels['ip'], ' -> ', labels['cluster']) as customLabelsExtract, value from (select promql_query_range('${metricName}') from metrics) limit 1000

  Hasil kueri ditampilkan sebagai grafik garis deret waktu, dengan nama seri ditentukan oleh bidang SQL kustom customLabelsExtract (format: IP -> cluster).

Grafik batang

Format xcol: bar.

Format ycol: <grouping_column>, <numeric_column> [, <numeric_column>, ...].

• Contoh 1

  Jenis panel: Bar chart

  xcol: bar

  ycol: host, pv, pv2, uv

  query:

  * | select host, COUNT(*)+10 as pv, COUNT(*)+20 as pv2, approx_distinct(remote_addr) as uv GROUP BY host ORDER BY uv desc LIMIT 5

  Hasil kueri ditampilkan sebagai grafik batang horizontal yang membandingkan metrik pv, pv2, dan uv untuk setiap host.

Tabel

Panel Tabel mendukung pengurutan berdasarkan waktu dengan presisi nanodetik jika ada bidang nanodetik.

Mendukung modifikasi jumlah totalLogs. Default-nya adalah 100, minimum 1, dan maksimum 5000. Ini hanya berlaku untuk pernyataan kueri, bukan pernyataan analisis.

Sintaks xcol: <empty>.

Format ycol: Biarkan bidang ini kosong atau tentukan <display_column> [, <display_column>, ...].

• Contoh 1

  Jenis panel: Table

  xcol: Table/Log

  ycol: <empty>

  query:

  * | select __time__ - __time__ % 60 as time, COUNT(*)/ 100 as pv, approx_distinct(remote_addr)/ 60 as uv GROUP BY time order by time limit 2000

  Hasil kueri ditampilkan dalam tabel dengan kolom untuk time, pv, dan uv.

Log

Sintaks xcol: <empty>.

Sintaks ycol: <empty>.

Contoh

Jenis panel: Logs

xcol: <Empty>

ycol: <Empty>

query:

host: www.vt.mock.com

Hasil kueri ditampilkan dalam panel Logs yang menunjukkan entri log mentah, dengan setiap entri menampilkan pasangan kunci-nilai untuk bidang-bidangnya.

Jejak

Jenis panel: Traces

xcol: trace

ycol: <empty>

query:

traceID: "f88271003ab7d29ffee1eb8b68c58237"

Hasil kueri ditampilkan dalam panel Traces yang menunjukkan informasi jejak. Sisi kiri mencantumkan Service & Operation, dan sisi kanan menampilkan timeline diagram Gantt untuk setiap rentang, menggambarkan hierarki dan durasi jejak.

traceID: "f88271003ab7d29ffee1eb8b68c58237" and resource.deployment.environment : "dev" and service : "web_request" and duration > 10

GeoMap

Format xcol: map.

Format ycol: <country_column>, <geolocation_column>, <numeric_column>.

Contoh

Jenis panel: GeoMap

xcol: map

ycol: country, geo, pv

query:

* | select count(1) as pv ,geohash(ip_to_geo(arbitrary(remote_addr))) as geo,ip_to_country(remote_addr) as country from log group by country having geo <>'' limit 1000

Hasil kueri ditampilkan pada GeoMap, menunjukkan distribusi traffic di berbagai wilayah pada peta dunia. Ukuran lingkaran menunjukkan volume traffic.

FAQ

• Di mana log Grafana disimpan?

  Log Grafana disimpan di direktori berikut:

  • macOS: /usr/local/var/log/grafana

  • Linux: /var/log/grafana

• Apa yang harus saya lakukan jika muncul pesan aliyun-log-plugin_linux_amd64: permission denied di log?

  Berikan izin eksekusi ke direktori dist/aliyun-log-plugin_linux_amd64 di direktori plugin.