Kueri dan analisis dengan Storeview - Simple Log Service

Storeview memungkinkan Anda menjalankan kueri JOIN dan menganalisis data dari beberapa logstore. Topik ini menjelaskan cara membuat Storeview untuk logstore serta menggunakan kemampuan kueri dan analisisnya.

Buat Storeview untuk Logstore

Prasyarat

Proyek dan logstore Jenis Penyimpanan Standar telah dibuat, serta log telah dikumpulkan. Untuk informasi selengkapnya, lihat Manage projects, Create a basic Logstore, dan Data collection.

Prosedur

Masuk ke Simple Log Service console. Di daftar Projects, klik proyek yang dituju.
Di panel navigasi sebelah kiri, pilih Data View > Log Data View. Lalu, klik Create Now atau untuk membuat Log Data View.
Pada kotak dialog Create Storeview, masukkan Storeview Name, tambahkan logstore yang akan diasosiasikan, lalu klik OK. Proses pembuatan Storeview memerlukan waktu sekitar satu menit.
Catatan
- Setiap Simple Log Service project mendukung maksimal 10 Log Data View.
- Setiap Log Data View dapat diasosiasikan dengan maksimal 50 logstore.
- Semua logstore dalam satu Log Data View harus berada dalam satu Akun Alibaba Cloud yang sama.

Fitur kueri

Log Data View mendukung kueri lintas logstore. Misalnya, jika suatu Log Data View diasosiasikan dengan dua logstore, yaitu LogStore-1 dan LogStore-2, dan keduanya memiliki field a, maka kueri * | select a from log where a > 1 akan mengembalikan log dari LogStore-1 dan LogStore-2 di mana field a memenuhi kondisi a > 1.

Jika suatu Log Data View berisi dua logstore dengan konten log yang identik, kueri kata kunci akan mengembalikan semua hasil yang cocok dari kedua logstore tersebut. Anda dapat menggunakan field tag untuk mengidentifikasi logstore sumber setiap entri log.

Pada detail log hasil kueri, Anda dapat menggunakan field __tag__:__logstore__ untuk mengidentifikasi logstore sumber suatu entri log. Sebagai contoh, nilai logstore-2 menunjukkan bahwa entri log tersebut berasal dari logstore-2.

Fitur analisis

Data View mendukung analisis agregasi lintas beberapa logstore. Misalnya, jika suatu Storeview diasosiasikan dengan logstore-1 dan logstore-2, dan keduanya memiliki field bernama a, maka kueri * | select a, count(1) group by a akan mengembalikan jumlah total untuk setiap nilai field a, yang diagregasi dari kedua logstore tersebut.

Analisis agregasi memerlukan konsistensi nama field. Untuk skenario di mana logstore memiliki konten serupa tetapi nama field berbeda, Anda dapat menggunakan predefinition untuk menyaring data atau mengganti nama field. Misalnya, untuk mengagregasi field a dari logstore-1 dan field b dari logstore-2, Anda harus terlebih dahulu mengganti nama field b menjadi a.

Catatan

Saat membuat Log Data View, Anda dapat menerapkan predefinition SPL pada logstore yang diasosiasikan. Predefinition hanya mendukung kata kunci extend dan where. Hal ini memungkinkan Anda menyaring data atau menyelesaikan ketidakkonsistenan penamaan field, yang berguna untuk analisis agregasi. Misalnya, untuk mengagregasi field a dari logstore-1 dan field b dari logstore-2, Anda harus menggunakan ekspresi seperti extend a = b untuk menyelaraskan nama field tersebut.

Pertimbangkan dua skenario berikut:

Skenario 1:

Log Data View diasosiasikan dengan logstore berbeda dari layanan yang sama, dan konten log-nya identik. Dalam skenario ini, pastikan terlebih dahulu konfigurasi indeks logstore tersebut kompatibel—misalnya, semuanya menggunakan full-text indexing atau field yang diperlukan memiliki konfigurasi indeks yang sama—lalu tambahkan logstore yang diperlukan ke Log Data View.

Setelah membuat Log Data View, Anda dapat menggunakan SQL untuk analisis. Analisis nilai status yang berbeda dalam 15 menit terakhir akan mengagregasi log dari kedua logstore tersebut.

Sebagai contoh, pernyataan SQL * | SELECT status, count(*) AS PV GROUP BY status menunjukkan 4 PV untuk status 200 dan 8 PV untuk status 302.
Skenario 2:

Log Data View diasosiasikan dengan logstore berbeda dari layanan yang sama, tetapi beberapa field log memiliki nama berbeda. Dalam kasus ini, Anda dapat menggunakan predefinition SPL untuk membuat field baru dengan nama yang konsisten. Misalnya, gunakan pernyataan SPL *|extend request_method = method untuk mengganti nama field method menjadi request_method. Klik Preview Data untuk melihat hasil predefinition tersebut.

Anda kemudian dapat menggunakan field request_method dalam kueri dan analisis Anda.

Sebagai contoh, masukkan pernyataan SQL * | SELECT request_method, count(*) GROUP BY request_method order by request_method desc di editor kueri. Klik Query/Analysis dan lihat hasilnya di tab Statistics Chart. Hasilnya menunjukkan 4 permintaan GET dan 1 permintaan null.

Contoh kueri dan analisis

Skenario	Kueri yang telah didefinisikan sebelumnya	Pernyataan kueri	Hasil
logstore-1 dan logstore-2 keduanya memiliki field `key`.	Tidak ada	`key:123`	Mengembalikan baris yang berisi `key:123`.
logstore-1 dan logstore-2 keduanya memiliki field `a` dan `b`.	Tidak ada	`*\| select a where b=1`	Mengembalikan semua nilai field `a` di mana `b = 1`.
logstore-1 dan logstore-2 keduanya memiliki field `key` dan `a`.	`key:123`	`*\| select a`	Mengembalikan semua nilai field `a` yang memenuhi `key:123`.
logstore-1 dan logstore-2 keduanya memiliki field `key` dan `a`.	`key:123\|where a>1`	`*\| select a`	Mengembalikan nilai field `a` yang memenuhi kedua kondisi: `key:123` dan `a > 1`.
logstore-1 dan logstore-2 keduanya memiliki field `key` dan `a`.	`key:123\|where a>1 \|extend y=upper(a)`	`\| select `	Mengembalikan semua field yang memenuhi kondisi, termasuk field baru `y`.
logstore-1 memiliki field `a`, `b`, dan `c`. logstore-2 memiliki field `b`, `c`, dan `d`.	Tidak ada	`select a,b,c,d`	Mengembalikan field `a`, `b`, `c`, dan `d`. Field yang tidak ada dalam suatu entri log akan dikembalikan sebagai null.
logstore-1 memiliki bidang indeks `a` dan `b`. logstore-2 memiliki bidang indeks `b` dan `c`.	Tidak ada	`a:* and b:* \| select a, count(1) group by a`	Karena field `a` tidak ada di logstore-2, hanya data dari logstore-1 yang diagregasi.

Menangani ketidakkonsistenan

Kueri tetap dapat mengembalikan hasil meskipun field yang sama memiliki tipe data berbeda di berbagai logstore.
Jika kueri analisis melibatkan field yang hanya ada di sebagian logstore yang diasosiasikan, kueri tersebut hanya akan mengembalikan hasil dari logstore yang relevan.
Pernyataan analisis akan gagal dan mengembalikan error jika melibatkan field dengan konfigurasi indeks yang tidak konsisten di berbagai logstore.

Langkah selanjutnya

Kueri Storeview

Di panel navigasi sebelah kiri, pilih Data View > Log Data View untuk melihat Storeview logstore yang telah Anda buat.

Perbarui Storeview

Pada daftar Storeview, arahkan kursor ke Storeview yang dituju, klik ikon , lalu klik Modify.
Pada panel Update Storeview, Anda dapat mengubah logstore yang diasosiasikan, lalu klik OK.

Pada bagian Stores, pilih proyek dan logstore (logstore atau SQL store) untuk setiap store. Anda dapat mengklik + STORE untuk menambahkan lebih banyak store.

Hapus Storeview

Pada daftar Storeview, arahkan kursor ke Storeview yang dituju, klik ikon , lalu klik Delete.

Dokumen terkait

Storeview overview

Anda dapat mengelola Storeview menggunakan operasi API berikut: