Simple Log Service:Konversi data

Jenis aturan konversi data

Saat membuat grafik, Anda dapat mengonfigurasi aturan konversi data. Jenis yang didukung meliputi Connect, Category, Parse Timestamp, Group By, dan Transpose Rows and Columns.

• Category: mengelompokkan hasil pernyataan kueri berdasarkan bidang tertentu dan melakukan perhitungan untuk setiap kelompok. Tabel berikut menjelaskan parameter-parameternya. Untuk informasi selengkapnya, lihat Contoh Category.

  Parameter	Deskripsi
  Select Data Source	Pilih pernyataan kueri yang hasilnya ingin Anda klasifikasikan. Misalnya, jika Anda memilih A, hasil Pernyataan Kueri A akan diklasifikasikan.
  X-axis	Pilih bidang sebagai sumbu x.
  Y-axis	Pilih bidang sebagai sumbu y.
  Aggregate Column	Pilih bidang untuk mengklasifikasikan dan mengagregasi data lebih lanjut. Misalnya, memilih bidang kind akan mengklasifikasikan dan mengagregasi data berdasarkan bidang tersebut.

• Connect: menggabungkan hasil beberapa pernyataan kueri menggunakan Left Join, Right Join, atau Full Join, lalu menampilkan hasil gabungan tersebut dalam grafik. Tabel berikut menjelaskan parameter-parameternya. Untuk informasi selengkapnya, lihat Contoh Connect.

  Parameter	Deskripsi
  Connection Mode	Pilih metode join untuk menggabungkan hasil kueri.
  Connection Field	Pilih bidang yang umum pada semua hasil kueri sebagai kunci gabungan.

Misalnya, untuk konversi data TA, atur tipe ke Category, Select Data Source ke A, x-axis ke Time, y-axis ke count, dan aggregate column ke kind. Untuk konversi data TB, atur tipe ke Connect, Connection Mode ke Left Join, dan Connection Field ke Time.

Contoh Connect

Pernyataan kueri A dan B keduanya mengembalikan hasil yang mencakup bidang time. Anda dapat menggunakan Left Join pada bidang time untuk menggabungkan hasil tersebut dan menampilkannya dalam tabel.

• Konfigurasi kueri dan analisis: Kueri dan analisis A menggunakan LogStore (SQL). Logstore-nya adalah sls-mall-traces dan pernyataannya adalah * | select __time__ - __time__ % 60 as time, count() as pv, 'computer' as icon, 'database' as database from log group by time order by time asc limit 2000. Kueri dan analisis B menggunakan LogStore (SQL). Logstore-nya adalah sls-mall-traces-deps dan pernyataannya adalah * | select __time__ - __time__ % 60 as time, count() as pvb from log group by time order by time asc limit 2000.

• Hasil kueri dan analisis A: Tabel yang dikembalikan berisi empat kolom: time, pv, icon, dan database. Tabel ini menampilkan data statistik yang dikelompokkan dalam interval 60 detik.

• Hasil kueri dan analisis B: Tabel yang dikembalikan berisi dua kolom: time dan pvb. Tabel ini menampilkan data statistik PVB yang dikelompokkan dalam interval 60 detik.

• Konfigurasi konversi data: Atur tipe ke Connect, Connection Mode ke Left Join, dan Connection Field ke time.

• Hasil konversi data: Setelah Left Join, tabel gabungan berisi lima kolom: time, pvb, pv, icon, dan database. Dua set hasil digabungkan berdasarkan bidang time.

Contoh Category

Pernyataan kueri A mengagregasi data dan mengelompokkannya berdasarkan bidang kind dan time. Grafik garis hanya menampilkan sebagian hasil. Untuk menampilkan semua kategori, konfigurasikan aturan konversi data Category yang mengklasifikasikan hasil menjadi lima kelompok berdasarkan bidang kind: producer, consumer, server, client, dan internal. Grafik garis kemudian menampilkan jumlah untuk setiap kategori.

• Konfigurasi kueri dan analisis: Kueri dan analisis A menggunakan LogStore (SQL). Logstore-nya adalah sls-mall-traces dan pernyataannya adalah * | SELECT __time__ - __time__ % 60 AS Time, count(1) AS count, kind GROUP BY Time, kind ORDER BY Time LIMIT 1000.

• Hasil kueri sebelum konversi data

  • Tabel: Tabel yang dikembalikan berisi tiga kolom, Time, count, dan kind, dengan total 80 baris. Setiap titik waktu memiliki jumlah yang sesuai untuk lima jenis kind: producer, consumer, server, client, dan internal.

  • Grafik garis

• Konfigurasi konversi data: Atur tipe ke Category, Select Data Source ke A, x-axis ke Time, y-axis ke count, dan aggregate column ke kind.

• Hasil kueri setelah konversi data

  • Tabel: Tabel yang telah dikategorikan membagi data menjadi lima kolom terpisah berdasarkan bidang kind: consumer, producer, internal, server, dan client. Setiap baris menampilkan jumlah untuk setiap kategori pada titik waktu yang sama.

  • Grafik garis

Contoh Parse Timestamp

Setelah pernyataan kueri A mengembalikan hasil, Anda dapat mengonfigurasi aturan konversi data Parse Timestamp untuk mengurai bidang tertentu menjadi stempel waktu UNIX.

• Pernyataan kueri

  Kueri dan analisis A menggunakan Logstore (SQL). Pernyataan kuerinya adalah * | select *.

• Hasil Pernyataan Kueri A

  Tabel yang dikembalikan mencakup kolom seperti __line__, file, info, time, __time__, dan _source_. Kolom time berisi nilai dalam format 2024-03-04T10:31:27.427014. Set hasil berisi 82 baris.

• Konfigurasi konversi data

  Atur tipe konversi data ke Parse Timestamp, Select Data Source ke A, field ke time, dan Format ke YYYY-MM-DD HH:mm:ss.

• Hasil konversi data

  Dalam tabel yang telah dikonversi, nilai dalam kolom time diurai dari string waktu menjadi format stempel waktu UNIX (misalnya 1720578030). Tabel berisi 82 baris.

Contoh Group By

Pernyataan kueri A dan B keduanya mengembalikan hasil yang mencakup bidang request_method. Anda dapat menggunakan Group By pada bidang ini untuk menggabungkan dan mengagregasi hasil dalam tabel.

• Pernyataan kueri

  Baik kueri dan analisis A maupun B menggunakan Logstore (SQL). Logstore-nya adalah nginx-access-log. Pernyataan kueri untuk keduanya adalah * | SELECT request_method, COUNT(*) as c group by request_method.

• Hasil Pernyataan Kueri A

  Tabel hasil untuk kueri dan analisis A berisi dua kolom, request_method dan c, dengan jumlah untuk setiap metode: HEAD(1), GET(237), DELETE(17), POST(62), dan PUT(64).

• Hasil Pernyataan Kueri B

  Hasil untuk kueri dan analisis B identik dengan hasil kueri dan analisis A, berisi nilai request_method yang sama dan jumlah yang sesuai.

• Konfigurasi konversi data

  Atur tipe konversi data ke Group By, kelompokkan berdasarkan bidang request_method, dan terapkan fungsi Sum function pada bidang c.

• Hasil konversi data

  Hasil setelah konversi data Group By menunjukkan statistik gabungan dari kedua operasi kueri dan analisis: GET(474), POST(124), PUT(128), DELETE(34), dan HEAD(2).

Contoh Transpose Rows and Columns

Setelah pernyataan kueri A mengembalikan hasil, Anda dapat mengonfigurasi aturan konversi data Transpose Rows and Columns untuk menukar baris dan kolom.

• Pernyataan kueri

  Kueri dan analisis A menggunakan Logstore (SQL). Pernyataan kuerinya adalah * | select *.

• Hasil Pernyataan Kueri A

  Tabel yang dikembalikan mencakup kolom seperti __line__, file, info, time, __time__, dan _source_. Kolom time berisi nilai dalam format 2024-03-04T10:31:27.427014. Set hasil berisi 82 baris.

• Konfigurasi konversi data

  Atur tipe konversi data ke Transpose Rows and Columns dan pilih A sebagai sumber data.

• Hasil konversi data

  Tabel baru memiliki 82 kolom (satu untuk setiap baris asli) dan jumlah baris yang sama dengan jumlah kolom asli. Dalam tabel yang ditransposisi, baris asli menjadi kolom, dan kolom asli menjadi baris.