通過索引模式查詢和分析日誌 - Simple Log Service

Simple Log Service支援通過配置索引查詢和分析日誌。該功能結合了SQL計算功能。本文介紹查詢與分析功能的基本文法、使用限制和SQL函數等資訊。

閱讀引導

Simple Log Service提供查詢和分析日誌功能。具體操作，請參見查詢與分析快速指引。
如果您要查詢與分析日誌，則必須將日誌採集到Standard Logstore中，參考管理Logstore。建立索引後，查詢與分析只針對增量日誌生效。當您需要對歷史記錄檔查詢分析，需要重建索引。
如果您需要查詢百億級的日誌資料量，您可以參見控制台提示“查詢結果不精確”，如何解決？。
Log Service預設存在保留欄位。如果您要分析保留欄位，請參見保留欄位。

查詢與分析

Simple Log Service支援秒級查詢十億到千億層級的日誌，並支援通過SQL對查詢結果進行統計分析。查詢語句可單獨使用，分析語句必須與查詢語句一起使用，即分析功能是基於查詢結果或全量資料進行的。

基本文法

查詢語句和分析語句以豎線|分割。查詢語句可單獨使用，分析語句必須與查詢語句一起使用。即分析功能是基於查詢結果或全量資料進行的。

查詢語句|分析語句

類型	說明
查詢語句	查詢語句用於指定日誌查詢時的過濾規則，返回合格日誌。格式為：`查詢語句`，例如`status: 200`。查詢條件可使用關鍵詞、數值、數值範圍、空格、``等。如果為空白格或``，表示無過濾條件。更多資訊，請參見查詢文法與功能。重要查詢語句中建議不超過30個條件。
分析語句	如需流量分析功能，則必須將日誌採集到Standard Logstore中，且在配置索引時開啟對應欄位的開啟統計開關。分析語句對查詢結果或全量資料進行計算和統計。Log Service支援的分析函數和文法，請參見： SQL函數：SQL函數通常用於對資料進行計算、轉換和格式化。例如，計算總和、平均值、字串操作、日期處理等。 SQL子句：SQL子句用於構建完整的SQL查詢或資料動作陳述式，決定資料的來源、條件、分組、排序等。嵌套子查詢：嵌套子查詢是指將一個SELECT語句嵌套在另一個SELECT語句中，用於複雜的分析情境。 Logstore和MySQL聯集查詢分析：支援通過Join文法將Logstore與MySQL聯集查詢，結果可儲存至MySQL。使用SPL查詢和分析日誌：當您需要對日誌資料進行結構化資訊提取、欄位操作和資料過濾時，可以使用SPL。重要分析語句預設分析當前Logstore中的資料，不需要填寫FROM子句和WHERE子句。分析語句不支援使用offset，不區分大小寫，末尾不需要加分號。

Log Service查詢分析提供了antlr文法檔案，支援使用者結合antlr工具進行基於SLS查詢的二次開發。

以下是antlr文法檔案：

樣本

* | SELECT status, count(*) AS PV GROUP BY status

查詢與分析結果如下圖所示：

進階功能

LiveTail：實現即時監控線上日誌，減輕營運壓力。
日誌聚類：採集日誌時，提取相似日誌的共同模式，快速瞭解日誌全貌。
上下文查詢：支援查看指定日誌的上下文資訊，方便故障排查和問題定位。
欄位分析：提供欄位分布、統計指標及TOP5時間順序圖表，協助理解資料。
事件配置：通過事件配置，輕鬆擷取原始日誌的詳細資料。
資料集（StoreView）概述：：使用StoreView功能，實現跨地區、跨Store的聯集查詢。

查詢功能使用限制

限制項	說明
關鍵詞個數	關鍵詞查詢時，除布爾邏輯符外的條件個數。每次查詢最多30個。
欄位值大小	單個欄位值最大為512 KB，超出部分不參與查詢。如果單個欄位長度大於512 KB，有一定幾率無法通過關鍵詞查詢到日誌，但資料仍然是完整的。說明如需設定日誌欄位值的最大長度，請參見為什麼查詢和分析時，欄位值會被截斷？
操作並發數	單個Project支援的最大查詢操作並發數為100個。例如100個使用者同時在同一個Project的各個Logstore中執行查詢操作。
返回結果	每次查詢時，每頁最多顯示100條查詢結果，您可翻頁讀取完整的查詢結果。
模糊查詢	執行模糊查詢時，Log Service最多查詢到合格100個詞，並返回包含這100個詞並滿足查詢條件的所有日誌。更多資訊，請參見模糊查詢。
查詢結果排序	預設按照秒級時間（如果存在納秒級則以納秒級時間）從最新開始展示。

分析功能使用限制

限制項	普通執行個體	SQL獨享執行個體
限制項	普通執行個體	SQL增強	完全精確
並發數	單個Project支援的最大查詢並發數為15個。	單個Project支援的最大查詢並發數為100個。	單個Project支援的最大查詢並發數為5個。
資料量	單次查詢分析最大支援掃描400MB日誌資料（不包含快取資料），超過部分截斷，標記為查詢結果不精確。	單次查詢分析最大支援掃描2GB日誌資料（不包含快取資料），超過部分截斷，標記為查詢結果不精確。	無限制。
開啟模式	預設開啟。	通過開關開啟。具體操作，請參見SQL增強。	通過開關開啟。具體操作，請參見SQL完全精確。
費用	免費。	根據實際使用的CPU時間付費。	根據實際使用的CPU時間付費。
資料生效機制	分析功能只對開啟統計功能後寫入的資料生效。如果您需要分析歷史資料，請對歷史資料重建索引。	分析功能只對開啟統計功能後寫入的資料生效。如果您需要分析歷史資料，請對歷史資料重建索引。	分析功能只對開啟統計功能後寫入的資料生效。如果您需要分析歷史資料，請對歷史資料重建索引。
返回結果	執行分析操作後，預設最多返回100行資料，最大返回100MB的資料，超過100MB的分析語句會報錯。如果您需要返回更多資料，請使用LIMIT子句。	執行分析操作後，預設最多返回100行資料，最大返回100MB的資料，超過100MB的分析語句會報錯。如果您需要返回更多資料，請使用LIMIT子句。	執行分析操作後，預設最多返回100行資料，最大返回100MB的資料，超過100MB的分析語句會報錯。如果您需要返回更多資料，請使用LIMIT子句。
欄位值大小	單個欄位值最大長度的預設值為 2 KB（2048位元組），可調整配置最高支援 16 KB（16384位元組），但超出部分將不再參與日誌分析和檢索操作。說明如果您需要修改欄位值的最大長度，可設定統計欄位（text）最大長度。更新索引設定只對增量資料有效。具體操作，請參見建立索·引。	單個欄位值最大長度的預設值為 2 KB（2048位元組），可調整配置最高支援 16 KB（16384位元組），但超出部分將不再參與日誌分析和檢索操作。說明如果您需要修改欄位值的最大長度，可設定統計欄位（text）最大長度。更新索引設定只對增量資料有效。具體操作，請參見建立索·引。	單個欄位值最大長度的預設值為 2 KB（2048位元組），可調整配置最高支援 16 KB（16384位元組），但超出部分將不再參與日誌分析和檢索操作。說明如果您需要修改欄位值的最大長度，可設定統計欄位（text）最大長度。更新索引設定只對增量資料有效。具體操作，請參見建立索·引。
逾時時間	分析操作的最大逾時的時間為55秒。	分析操作的最大逾時的時間為55秒。	分析操作的最大逾時的時間為55秒。
Double類型的欄位值位元	Double類型欄位值最多52位。如果浮點數編碼位元超過52位，會造成精度損失。	Double類型欄位值最多52位。如果浮點數編碼位元超過52位，會造成精度損失。	Double類型欄位值最多52位。如果浮點數編碼位元超過52位，會造成精度損失。

Simple Log Service：索引模式查詢與分析