Simple Log Service提供查詢和分析功能,支援秒級查詢十億到千億層級的日誌,並支援通過SQL對查詢結果進行統計分析。本文以Nginx日誌為例,為您介紹如何快速開啟索引,並在控制台完成查詢與分析的基本操作。
前提條件
已建立Project、標準型Logstore並完成日誌採集。具體操作,請參見建立專案Project、建立Logstore和資料擷取概述。
步驟一:配置索引
在Project列表地區,單擊目標Project。
在
頁簽中,單擊目標Logstore。在Logstore的查詢和分析頁面,單擊開啟索引。
說明開啟後等待1min左右即可查詢最新資料。
單擊開啟索引後,全文索引開關預設開啟。在查詢分析頁面單擊自動產生索引。Log Service會根據採集時預覽資料中的第一條內容,自動產生欄位索引。
說明其他配置項保持預設即可,更多資訊,請參見建立索引。
產生的欄位索引配置如下所示:
步驟二:查詢和分析日誌
在查詢/分析頁面的搜尋欄,輸入查詢或分析語句,並單擊查詢/分析。
查詢語句
用於日誌資料的查看、簡單搜尋和過濾。使用者使用查詢語句,通過特定條件(例如時間範圍、請求類型、關鍵字等)篩選出感興趣的資料集。查詢語句可以單獨使用,具體用法請參見查詢文法與功能。
樣本:查詢狀態代碼為
200
的日誌,可使用以下語句。status :200
更多查詢樣本,請參見查詢語句樣本。
分析語句
用於對日誌資料進行過濾、轉換、統計、彙總等操作,例如統計一段時間內資料的平均值、擷取資料的同比和環比結果。分析語句必須配合查詢語句一起使用,格式為
查詢語句|分析語句
,文法說明請參見SQL分析文法與功能。樣本:查詢日誌中所有記錄,並分析各請求狀態的數量,可使用以下語句。
* | SELECT status, count(*) AS PV GROUP BY status
預設情況下,在日誌庫列表單擊Logstore時,系統會進入查詢/分析頁面並自動執行一次查詢操作。您可單擊頁面右上方的表徵圖,在查詢設定頁簽下,關閉該功能或設定查詢時間。
配置時間範圍
您可通過以下三種方式設定日誌查詢/分析的時間範圍。如果在分析語句中設定了時間範圍,則查詢分析結果以該時間範圍為準。
在頁面頂端的下拉式清單中,選擇時間範圍例如15分鐘。
在分析語句中通過
__time__
欄位指定時間範圍(閉合區間),例如:* | SELECT * FROM log WHERE __time__>1731297600 AND __time__< 1731310038
在分析語句中指定時間時,使用from_unixtime函數或to_unixtime函數轉換時間格式。例如:
* | SELECT * FROM log WHERE from_unixtime(__time__) > from_unixtime(1731297600) AND from_unixtime(__time__) < now()
* | SELECT * FROM log WHERE __time__ > to_unixtime(date_parse('2024-10-19 15:46:05', '%Y-%m-%d %H:%i:%s')) AND __time__ < to_unixtime(now())
執行查詢和分析語句後,預設只返回100行。如果您希望返回更多資料,可使用LIMIT文法。更多資訊,請參見LIMIT子句。
查詢/分析頁面說明
頁面概覽
長條圖
將滑鼠懸浮在綠色資料區塊上時,您可以查看該資料區塊代表的時間範圍和日誌叫用次數。
雙擊綠色資料區塊,您可以查看更細時間粒紋的日誌分布,同時原始日誌頁簽中將同步展示指定時間範圍內的查詢結果。
原始日誌
統計圖表
統計圖表是Simple Log Service根據查詢與分析語句渲染出的結果。Simple Log Service提供表格、線圖、柱狀圖等多種圖表類型。具體操作,請參見統計圖表。 執行查詢和分析語句後,您可以在統計圖表頁簽中查看可視化的查詢和分析結果。
本頁簽其他功能說明:
添加到儀錶盤:儀錶盤是Simple Log Service提供的即時資料分析大盤。單擊添加到儀錶盤,將查詢和分析結果以圖表形式儲存到儀錶盤中。具體操作,請參見可視化概述。
另存新檔定時SQL:Simple Log Service提供定時SQL功能,用於定時分析資料、儲存彙總資料、投影與過濾資料。具體操作,請參見定時SQL。
互動事件:互動事件是資料分析中不可缺少的功能之一,通過改變資料維度的層次、變換分析的粒度從而擷取資料中更詳盡的資訊。具體操作,請參見為儀錶盤添加互動事件實現下鑽分析。
日誌聚類
在日誌聚類頁簽中,單擊開啟日誌聚類,可實現在採集日誌時彙總相似性高的日誌。具體操作,請參見日誌聚類。
SQL增強
單擊右上方表徵圖,可單次開啟SQL獨享版。當您在使用SQL分析時,如果資料量較大,Log Service無法在一次查詢中完整分析這個時間段內的所有日誌。通過開啟SQL獨享版,增加計算資源,可以提升單次分析的資料量。如需設定預設開啟,請參見SQL獨享版。
警示
單擊右上方表徵圖,將查詢和分析結果另存新檔警示。具體操作,請參見快速設定日誌警示。
快速查詢
單擊右上方表徵圖,將當前查詢和分析語句另存新檔快速查詢。您可通過儲存的歷史操作,快速執行查詢和分析操作。具體操作,請參見快速查詢。
分享
單擊右上方表徵圖,複製本頁面連結,分享給其他使用者。具體操作,請參見控制台內嵌及分享。
資料加工
單擊左上方資料加工,可跳轉至資料加工頁面。資料加工服務可應用於資料規整與資訊提取、資料清洗與過濾、資料分發至多目標Logstore等資料處理情境。具體操作,請參見建立資料加工(新版)任務。