Simple Log Service：管理Logtail採集配置

登入Log Service控制台。在Project列表地區，單擊目標Project。

單擊日誌儲存下您的Logstore，在Logtail配置中添加Logtail配置，單擊立即接入，本例使用正則-文本日誌，表示將以正則匹配的方式解析文本日誌。

單擊主機情境 > ECS，在下方選擇您之前建立的機器組後單擊>按鈕添加到應用機器組中，點擊下一步。若無機器組，請參考建立機器組。

在全域配置中輸入配置名稱。在其他全域配置中設定日誌主題。

日誌主題配置項說明如下：詳細參數請參考全域配置參數介紹。

• 機器組Topic：選擇為機器組Topic時，在建立機器組時必須配置機器組Topic。

• 檔案路徑提取：選擇為檔案路徑提取時，必須配置相應的Regex。

• 自訂：選擇為自訂時，須輸入customized:// + 自訂佈景主題名，使用自訂的靜態日誌主題。

在輸入配置中配置檔案路徑，代表日誌採集的路徑，日誌路徑必須以正斜線（/）開頭，例如下圖/data/wwwlogs/main/**/*.Log表示/data/wwwlogs/main目錄下尾碼名為.Log的檔案。如果需要設定日誌目錄被監控的最大深度，即檔案路徑中萬用字元**匹配的最大目錄深度。可以修改最大目錄監控深度的取值，0代表只監控本層目錄。詳細參數請參考輸入配置參數介紹。

在處理配置中，設定日誌範例，多行模式以及處理模式。

1. 建議您在日誌範例中添加日誌範例：日誌範例可協助您配置Tlog相關參數，降低配置難度。若配置請務必使用實際情境中待採集日誌的範例。

2. 按需選擇是否開啟多行模式：多行日誌是指每條日誌佔用了連續的多行，不開啟則是單行模式，即每一行為一條日誌。若開啟多行模式請配置：

   • 類型：

     • 自訂：原始日誌的格式不固定，則配置行首Regex，來標定每一條日誌的起始行。例如我們使用行首Regex\[\d+-\d+-\w+:\d+:\d+,\d+]\s\[\w+]\s.*，即可將樣本中五行未經處理資料切分為兩條日誌。需要注意，行首Regex需要能夠匹配完整的一行資料。

       [2023-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened
           at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
           at TestPrintStackTrace.g(TestPrintStackTrace.java:7)
           at TestPrintStackTrace.main(TestPrintStackTrace.java:16)
       [2023-10-01T10:31:01,000] [INFO] java.lang.Exception: exception happened

     • 多行JSON：當原始日誌均為標準JSON格式時，可以選擇多行JSON，Logtail會自動處理單條JSON日誌內部的換行。

   • 切分失敗處理方式：

     • 丟棄：直接丟棄這段日誌。

     • 保留單行：將每行日誌文本單獨保留為一條日誌。

3. 處理外掛程式：處理外掛程式配置的是對一條日誌切割處理的方式。樣本為正則-文本日誌，因此處理外掛程式中自動產生了一個正則解析外掛程式，您也可以根據需要使用其他外掛程式。

   以下為您介紹常用的外掛程式配置方式：有關時間解析，過濾處理，脫敏處理等更多外掛程式能力請參考處理外掛程式。Log Service也提供了SPL處理方式，在實作類別似於傳統處理外掛程式功能的前提下處理效率更高，詳細瞭解請參考使用Logtail SPL解析日誌。

   正則解析

   關於該外掛程式的更多詳情，請參見原生外掛程式：正則解析。

   1. 單擊正則解析可進入處理外掛程式詳細配置頁面。

   2. 需要在此頁面配置Regex，以及根據提取的value設定key值。您可以單擊Regex下方的自動產生Regex，之後如圖所示選中日誌範例中的內容後，單擊產生的產生正則，會自動產生選擇內容的Regex。

      

   3. 產生對應的Regex後，您還需要對在日誌提取欄位中對應產生的value設定key值，這些索引值將有助於您後續設定日誌索引。完成後點擊確認並點擊下一步。

      

   JSON解析

   重要

   本模式適用於採集JSON日誌。

   JSON日誌有兩種結構，Object類型（索引值對的集合）和Array類型（值的有序列表）。Logtail JSON解析外掛程式支援解析Object類型的JSON日誌，提取為索引值對，即提取Object首層的鍵作為Key，Object首層的值作為Value。但外掛程式不支援解析Array類型的JSON日誌。如需更細粒度請配合擴充外掛程式：展開JSON欄位進行處理。

   關於該外掛程式的更多詳情，請參見原生外掛程式：JSON解析。

   根據需要選擇是否開啟處理配置中的多行模式，如果開啟，請使用以下選項：

   • 類型，選擇多行JSON。

   • 切分失敗處理方式，選擇保留單行。

   

   刪除處理模式中的正則解析外掛程式，然後添加一個JSON解析外掛程式。

   

   根據如下表格的配置說明進行外掛程式配置，完成後單擊確認，單擊下一步。

   參數名稱	說明
   原始欄位	解析日誌前，用於存放日誌內容的原始欄位，預設值為content。
   解析失敗時保留原始欄位	選中解析失敗時保留原始欄位，則解析失敗時，將保留原始欄位。
   解析成功時保留原始欄位	選中解析成功時保留原始欄位，則解析成功時，將保留原始欄位。
   重新命名的原始欄位	選中解析失敗時保留原始欄位或解析成功時保留原始欄位後，可重新命名原始欄位名，用於存放原始的日誌內容。

   分隔字元解析

   說明

   Logtail分隔字元模式解析外掛程式支援通過分隔字元將日誌內容結構化，解析為多個索引值對形式。

   關於該外掛程式的更多詳情，請參見原生外掛程式：分隔字元模式解析。

   刪除處理模式中的正則解析外掛程式，然後添加一個分隔字元解析外掛程式。

   根據如下表格的配置說明進行外掛程式配置，完成後點擊確認，點擊下一步。

   參數	描述
   原始欄位	解析日誌前，用於存放日誌內容的原始欄位，預設值為content。
   分隔字元	請根據您的日誌內容選擇正確的分隔字元，例如豎線（|）。 說明 指定分隔字元為不可見字元時，您需要尋找不可見字元在ASCII碼中對應的十六進位數，輸入的格式為0x<不可見字元在ASCII碼中對應的十六進位數>。例如ASCII碼中排行為1的不可見字元為0x01。
   引用符	當日誌欄位內容中包含分隔字元時，需要指定引用符進行包裹，被引用符包裹的內容會被Simple Log Service解析為一個完整欄位。請根據您的日誌格式選擇正確的引用符。 說明 指定引用符為不可見字元時，您需要尋找不可見字元在ASCII碼中對應的十六進位數，輸入的格式為0x<不可見字元在ASCII碼中對應的十六進位數>。例如ASCII碼中排行為1的不可見字元為0x01。
   日誌提取欄位	當您配置了日誌範例時，Simple Log Service會根據您輸入的日誌範例及選擇的分隔字元提取日誌內容，並將其定義為Value，您需要為各個Value指定對應的Key。 當您未配置日誌範例時，無Value列表，您需要根據實際日誌及分隔字元情況，輸入對應的Key。 Key只能包括字母、數字或底線（_），且只能以字母或底線（_）開頭。最大長度為128位元組。
   允許部分欄位	如果日誌中實際提取出的Value數量少於Key數量，是否上傳日誌到Simple Log Service。選中允許部分欄位表示上傳。 例如日誌為11|22|33|44，分隔字元為豎線（|），Key為A、B、C、D和E。 如果選中允許部分欄位，則E欄位的Value為空白，該日誌將被上傳到Simple Log Service。 如果未選中允許部分欄位，該日誌會被丟棄。 說明 Linux Logtail 1.0.28及以上版本或Windows Logtail 1.0.28.0及以上版本支援配置分隔字元模式的允許部分欄位參數。
   處理超出欄位方式	日誌中提取的Value數量大於Key數量時的處理方法。 展開：保留多餘的Value內容，分別添加到__column$i__格式的欄位中，其中$i代表多餘欄位序號，從0開始計數。例如__column0__、__column1__。 保留：保留多餘的Value內容，並整體添加到名為__column0__的欄位中。 丟棄：丟棄多餘的Value內容。
   解析失敗時保留原始欄位	選中解析失敗時保留原始欄位，則解析失敗時，將保留原始欄位。
   解析成功時保留原始欄位	選中解析成功時保留原始欄位，則解析成功時，將保留原始欄位。
   重新命名的原始欄位	選中解析失敗時保留原始欄位或解析成功時保留原始欄位後，可重新命名原始欄位名，用於存放原始的日誌內容。

   APACHE模式解析

   說明

   Logtail Apache模式解析外掛程式支援根據Apache日誌設定檔中的定義將日誌內容結構化並解析為多個索引值對形式。

   關於該外掛程式的更多詳情，請參見原生外掛程式：Apache模式解析。

   操作步驟

   刪除處理模式中的正則解析外掛程式，然後添加一個APACHE模式解析外掛程式。

   

   根據如下表格的配置說明進行外掛程式配置，完成後點擊確認，點擊下一步。

   參數名稱	說明
   日誌格式	根據Apache日誌設定檔中定義的日誌格式進行選擇，包括common、combined和自訂。
   APACHE配置欄位	Apache設定檔中的日誌配置部分，通常以LogFormat開頭。 當配置日誌格式為common或combined時，此處會自動填滿對應格式的配置欄位，請確認是否和Apache設定檔中定義的格式一致。 當配置日誌格式為自訂時，請根據實際情況填寫，例如LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %D %f %k %p %q %R %T %I %O" customized。
   原始欄位	解析日誌前，用於存放日誌內容的原始欄位，預設值為content。
   Regex	用於提取Apache日誌的Regex。Simple Log Service會根據APACHE配置欄位中的內容自動產生該Regex。
   日誌提取欄位	根據APACHE配置欄位中的內容自動組建記錄檔欄位（key）。
   解析失敗時保留原始欄位	選中解析失敗時保留原始欄位，則解析失敗時，將保留原始欄位。
   解析成功時保留原始欄位	選中解析成功時保留原始欄位，則解析成功時，將保留原始欄位。
   重新命名的原始欄位	選中解析失敗時保留原始欄位或解析成功時保留原始欄位後，可重新命名原始欄位名，用於存放原始的日誌內容。

   NGINX模式解析

   說明

   Logtail Nginx模式外掛程式支援根據log_format中的定義將日誌內容結構化，解析為多個索引值對形式。

   關於該外掛程式的更多詳情，請參見原生外掛程式：Nginx模式解析。

   刪除處理模式中的正則解析外掛程式，然後添加一個NGINX模式解析外掛程式。

   

   根據如下表格的配置說明進行外掛程式配置，完成後點擊確認，點擊下一步。

   參數名稱	說明
   NGINX日誌配置	Nginx設定檔中的日誌配置部分，以log_format開頭。例如： log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$request_time $request_length ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent"'; 更多資訊，請參見Nginx日誌簡介。
   原始欄位	解析日誌前，用於存放日誌內容的原始欄位，預設值為content。
   Regex	用於提取Nginx日誌的Regex。Simple Log Service會根據NGINX日誌配置 中的內容自動產生該Regex。
   日誌提取欄位	根據NGINX日誌配置自動提取對應的日誌欄位（Key）。
   解析失敗時保留原始欄位	選中解析失敗時保留原始欄位，則解析失敗時，將保留原始欄位。
   解析成功時保留原始欄位	選中解析成功時保留原始欄位，則解析成功時，將保留原始欄位。
   重新命名的原始欄位	選中解析失敗時保留原始欄位或解析成功時保留原始欄位後，可重新命名原始欄位名，用於存放原始的日誌內容。

   IIS模式解析

   說明

   Logtail IIS模式外掛程式支援根據IIS日誌格式定義將日誌內容結構化，解析為多個索引值對形式。

   關於該外掛程式的更多詳情，請參見原生外掛程式：IIS模式解析。

   刪除處理模式中的正則解析外掛程式，然後添加一個IIS模式解析外掛程式。

   根據如下表格的配置說明進行外掛程式配置，完成後點擊確認，點擊下一步。

   參數名稱	說明
   日誌格式	選擇您的IIS伺服器日誌採用的日誌格式，具體說明如下： IIS：Microsoft IIS記錄檔格式。 NCSA：NCSA公用記錄檔格式。 W3C：W3C擴充記錄檔格式。
   IIS配置欄位	配置IIS配置欄位，具體說明如下： 日誌格式為IIS或NCSA時，Log Service已預設設定了IIS配置欄位。 日誌格式為W3C日誌時，設定為IIS設定檔中logExtFileFlags參數中的內容，例如： logExtFileFlags="Date, Time, ClientIP, UserName, SiteName, ComputerName, ServerIP, Method, UriStem, UriQuery, HttpStatus, Win32Status, BytesSent, BytesRecv, TimeTaken, ServerPort, UserAgent, Cookie, Referer, ProtocolVersion, Host, HttpSubStatus" IIS5設定檔預設路徑：C:\WINNT\system32\inetsrv\MetaBase.bin。 IIS6設定檔預設路徑：C:\WINDOWS\system32\inetsrv\MetaBase.xml。 IIS7設定檔預設路徑：C:\Windows\System32\inetsrv\config\applicationHost.config。
   原始欄位	解析日誌前，用於存放日誌內容的原始欄位，預設值為content。
   Regex	用於提取IIS日誌的Regex。Simple Log Service會根據IIS配置欄位中的內容自動產生該Regex。
   日誌提取欄位	根據IIS配置欄位中的內容自動組建記錄檔欄位（Key）。
   解析失敗時保留原始欄位	選中解析失敗時保留原始欄位，則解析失敗時，將保留原始欄位。
   解析成功時保留原始欄位	選中解析成功時保留原始欄位，則解析成功時，將保留原始欄位。
   重新命名的原始欄位	選中解析失敗時保留原始欄位或解析成功時保留原始欄位後，可重新命名原始欄位名，用於存放原始的日誌內容。

   SPL處理

   Log Service還提供了自訂SPL處理方式，與傳統的處理外掛程式相比，使用SPL不僅提高了處理速度和效率，還提供了更多智能化和易用性方面的優勢，使得Log Service的整體能力得到了顯著增強。通過編寫SPL語句，您可以充分利用其計算能力來處理資料。

   • SPL文法請參見SPL文法。

   • 使用步驟請參見使用Logtail SPL解析日誌。

   • 使用樣本請參見使用SPL採集文本日誌。