LogStore是Log Service中的儲存單元,用於收集、儲存和查詢日誌資料。
核心概念
什麼是LogStore
日誌庫(LogStore)是Log Service的資料容器。一個Project(專案)下可以建立多個LogStore,用於隔離和管理不同業務或來源的日誌。
此外,部分雲產品或SLS自身功能也會自動建立專用的LogStore,這些LogStore有特定用途,不支援寫入其他資料。例如:
LogStore規格對比
Log Service提供標準型(Standard)與查詢型(Query)兩種規格,它們在功能與使用成本上有差異。
類型 | 成本(索引流量費用對比) | 適用情境 |
標準型(Standard規格) | 0.0875美元/GB | 適用於需要資料分析、即時監控和可視化能力,進行互動式分析、即時監控或構建可觀測性系統的情境。 |
查詢型(Query規格) | 0.0146美元/GB | 不支援分析,適用於日誌歸檔、審計日誌儲存、故障排查等快速檢索日誌內容而無需分析的歸檔類情境。典型應用程式套件括大規模日誌長期儲存(如數月或數年),且訪問頻率較低的情況。 |
適用範圍與許可權
建立基礎LogStore
控制台
登入Log Service控制台。在Project列表地區,單擊目標Project。
在頁簽,單擊+表徵圖。
在建立Logstore頁面中,進行配置後,單擊確定。
LogStore類型:預設Standard。
計費模式:
按使用功能計費:按實際使用的每一項資源(如儲存、索引、讀寫次數等)獨立計費,並提供月度免費額度,便於小規模情境控制支出。
按寫入資料量計費:只為原始寫入資料付費,30天記憶體儲及主流功能免費使用,成本結構更簡單、更划算。
快速判斷:儲存天數越接近30天,索引欄位數量越接近全文索引越適合按寫入資料量計費。
LogStore名稱:在該Project內必須唯一,作為LogStore的唯一標識,建立後無法更改。
資料儲存時間:預設為30天。
其餘配置保持預設值即可。
API
修改LogStore配置
以下參數可在建立時配置,此處以修改LogStore為例進行介紹。
單擊
日誌儲存,在日誌庫中,將滑鼠懸浮在目標LogStore上,選擇。在LogStore屬性中根據下列情境修改相關配置項。
刪除指定日誌/設定日誌儲存時間
控制台
在基礎資訊中,單擊修改,修改資料儲存時間,然後單擊保存。
Log Service支援通過日誌虛刪除功能刪除指定日誌。在 LogStore 的查詢分析頁面輸入查詢條件並選擇時間範圍後,單擊刪除表徵圖,選擇日誌虛刪除,發起刪除任務。被刪除的日誌在後續查詢中不再顯示,保留期後將被永久刪除。也可以通過修改資料儲存時間大量刪除到期日誌,或者通過停止計費/刪除LogStore刪除全部日誌。
限定天數:取值範圍:1~3650,其中3650表示永久儲存。當儲存期限到達時,日誌將會被刪除。
永久保存:將永久儲存該LogStore中的日誌。
修改後立即生效,但刪除到期資料需要一定的時間。
確認設定是否生效
修改儲存後,重新將滑鼠懸浮到該LogStore並單擊修改,在LogStore屬性中查看資料儲存時間顯示的天數是否為修改後的值,即可完成設定成功確認。如果已開啟永久儲存,則不顯示自訂天數,表示該LogStore中的日誌將永久儲存。
資料儲存時間無法修改或修改報錯時的排查
如果資料儲存時間不可編輯(資料儲存期限編輯按鈕灰色、儲存時間長度不可選),或儲存時出現修改報錯,導致無法完成生命週期設定,請按以下順序排查:
該LogStore是雲產品或Log Service自動建立的專屬日誌庫。Redis應用專屬庫、MongoDB應用專屬庫和SLS管理服務日誌專屬庫的資料儲存時間由對應的雲產品或服務統一管理,在Log Service控制台儲存修改時會提示需到對應產品的控制台操作。如需自訂儲存時間,請到對應雲產品的控制台調整,或建立一個標準LogStore用於儲存業務日誌。
該LogStore是
internal-首碼的系統保留日誌庫,例如internal-operation_log、internal-alert-history、internal-etl-log。這類日誌庫已配置為特定日誌接入,控制台會提示「當前日誌庫已配置為特定日誌接入,無法自訂配置」,不支援自訂配置。當前帳號許可權不足。修改LogStore配置需要具備目標Project的LogStore系統管理權限,即本文「適用範圍與許可權」中列出的
log:*LogStore等許可權。使用RAM使用者操作時,請向主帳號申請AliyunLogFullAccess系統策略或包含上述許可權的自訂策略。控制台頁面顯示異常。重新整理頁面或更換瀏覽器後,重新將滑鼠懸浮到目標LogStore並單擊修改,再次修改資料儲存時間。
常規情境也可以按本節API頁簽的說明修改
ttl完成設定;上述專屬日誌庫仍需到對應雲產品的控制台調整。
API
更新LogStore中ttl的值,來調整日誌儲存時間。
使用分層最佳化儲存成本
控制台
在基礎資訊中,單擊修改,開啟智能儲存分層開關。
進行儲存策略配置:三種儲存天數總和需要等於資料儲存時間中的天數。
熱儲存:至少7天。
低頻儲存:至少30天。
Archive Storage:至少60天。
將資料儲存時間設定為限定天數,開啟智能儲存分層開關,並在儲存策略中配置各層轉換操作:熱儲存到期後自動轉換為低頻儲存,低頻儲存到期後自動轉換為Archive Storage,Archive Storage到期後自動刪除。
單擊保存。詳細瞭解參考智能儲存分層。
API
更新LogStore中ttl、hot_ttl和infrequentAccessTTL的值,來動態調整儲存分層的保留原則。
收集前端日誌
Log Service提供webTracking功能,用以收集小程式/用戶端(iOS/Android/APP)/瀏覽器上的日誌資料。
該功能有兩種使用方式:
控制台
在基礎屬性中,單擊修改,開啟WebTracking開關,然後單擊保存。
API
更新LogStore中enable_tracking參數為true來開啟WebTracking功能。
為日誌自動添加公網IP與到達Log Service時間
開啟此功能後,後續採集會自動在日誌中添加:
__tag__:__client_ip__:日誌來源裝置的公網IP。
__tag__:__receive_time__:日誌到達Log Service服務端的時間,格式為Unix時間戳記,表示從1970-1-1 00:00:00 UTC計算起的秒數。
控制台
在基礎屬性中,單擊修改,開啟記錄外網IP開關,然後單擊儲存。
API
更新LogStore中appendMeta參數來開啟記錄外網IP功能。
通過Shard調整採集效能
每個Shard支援5MB/s或500次/s的資料寫入、10MB/s或100次/s的資料讀取。此限制非硬性限制,超出限制時,系統會儘可能提供服務,但是不保證服務品質。當資料讀寫流量超出Shard讀寫能力時,需要及時分裂Shard以增加Shard個數,從而提供更高的讀寫能力。
控制台
在基礎屬性中,單擊修改,開啟自動分裂Shard,並設定分裂上限,然後單擊保存。
Log Service支援針對某個Shard進行分裂與合并。
API
停止計費/刪除LogStore
LogStore一旦刪除,其儲存的日誌資料將會被永久刪除,不可恢複,請謹慎操作。
控制台
刪除前清理。
刪除LogStore前需先刪除其對應的所有Logtail配置。這是控制台刪除LogStore時唯一的硬性前置檢查:若該LogStore仍關聯Logtail採集配置,刪除時會提示「存在Logtail配置,請先進行刪除」且無法繼續。因此當您無法刪除LogStore時,請首先刪除該LogStore對應的全部Logtail採集配置,然後重新執行刪除。
若該LogStore啟用了日誌投遞,刪除前請停止向該LogStore寫入新資料,並確認LogStore中已有的資料已全部投遞成功。
Project的資源釋放保護作用於Project本身:開啟後必須先手動關閉該功能才能刪除Project。刪除單個LogStore不受該功能影響,無需關閉。
刪除步驟。
在頁簽中,將滑鼠懸浮在目標LogStore上,選擇。
在警告對話方塊中,單擊確認刪除。
刪除後事項。
刪除LogStore的當天仍會產生儲存等費用,次日不再產生費用。即在刪除LogStore的第三天不會再收到Log Service的賬單。
刪除LogStore後,以當前LogStore為資料來源的匯出任務、資料加工任務、定時SQL任務和以當前LogStore為目標的匯入任務都將被刪除。
API
實際情境使用配置樣本
巨量資料量業務即時監控分析情境
線上應用即時產生大量業務日誌,出現故障,需要快速定位錯誤記錄檔,並對應用效能指標(如QPS、響應延遲)進行即時監控和警示。
選型推薦:標準型LogStore + 按寫入量計費 + Shard自動分裂。
原因:標準型LogStore支援分析,即時監控與可視化 ,大量日誌寫入且分析可能需要較多索引推薦按寫入量計費,Shard自動分裂可以保障資料寫入與分析的效能。
合規/審計/等保情境
根據行業法規,需要將使用者動作記錄、安全日誌等儲存儲6個月以上用於審計,但日常查詢和分析頻率很低。
選型推薦:查詢型LogStore + 智能儲存分層。
原因:查詢型LogStore僅支援查詢但索引流量費用低於標準型LogStore,智能儲存分層對日誌資料根據儲存時間長度進行分類,降低長期儲存成本。
相關參考
功能計費模式下LogStore對比
查詢型僅支援功能計費,因此按使用功能計費模式下,標準型和查詢型兩種類型的LogStore對比如下:
對比項 | 標準型(Standard 規格) | 查詢型(Query 規格) | |
費用 | 0.0875美元/GB | 0.0146美元/GB | |
功能 | 資料擷取(僅業務系統日誌情境) | 支援 | 不支援採集雲產品日誌。 |
支援 | 支援 | ||
支援 | 支援 | ||
分析(SQL語句) | 支援 | 不支援 | |
支援 | 支援 | ||
支援 | 支援 | ||
支援 | 不支援 | ||
支援 | 支援 | ||
支援 | 不支援 | ||
支援 | 僅支援基於查詢語句的警示 | ||
支援 | 不支援 | ||
支援 | 支援 | ||
支援 | 支援 | ||
支援 | 支援 | ||
使用限制
按寫入資料量計費模式支援完整Log Service功能集合,增值功能如查詢分析、資料加工、智能警示、消費投遞等能力均不產生額外費用,但存在配額限制,具體說明如下。
配額限制 | 說明 |
資料加工量 | 單個LogStore每月支援的最大加工資料量為100 TB。 |
定時SQL資料量 | 單個LogStore每月支援的定時SQL資料量為20 TB。 |
投遞資料量 | 單個LogStore每月支援的投遞資料量為100 TB。 |
消費資料量 | 單個LogStore每月支援的消費資料量為100 TB。 |
警示作業計算資料量 | 單個LogStore每月支援的警示作業計算資料量為100 TB。 |
計費說明
LogStore的費用主要由所選的計費模式決定。
按使用功能計費:根據實際使用的資源量(如儲存容量、索引流量、讀寫次數、Shard數量等)獨立計費。
按寫入資料量計費:僅對寫入的未經處理資料量收費,並包含30天免費儲存及多項免費功能。
關鍵計費項目價格:
標準型(Standard)索引流量:0.0875美元/GB。
查詢型(Query)索引流量:0.0146美元/GB。
成本最佳化建議:
如果日誌儲存周期接近或超過30天,按寫入資料量計費模式通常更具成本優勢。
對於僅需歸檔和檢索的情境,使用查詢型(Query)規格可降低索引費用。
通過配置智能儲存分層,將不常訪問的資料轉移到低成本儲存層。
常見問題
無法建立LogStore
一個Project預設最多建立200個LogStore。請刪除無用LogStore或參考下文進行配額申請。
登入Log Service控制台,在Project列表地區,單擊目標Project。
在Project頁面的專案概覽-基礎資訊-資源配額中單擊管理,即可在資源配額面板中,調整目標資源的LogStore上限配額,然後單擊保存提交申請。修改申請需要等待1小時左右完成。
Log ServiceSLS的日誌丟失?
Project、LogStore丟失
如果主動刪除LogStore、Project,日誌無法恢複。您可以通過Action Trail功能查詢最近90天的刪除Project/LogStore事件。
Log Service欠費:超過7天,將視為主動放棄服務,Log ServiceProject將被回收,資料會被清理且不可恢複。更多資訊,請參見欠費說明。
如何最佳化日誌的儲存成本?
查詢Log Service的費用,請參見如何查看Log Service的儲存容量和消費記錄。
將歷史日誌下載到本地,或者投遞到OSS進行儲存。
如何查看LogStore中已採集日誌的資料來源?
當Project下存在您未主動建立的LogStore,或不清楚某個LogStore中的日誌由哪個雲端服務寫入時,可通過以下方式確認資料來源與日誌來源服務:
查看該LogStore的資料接入配置:Logtail採集配置、雲產品日誌的投遞或匯入配置直接對應寫入該LogStore的資料來源,是判斷來源最直接的方式。
在該LogStore的查詢分析頁面查看原始日誌:每條日誌的時間/IP列顯示來源識別欄位
__source__;由Logtail採集檔案寫入的日誌還會帶有__tag__:__path__等保留欄位,可據此判斷日誌的運行時來源。結合Project的注釋資訊判斷:雲端服務自動建立的Project通常會在注釋中說明用途和來源。
internal-首碼的LogStore(例如internal-operation_log、internal-alert-history、internal-etl-log)是Log Service為特定日誌接入保留的日誌庫,控制台會提示「當前日誌庫已配置為特定日誌接入,無法自訂配置」。不要依賴
GetLogStore返回的productType欄位判斷來源:該欄位未在Log ServiceOpenAPI中定義,取值未標準化,只能作為輔助訊號,不能作為唯一依據。
LogStore原始日誌儲存功能是否預設開啟?
預設開啟,無需手動設定。日誌寫入LogStore後,原始日誌即被儲存,Log Service未提供單獨的原始日誌儲存開關;日誌能儲存多久由該LogStore的資料儲存時間決定。
確認方法:登入Log Service控制台,進入目標LogStore的查詢分析頁面,選擇相應的時間範圍後,在原始日誌頁簽查看已寫入的日誌。原始日誌頁簽在該LogStore未開啟索引時同樣可見;若頁面提示未開啟索引,則只能查詢索引生效後寫入的資料。