Log Service的典型應用情境包括:資料擷取與消費、資料清洗與Realtime Compute (ETL/Stream Processing)、資料倉儲對接(Data Warehouse)、日誌即時查詢與分析。
資料擷取與消費
通過Log ServiceLogHub功能,可以大規模低成本接入各種即時日誌資料(包括Metric、Event、BinLog、TextLog、Click等)。
方案優勢:
使用便捷:提供50+即時資料採集方式,讓您快速搭建平台;強大組態管理能力,減輕營運負擔。
Auto Scaling:無論是流量高峰還是業務增長都能輕鬆應對。
圖 1. 資料擷取與消費
資料清洗與Realtime Compute (ETL/Stream Processing)
日誌中樞(LogHub)支援與各種Realtime Compute及服務對接,並提供完整的進度監控,警示等功能,並可以根據SDK/API實現自訂消費。
操作便捷:提供豐富SDK以及編程架構,與各Realtime Compute引擎無縫對接。
監控警示:提供豐富監控資料,以及延遲警示機制。
Auto Scaling:PB級彈效能力,0延遲。
圖 2. 資料清洗與Realtime Compute
資料倉儲對接(Data Warehouse)
日誌投遞(LogShipper)功能可以將日誌中樞(LogHub)中資料投遞至儲存類服務,過程支援壓縮、自訂Partition、以及行列等各種儲存格式。
海量資料:對資料量不設上限。
種類豐富:支援行、列、TextFile等各種儲存格式。
配置靈活:支援使用者自訂Partition等配置。
圖 3. 資料倉儲對接
日誌即時查詢與分析
即時查詢分析(LogAnalytics)可以即時索引LogHub中資料,提供關鍵詞、模糊、上下文、範圍、SQL彙總等豐富查詢手段。
即時性強:寫入後即可查詢。
海量低成本:支援PB/Day索引能力,成本為自建方案15%。
分析能力強:支援多種查詢手段,及SQL進行彙總分析,並提供可視化及警示功能。
圖 4. 日誌即時查詢與分析