Log Service

Log Service是針對日誌類資料一站式服務,用戶無需開發就能快捷完成資料擷取、消費、投遞以及查詢剖析等功能。

免費開通 聯絡我們

Log Service

阿里雲Log Service(Log Service,簡稱Log)是針對日誌類資料一站式服務,在阿里巴巴集團經曆大量巨量資料場景錘鍊而成。說明升階運維、運營效率,建立DT年齡海量日誌處理能力。


優點

便捷

  • 完整API/完善主控台,5分鐘完成接入

  • 上下遊豐富,與雲產品和各常用開源軟體無縫對接

可靠

  • 彈性,滿足從MB-100TB/天各種需求

  • > 99.9% 可用工時,用戶端支援自動中斷點續傳等

  • 存取控制、HTTPS、加密等完整安全機制

成本

  • 隨用隨付,成本低於自建60%以上

  • 0運維、0部署、0開發,升級/擴容等不影響商務

  • 用戶端效能是同類軟體10倍,資源消耗為1/10


產品詳情

阿里雲Log Service(Log Service,簡稱Log)是針對日誌類資料一站式服務,在阿里巴巴集團經曆大量巨量資料場景錘鍊而成。說明升階運維、運營效率,建立DT年齡海量日誌處理能力。


特點

即時採集與消費

LogHub - 即時採集:30+方式、伺服器、SDK、移動端、網路通訊協定、內嵌式裝置

  • Logtail:穩定可靠、安全、全平台(Linux、Windows、Docker)、高效能&低資源佔用

  • 通過API/SDK: 靈活方便,可擴充,10+種語言、移動端

  • 雲產品日誌(參考):ECS、ContainerService、MNS、CDN等服服務。一鍵打通,便捷高效

  • 其他(參考):Syslog、Unity3D、Logstash、Log4j、Nginx等

LogHub - 即時消費:StreamCompute、協同消費庫、多語言支援

  • 功能完善:覆寫Kafka 100%功能,並提供保序、Auto Scaling、根據時間段Seek等功能

  • 穩定可靠:寫入即可消費;99.9%以上可用工時;資料多分拷貝;秒內Auto Scaling;低成本;參見使用LogHub取代Kafka

  • 使用便捷:Spark Streaming,Storm,Consumer Library(一種自動負載平衡的編程圖樣),SDK訂閱等

資料投遞

LogShipper - 穩定可靠日誌投遞

  • OSS:將日誌投遞OSS,利用E-MapReduce剖析

  • TableStore: 將日誌投遞TableStore

索引與查詢

LogSearch - 即時索引、查詢資料

  • 大級別:PB級即時索引(寫入1秒內即可查);查詢每秒過十億級日誌

  • 低成本:0.4元/GB索引成本;低成本海量隱藏,支援設定生命週期

  • 查詢靈活:支援關鍵詞、柔邊、跨Topic查詢、及內容查詢


價格

Log Service對 LogHub、LogSearch 功能收費,LogShipper 免費。

該網頁價格僅作為參考,實際價格請以購買訂單網頁為準。

LogHub費用

LogHub 根據使用資源進行按月的梯度計費(用得越多折扣越大),如下所示:

資源計費項基礎價格> 100GB> 10TB> 1PB
讀寫流量($/GB)0.050.0450.040.035
儲存空間($/GB*天)0.0031250.0030.0028750.00275

LogSearch費用

LogSearch 為連結功能,您可以通過開啟索引進行日誌查詢與剖析,計費項為索引流量,對於每 GB 的資料,在寫入時一次性收取隱藏費用。

計費項基礎價格> 100GB> 10TB> 1PB
索引流量($/GB)0.10.08750.0750.0625

其它費用

為確保資源被合理使用,對於外網讀、Shard 數量、及讀寫次數有額外計費(正常情況下該部份費非常低廉):

計費項價格
讀寫次數($/百萬次)0.03
活躍 Shard 租用($/天)0.01
外網讀取流量($/GB)0.2

場景

以下是幾種常見的阿里雲Log Service場景:

1) 大圖

Log Service提供完整端對端解決方案:日誌採集、離線數倉、對接即時計算與監控、日誌暫留式管理與查詢

生態 : 支援上遊,支援下遊

2) 資料擷取

要應對套用的高存取量,可將只讀 RDS 實例與 RDS 主實例進行整合。這些實例全都具有讀寫分離功能,能夠降低 RDS 主實例的母體負載。

讀取負載散發的設定在套用級自行管理。

參考 : 日誌處理實戰:一個外賣網站解決方案

3) 對接即時計算

LogHub能許諾日誌產生到消費即時性,可以對接各種StreamCompute(Spark、Storm、StreamCompute、ConsumerLib)、以及監控系統,進行即時剖析

建議搭配 : LOG+ E-MapReduce+ Apache Storm

ApsaraDB for Redis + 阿里雲雲資料庫RDS版+ OSS + 雲資料庫 Memcache版

4) 對接資料倉儲

Log Service與OSS、MaxCompute、OTS無縫打通,可以基於此構建海量資料倉儲進行日誌理想剖析

建議搭配 : LOG+ OSS/E-MapReduce + MaxCompute

5) 日誌管理/查詢

在商務分析、資料採礦等場景下,阿里雲雲資料庫RDS版搭配阿里雲開放巨量資料計算服務,可進行巨量資料的進階散發式剖析和處理。這些Data Integration服務可在阿里雲雲資料庫RDS版與巨量資料計算服務間輕鬆同步資料,從而簡化母體流程。

建議搭配 : LOG

6) 日誌審計

收集、中心化隱藏日誌資料,基於Log Service可以對日誌進行即時監控,提供最近熱資料即時查詢,以及冷資料的備份

建議搭配 : LOG+ OSS/E-MapReduce + MaxCompute

使用入門

可以使用以下開發人員資源快速高效地建立並更好地管理您的阿里雲Log Service,包括阿里雲 CLI(命令列工具)和阿里雲Log Service API。

通過管理主控台使用阿里雲Log Service

阿里雲管理主控台提供基於 Web 的簡單使用者介面,讓您可以更好地存取和設定您的阿里雲Log Service資源。

通過這個主控台,您可以建立和變更阿里雲Log Service實例。

有關如何通過管理主控台管理和動作阿里雲Log Service的分步概觀,請閱讀本 快速開始指南

阿里雲雲Log ServiceAPI參考

要了解阿里雲Log ServiceAPI的其他資訊並存取可用 API 的完整清單,請點選 此處

資源

描寫詳細的阿里雲Log Service資源有助於您了解和使用阿里雲Log Service。此外,還提供了多個常見問題以及與阿里雲Log Service相關的一些服務。您可以在下方找到所有這些資源的連結。

開發人員資源

點選以下連結可存取 SDK 開發包、進階功能和文件等內容。這些連結有助於開發人員完善設定或將阿里雲Log Service與其現有套用進行整合。

常見問題

1. Log Service是什麼?

Log Service(Log Service,簡稱LOG)是對日誌收集、隱藏、訂閱平台化服務。服務提供各種類型日誌的即時收集,中心化管理、消費功能。

2. Log Service有哪幾部份組成?

主要有日誌收集用戶端、服務端以及其他系統。用戶端目前有Windows、Linux組建日誌收集Agent(Logtail),服務端處理Log ServiceAPI讀寫、以及設定動作,其它系統包括ODPS,即能向MaxCompute同步處理記錄資料,後續會支援向OSS和EMR同步處理記錄資料進行消費。

3. Log Service如何定義一條日誌?

日誌包含三部份:時間(必填),日誌內容(Key:Value對組成),以及中繼資料(Source,日誌來源IP)。