Log Service アプリケーションによくあるシナリオとして、データ収集、リアルタイム処理、データウェアハウスのオフライン分析、プロダクトの運用と分析、O＆M と管理があります。一般的なアプリケーションのシナリオを以下に示します。 ベストプラクティスにもシナリオをいくつか記載されていますので、ご参照ください。

データの収集と処理

Log Service の LogHub 機能により、大量のリアルタイムログデータ (Metric、BinLog、TextLog、Click を含む) に低コストにアクセスできます。

ソリューションの利点：

  • 使いやすい: リアルタイムにデータを収集する方法が 30 以上用意されており、すばやく環境を構築することができます。高性能な設定と管理機能により、保守管理にかかる負荷を軽減させることができます。中国、また、世界のあらゆるリージョンにあるノードをご利用いただけます。
  • 自動スケーリング: トラフィック量の増加やサービス拡充に容易にご対応いただけます。
図 1. データの収集と処理

ETL/ストリーム処理

LogHub は、あらゆるリアルタイム処理サービスと組み合わせることができます。進捗モニタリングとアラーム機能を完備しており、SDK/API でカスタマイズ処理できます。

  • 簡単な操作性: さまざまな SDK とプログラミングフレームワークが用意されており、シームレスにさまざまなストリーム処理エンジンと連携できます。
  • 機能が豊富: さまざまなモニタリングデータ、アラーム機能が用意されています。
  • 柔軟な拡張性: 遅延なしに PB 単位に拡張できます。
図 2. データクリーニングとストリーム処理

データウェアハウス

LogShipper により、LogHub 内のデータがストレージサービスに送信 (ship) されます。圧縮、カスタム化シャード、行ストレージ、列ストレージといったあらゆるストレージ形式に対応します。

  • 大量のデータ: データ量に上限なし
  • 豊富なストレージ形式: 行ストレージ、列ストレージ、TextFile といった、さまざまなストレージ形式に対応
  • 柔軟に設定: シャードのカスタム化といった設定が可能
図 3. データウェアハウスにドッキング

ログをリアルタイムに照会/分析

LogAnalytics は、LogHub のデータをリアルタイムにインデックスが作成され、キーワード検索、あいまい検索、コンテキスト、範囲指定、SQL 集約といったクエリが豊富に用意されています。

  • 高性能にリアルタイム: データが書き込まれたと同時にクエリ可能
  • 大容量で低コスト: PB/日でインデックスが作成され、独自開発する場合と比較して 15 % 割安
  • 高度に分析: あらゆるクエリが行えます。また、視覚化とアラーム通知機能が用意されています。
図 4. リアルタイムなログ照会/分析