Simple Log Service:シナリオ

データの収集と統合

Simple Log ServiceのLogHubモジュールを使用して、大量のログデータをリアルタイムで収集できます。 ログデータは、メトリック、イベント、バイナリログ、テキストログ、およびクリックストリームデータです。

利点

• 使いやすさ: Simple Log Serviceは、プラットフォームの構築に役立つ50を超えるデータソースをサポートしています。 Simple Log Serviceは、O&Mワークロードを削減するための強力な構成および管理機能も提供します。

• 柔軟なスケーラビリティ: Simple Log Serviceは、トラフィックの急増とビジネスの成長に対応できます。

図 1. データ収集と消費

ETLとストリーム処理

LogHubは、複数のストリーム処理エンジンおよびサービスに接続できます。 LogHubは、処理の進行状況を監視し、アラートを生成することもできます。 SDKを使用するか、API操作を呼び出して、ビジネス要件に基づいてデータを使用することもできます。

• 使いやすさ: Simple Log Serviceは、複数のストリーム処理エンジンとのシームレスな統合のための包括的なSDKおよびプログラミングフレームワークを提供します。

• モニタリングとアラート: Simple Log Serviceは、包括的なメトリックとレイテンシー時のアラートメカニズムを提供します。

• 柔軟なスケーラビリティ: Simple Log Serviceは、遅延なしでペタバイト単位のデータを処理する自動スケーリングをサポートしています。

図2. ETLとストリーム処理

データウェアハウスとの統合

Simple Log ServiceのLogShipperモジュールは、LogHubデータをストレージサービスに送信できます。 出荷中に、データの圧縮、カスタムパーティション形式の定義、および行または列ストアの指定ができます。

• 大容量のデータ: ストレージサービスに無制限の量のデータを出荷できます。

• 複数の形式: 行ストア、列ストア、テキストファイルなどのさまざまなストレージ形式がサポートされています。

• 柔軟な設定: さまざまな設定がサポートされているため、カスタムパーティション形式を定義できます。

図3. データウェアハウスとの統合

リアルタイムのクエリと分析

LogAnalyticsモジュールは、LogHub内のデータにリアルタイムでインデックスを付けることができ、キーワードベースの検索、ファジー検索、コンテキストクエリ、特定の時間範囲内のデータクエリ、SQLベースの集計など、複数のクエリ方法を提供します。

• タイムリー性: データがLogHubに書き込まれた後、リアルタイムのクエリ操作を実行できます。

• 高効率と低コスト: 毎日ペタバイト単位のデータにインデックスを付けることができます。 コストは、自己管理システムと比較して85% に低い。

• 強力な分析: Simple Log Serviceは、複数のクエリ方法とSQLベースの集計関数をサポートしています。 Simple Log Serviceは、視覚化されたレポートも提供し、アラートを設定できます。

図4. リアルタイムのクエリと分析