Simple Log Service は、SDK を使用してデータをリアルタイムで消費できる「リアルタイム消費」機能を提供します。本トピックでは、この機能の概念、メリット、利用シーン、課金ルール、および対応するコンシューマーについて説明します。
リアルタイム消費
リアルタイム消費は、サードパーティ製ソフトウェア、さまざまなプログラミング言語で開発されたアプリケーション、クラウドサービス、ストリーム計算フレームワークなどのコンシューマーが、SDK を使用して Simple Log Service のデータをリアルタイムで消費することを可能にします。この機能は、Kafka などのメッセージブローカーと同様に、全データセットに対して順次読み取りアクセスを提供します。また、SPL ステートメントを用いて消費中のデータを処理でき、Simple Log Service がその結果を返します。詳細については、「ルールに基づくログ消費」をご参照ください。
リアルタイム消費とクエリと分析の両方ともデータを読み取ります。両者の違いについては、「ログ消費とクエリの違い」をご参照ください。
ユースケース
リアルタイム消費は、ストリーム計算やリアルタイム分析などのシナリオに最適です。通常数秒以内という低遅延でのデータ消費を実現し、カスタムのデータ保持期間を設定することもできます。
メリット
リアルタイム消費には、以下のメリットがあります。
-
データの一元管理
Simple Log Service は、複数のマシンから収集したデータを一元的に管理し、SDK を使用して収集済みデータをリアルタイムで消費できます。
-
分類別管理
Simple Log Service のデータ分類機能を活用することで、異なるアプリケーションやクラウドサービスが、異なるプロジェクトから異なる種類のデータをリアルタイムで消費できます。
課金
-
Logstore が「取り込みデータ量課金」モードを使用している場合、Simple Log Service はリアルタイム消費に対して課金しません。ただし、Simple Log Service のパブリックエンドポイントからデータをプルする場合は、圧縮後のデータサイズに基づき、インターネット経由の読み取りトラフィックに対して課金されます。詳細については、「取り込みデータ量課金モードの課金項目」をご参照ください。Logstore の課金モードを確認する方法については、「Logstore の管理」をご参照ください。
-
Logstore が「機能別課金」モードを使用している場合、リアルタイム消費には読み書きトラフィックおよびリクエストなど、複数の課金項目が含まれます。詳細については、「機能別課金モードの課金項目」をご参照ください。
コンシューマー
以下に、Simple Log Service がリアルタイム消費に対応するコンシューマーの一覧を示します。
|
タイプ |
コンシューマー |
説明 |
|
サードパーティ製ソフトウェア |
Flume |
Flume を使用して、Simple Log Service のデータをリアルタイムで消費します。詳細については、「Flume を使用したデータ消費」をご参照ください。 |
|
Logstash |
Logstash を使用して、Simple Log Service のデータをリアルタイムで消費します。詳細については、「Logstash を使用したデータ消費」をご参照ください。 |
|
|
QRadar |
QRadar などのセキュリティ情報およびイベント管理（SIEM）システムは、HTTPS または Syslog 経由で Simple Log Service のデータをリアルタイムで消費できます。詳細については、「SIEM システムへのログ送信」および「Syslog 経由での SIEM システムへのログ送信」をご参照ください。 |
|
|
さまざまなプログラミング言語で開発されたアプリケーション |
アプリケーション（SLS 消費プロトコル） |
Java、Python、Go などの言語で開発されたアプリケーションは、コンシューマーまたはコンシューマーグループとして Simple Log Service のデータを消費できます。詳細については、「API を使用したデータ消費」および「コンシューマーグループを使用したデータ消費」をご参照ください。 |
|
ストリーム計算フレームワーク |
Flink |
ストリーム計算フレームワーク Flink を使用して、Simple Log Service のデータをリアルタイムで消費します。詳細については、「Flink を使用したデータ消費」をご参照ください。 |
|
Spark |
ストリーム計算フレームワーク Spark を使用して、Simple Log Service のデータをリアルタイムで消費します。詳細については、「Spark Streaming を使用したデータ消費」をご参照ください。 |
|
|
クラウドサービス |
Function Compute |
Function Compute を使用して、Simple Log Service のデータをリアルタイムで消費します。詳細については、「Function Compute を使用したログデータの消費」をご参照ください。 |
|
Blink |
Realtime Compute for Apache Flink を使用して、Simple Log Service のデータをリアルタイムで消費します。詳細については、「Realtime Compute for Apache Flink を使用したデータ消費」をご参照ください。 |