Simple Log Service は、ソフトウェア開発キット (SDK) を使用してリアルタイムでデータを消費できるリアルタイム消費機能を提供します。このトピックでは、この機能の概念、メリット、利用シーン、課金ルール、およびコンシューマーについて説明します。
リアルタイム消費
リアルタイム消費により、サードパーティソフトウェア、多言語アプリケーション、クラウドプロダクト、およびストリーム処理フレームワークが SDK を使用して Simple Log Service からリアルタイムでデータを消費できます。この機能は、Kafka ミドルウェアと同様に、完全なデータを順次読み書きします。Structured Process Language (SPL) 文を使用してデータ処理を行うことができ、サーバーサイドが結果を返します。詳細については、「ルールに基づくログの消費」をご参照ください。
リアルタイム消費とクエリと分析はどちらもデータの読み取りに使用されます。両者の違いの詳細については、「ログ消費とクエリの違い」をご参照ください。
利用シーン
リアルタイム消費は、ストリーム処理やリアルタイムコンピューティングなどの利用シーンに適しています。この機能は低レイテンシーを提供し、データは通常数秒以内に処理されます。データ保持期間はカスタマイズできます。
メリット
リアルタイム消費には、以下のメリットがあります。
一元的なデータストレージ
Simple Log Service は、異なるマシンからのデータを一元化します。SDK を使用するだけで、収集されたデータをリアルタイムで消費できます。
データ分類
Simple Log Service のデータ分類機能を使用できます。これにより、異なるアプリケーションやプロダクトが、異なるプロジェクトから異なる種類のデータをリアルタイムで消費できます。
課金ルール
Logstore が取り込みデータ量に応じた課金モードを使用している場合、リアルタイム消費に対しては課金されません。ただし、Simple Log Service のパブリックエンドポイントからデータをプルする場合、アウトバウンドインターネットトラフィックに対して課金されます。トラフィックは圧縮後のデータ量に基づいて計算されます。詳細については、「取り込みデータ量に応じた課金モードの課金項目」をご参照ください。Logstore の課金モードを確認するには、「Logstore の管理」をご参照ください。
Logstore が機能に応じた課金モードを使用している場合、リアルタイム消費では、読み取り/書き込みトラフィックやリクエストなど、複数の課金項目で料金が発生します。詳細については、「機能に応じた課金モードの課金項目」をご参照ください。
消費ターゲット
以下の表は、Simple Log Service のリアルタイム消費でサポートされているコンシューマーについて説明しています。
タイプ | 目的 | 説明 |
サードパーティソフトウェア | Flume | Flume を使用して Simple Log Service からリアルタイムでデータを消費できます。詳細については、「Flume を使用したデータ消費」をご参照ください。 |
Logstash | Logstash を使用して Simple Log Service からリアルタイムでデータを消費できます。詳細については、「Logstash を使用したデータ消費」をご参照ください。 | |
QRadar | QRadar などのセキュリティ情報およびイベント管理 (SIEM) システムは、HTTPS または Syslog プロトコルを介して Simple Log Service からリアルタイムでデータを消費できます。詳細については、「SIEM システムへのログ配信」および「Syslog を介した SIEM システムへのログ配信」をご参照ください。 | |
多言語アプリケーション | 多言語アプリケーション | Java、Python、Go などの言語で開発されたアプリケーションは、コンシューマーまたはコンシューマーグループとして Simple Log Service からデータを消費できます。詳細については、「API を使用したデータ消費」および「コンシューマーグループを使用したログ消費」をご参照ください。 |
ストリーム処理 | Flink | Flink ストリーム処理フレームワークを使用して Simple Log Service からリアルタイムでデータを消費できます。詳細については、「Flink を使用したデータ消費」をご参照ください。 |
Spark | Spark ストリーム処理フレームワークを使用して Simple Log Service からリアルタイムでデータを消費できます。詳細については、「Spark Streaming を使用したデータ消費」をご参照ください。 | |
クラウドプロダクト | Function Compute | Function Compute を使用して Simple Log Service からリアルタイムでデータを消費できます。詳細については、「Function Compute を使用したログデータ消費」をご参照ください。 |
Blink | リアルタイムコンピューティングを使用して Simple Log Service からリアルタイムでデータを消費できます。詳細については、「Realtime Compute for Apache Flink を使用したデータ消費」をご参照ください。 |