Simple Log Service は、マネージド型でスケーラブル、かつ高可用性のデータ変換 (新バージョン) サービスを提供します。このサービスは、データ標準化、情報抽出、データクレンジング、データフィルタリング、複数の宛先 Logstore へのデータ配布などのデータ処理シナリオで使用します。
仕組み
Simple Log Service のデータ変換 (新バージョン) 機能は、ログデータをリアルタイムで処理します。これは、リアルタイムデータ消費ジョブを管理し、構造化プロセス言語 (SPL) ルール消費機能を使用することで機能します。SPL ルールの詳細については、「SPL 構文」をご参照ください。SPL のリアルタイム消費シナリオの詳細については、「リアルタイム消費の概要」をご参照ください。
データ変換機能は、Simple Log Service のリアルタイム消費 API に基づいており、ソース Logstore のインデックス設定には依存しません。
スケジューリングメカニズム
各変換ジョブに対して、サービスのスケジューラは 1 つ以上のインスタンスを起動してデータを同時に処理します。各インスタンスはコンシューマーとして機能し、ソース Logstore の 1 つ以上のシャードからデータを消費します。スケジューラは、リソース使用量と処理の進捗状況に基づいてインスタンスの数を調整し、弾力的なスケーリングを実現します。単一ジョブの最大同時実行数は、ソース Logstore のシャード数です。
実行中のインスタンス
ジョブの SPL ルールと宛先 Logstore の構成に基づいて、実行中の各インスタンスは、割り当てられたシャードから SPL ルールを使用してソースログデータを消費します。その後、インスタンスは処理結果を対応する宛先 Logstore に配布して書き込みます。インスタンスの実行中、各シャードの消費チェックポイントが自動的に保存されます。これにより、ジョブが停止して再起動した場合でも、保存されたチェックポイントから消費が再開されることが保証されます。
ジョブの停止と再開
自動停止: 終了時刻が設定されている場合、その時刻より前に作成されたすべてのログを処理した後、ジョブは自動的に停止します。終了時刻が設定されていない場合、ジョブは継続的に実行されます。詳細については、「ETL」をご参照ください。
再開可能な処理: 予期せぬ停止後にジョブが再起動すると、デフォルトで最後に保存されたシャードのチェックポイントから処理を再開します。これにより、データ整合性が保証されます。
ジョブステータスの表示
データ変換ジョブのステータスをモニターできます。詳細については、「データ変換ジョブ (新バージョン) のモニター」をご参照ください。
シナリオ
データ変換機能は、データ標準化、データ転送、データマスキング、データフィルタリングなどのシナリオで使用されます。これらのシナリオについて以下で説明します。
データ標準化と情報抽出: 形式が不統一なログからフィールドを抽出し、データ形式を変換します。これにより、下流のストリーム処理やデータウェアハウス分析をサポートするための構造化データが生成されます。
データ転送と配信:
さまざまな種類のログを単一の Logstore に収集します。その後、ソースサービスモジュールやビジネスコンポーネントなどの特性に基づいて、ログを異なる下流の Logstore に配布します。これにより、データ分離とシナリオ固有の計算が実現します。
サービスが複数のリージョンにデプロイされている場合は、各リージョンでログを収集します。その後、異なるリージョンからのログを中央のリージョンに集約します。リージョン間の集約にはアクセラレーションサービスを使用できます。これにより、グローバルなログの一元管理が可能になります。
データクレンジングとフィルタリング: 無効なログエントリをクレンジングしたり、未使用のログフィールドを削除したりします。重要な情報をフィルタリングして下流の Logstore に書き込み、集中的な分析を行います。
データマスキング: パスワード、電話番号、住所など、データ内の機密情報をマスキングします。
メリット
Simple Log Service は、データ収集、クエリ、消費に統一された SPL 構文を使用します。これにより、操作ごとに異なる構文を学習する必要がなくなります。
データ変換 (新バージョン) の SPL スクリプトを作成する際に、行ごとのデバッグとコードヒントを使用できます。これにより、統合開発環境 (IDE) に似たコーディング体験が提供されます。
リアルタイム処理、秒単位のデータ可視性、スケーラブルな計算能力、使用量に基づく弾力的なスケーリング、高スループットの恩恵を受けることができます。
ログ分析シナリオ向けに設計された、すぐに使えるデータ処理命令と SQL 関数を使用できます。
リアルタイムの可観測性メトリックとダッシュボードを表示できます。また、運用メトリックに基づいてカスタムのモニタリングルールを作成することもできます。
Alibaba Cloud のビッグデータプロダクトやオープンソースエコシステムと統合された、フルマネージドの O&M フリーサービスの恩恵を受けることができます。
課金
Logstore が pay-by-ingested-data 課金方法を使用している場合、データ変換 (新バージョン) サービス自体には料金は発生しません。ただし、インターネット経由で Simple Log Service からデータをプルしたり、データを書き込んだりする際に発生するインターネットトラフィックに対して課金されます。トラフィックは圧縮後のデータサイズに基づいて計算されます。詳細については、「取り込みデータ量による支払いモードの課金項目」をご参照ください。
Logstore が pay-by-feature 課金方法を使用している場合、データ変換 (新バージョン) サービスによって消費されるコンピューティングリソースとネットワークリソースに対して課金されます。詳細については、「機能ごとの支払い課金モデルの課金項目」をご参照ください。