Simple Log Service は、マネージド型でスケーラブル、かつ可用性の高い新バージョンのデータ変換サービスを提供します。このサービスは、データの整理、情報の抽出、データのクレンジング、フィルタリング、およびログストアへの配布に役立ちます。
仕組み
データ変換 (新バージョン) 機能は、ホストされているデータ消費ジョブと処理言語 (SPL) ルール消費機能に基づいて、ログデータをリアルタイムで処理します。SPL ルールの詳細については、「SPL 構文」をご参照ください。SPL が関係するシナリオの詳細については、「リアルタイム消費の概要」をご参照ください。
データ変換は Simple Log Service のリアルタイム消費 API に依存しており、ソースログストアのインデックス構成には依存しません。
スケジューリングメカニズム
変換サービスには、1 つ以上のインスタンスを起動して変換ジョブを同時に処理するスケジューラがあります。実行中の各インスタンスは、コンシューマとして機能し、ソースログストアの 1 つ以上のシャードを消費します。スケジューラは、インスタンスのリソース使用量と消費の進捗状況に基づいて、インスタンスを動的にスケーリングします。単一ジョブの最大同時実行数は、ソースログストアのシャード数です。
インスタンスの実行
ジョブの SPL ルールと宛先ログストアの構成に基づいて、SPL ルールを使用して、データ変換サービスによって割り当てられたシャードからソースログデータを消費できます。処理された結果は、SPL ルールに基づいて配信され、対応する宛先ログストアに書き込まれます。インスタンスの実行中、シャードのコンシューマオフセットは自動的に保存され、ジョブが停止してから再起動されたときに、中断された時点から消費が継続されるようにします。
ジョブの停止と再開
自動停止: 終了時刻が構成されている場合、ジョブはその時刻より前にログを処理した後に自動的に停止します。構成されていない場合、ジョブは実行を継続します。詳細については、「ETL」をご参照ください。
再開可能な処理: 予期しない停止後にジョブが再起動されると、デフォルトでは最後に保存されたシャードチェックポイントから処理が継続され、データの整合性が確保されます。
ジョブの実行ステータスの表示
Simple Log Service は データ変換ジョブのモニタリング をサポートしています。
シナリオ
データ変換機能は、データ標準化、転送、機密化、フィルタリングなどのシナリオで使用されます。以下の項目でシナリオについて説明します。
データ標準化と情報抽出: さまざまな形式のログからフィールドを抽出し、データ形式を変換して、ダウンストリーム アプリケーションとデータウェアハウスによる効率的なストリーム処理と分析のための構造化データを取得します。
データ転送と配信:
さまざまな種類のログを単一のログストアに収集し、ソースサービスモジュールまたはビジネスコンポーネントに基づいてログをダウンストリームログストアに配信します。これにより、データの分離とシナリオ固有の計算が実現します。
ビジネスがデプロイされているリージョンからログを収集し、アクセラレーションサービスを使用して中央リージョンにログを集約します。これにより、グローバルな中央ログ管理が可能になります。
データクレンジングとフィルタリング: 無効なログレコードまたは未使用のログフィールドをクリアし、キーフィールドをフィルタリングして、ダウンストリームログストアに書き込んで、重点的な分析を行います。
データの機密化: データレコード内のパスワード、携帯電話番号、IP アドレスなどの機密情報を機密化します。
メリット
Simple Log Service の SPL 構文は使いやすく、データの収集、クエリ、消費を一元的に行うことができます。
SPL 開発中は、行ごとのデバッグとコードプロンプトがサポートされており、統合開発環境 (IDE) コーディングと同様のエクスペリエンスが提供されます。
データはリアルタイムで処理されるため、数秒以内に可視化できます。さらに、計算リソースの弾力的なスケーリングがサポートされており、高いスループットが提供されます。
ログ分析用のデータ処理ディレクティブと SQL 関数がすぐに使用できます。
リアルタイムメトリックを備えたダッシュボードが提供されており、ジョブを十分に把握して監視できます。
Alibaba Cloud のビッグデータサービスとオープンソースエコシステムに統合できる、完全に管理されたメンテナンスフリーのサービスです。
課金
ログストアが書き込まれたデータ量に基づいて課金される場合、データ変換 (新バージョン) 機能は料金が発生しません。ただし、Simple Log Service のパブリックドメインが存在するインターフェイスを使用してデータがプルまたは書き込まれた場合、インターネットの読み取りトラフィックは圧縮データ量に基づいて課金されます。詳細については、「従量課金制の課金対象項目」をご参照ください。
ログストアが使用された機能に基づいて課金される場合、データ変換 (新バージョン) 機能で使用される計算リソースとネットワークリソースに対して料金が請求されます。詳細については、「機能別課金制の課金対象項目」をご参照ください。