Simple Log Service:データ変換 (新バージョン) の概要

仕組み

データ変換 (新バージョン) は、ホスト型のリアルタイム消費ジョブと SPL ルールを使用して、ログデータをリアルタイムで処理します。SPL 構文。標準消費の概要。

スケジューリングメカニズム

スケジューラは、データを並列処理するために、ジョブごとに 1 つ以上のインスタンスを起動します。各インスタンスは、ソース Logstore の 1 つ以上のシャードからデータを消費します。インスタンス数は、リソース使用量と処理の進捗に基づいて調整されることで、エラスティックスケーリングを実現します。ジョブあたりの最大同時実行数は、ソース Logstore のシャード数と同じです。

実行中のインスタンス

ジョブの SPL ルールと送信先 Logstore の設定に基づき、各インスタンスは割り当てられたシャードからソースログデータを消費し、結果を送信先 Logstore に配信して書き込みます。インスタンスはシャードのチェックポイントを自動的に保存するため、ジョブを再起動すると、最後のチェックポイントから再開されます。

ジョブの停止と再開

• 自動停止：終了時刻が設定されているジョブは、その時刻より前のすべてのログの処理が完了すると停止します。終了時刻が設定されていない場合、ジョブは継続的に実行されます。ETL。

• 再開可能な処理：予期しない停止が発生した場合、ジョブを再起動すると、デフォルトで最後に保存されたシャードのチェックポイントから再開され、データ一貫性が確保されます。

ジョブ実行ステータスの表示

SLS は、データ変換ジョブのモニタリングをサポートしています。データ変換 (新バージョン) ジョブの観測とモニタリング。

シナリオ

データ変換は、次のシナリオをサポートしています：

• データ正規化と情報抽出：形式が不統一なログからフィールドを抽出し、形式を正規化して、ストリーム処理およびデータウェアハウス分析向けの構造化データを生成します。

• データ転送と配信：

  • 複数種類のログを 1 つの Logstore に集約した後、特性 (ソースモジュール、業務コンポーネント) に基づいて下流の Logstore に配信し、データ分離とシナリオ別の計算を実現します。

  • 複数リージョンにデプロイしている場合は、各リージョンのログをクロスリージョン高速化で中央リージョンに集約し、集中管理を実現します。

• データクレンジングとフィルタリング：無効なエントリや不要なフィールドを削除し、フィルタリング後の重要な情報を下流の Logstore に書き込んで、分析を効率化します。

• データマスキング：パスワード、電話番号、住所などの機密データをマスキングします。

機能

• SPL は、データ収集、クエリ、およびデータ処理のための統一言語を提供し、複数の構文を学習する手間が省けます。

• 行単位のデバッグとコードヒントにより、IDE のような SPL コーディング体験を提供します。

• 秒単位でのデータ可視化を伴うリアルタイム処理、エラスティックスケーリング、高スループットを提供します。

• ログ分析向けに、組み込みのデータ処理命令と SQL 関数を提供します。

• ランタイムメトリクスに基づくリアルタイムの可観測性メトリクス、ダッシュボード、およびカスタム監視ルールを提供します。

• フルマネージドでメンテナンスが不要なうえ、Alibaba Cloud のビッグデータおよびオープンソースエコシステムとの統合も提供します。

課金

• 取り込みデータ量課金 Logstores：データ変換 (新バージョン) は無料です。SLS パブリックエンドポイント経由でデータをプルまたは書き込みする際のアウトバウンドトラフィックは、圧縮後データ量に基づいて課金されます。取り込みデータ量課金モードの課金対象項目。

• 機能別課金 Logstores：データ変換 (新バージョン) によって消費されるコンピュートおよびネットワークリソースに対して課金されます。機能別課金モードの課金対象項目。

• データ変換ジョブ (新バージョン) 内でのフィルタリングでは、課金対象のデータ量は削減されません。これは、SPL の where 命令によるフィルタリングや、データ変換 (旧バージョン) のドメイン固有言語 (DSL) の破棄関数などのフィルタリングに適用されます。取り込みデータ量課金 モードでは、課金はソース Logstore に取り込まれた未加工データに基づきます。データ変換ジョブ内のフィルタリングは、送信先 Logstore に書き込まれるデータにのみ影響し、ソース Logstore にすでに取り込まれたデータ量は変更しません。

• 課金対象のデータ量を削減するには、収集時にログをフィルタリングしてください。Logtail の収集設定で、拡張プラグイン processor_filter_regex などのデータフィルタリングプラグインを使用して、必要なログのみ (例：level が error のログのみ) を収集します。収集されないログは Logstore に取り込まれないため、ソース側で課金対象データ量を削減でき、データ変換の対象にもなりません。詳細については、「Logtail データフィルタリングプラグイン」をご参照ください。