Simple Log Service は、データ正規化、データエンリッチメント、データ転送、データマスキング、データフィルタリングのための、フルマネージドでスケーラブルかつ高可用性なデータ変換サービスです。
変換プロセス
データ変換サービスは、次の 3 つのステップでデータを処理します。
コンシューマーグループを使用してソース Logstore からデータを読み取ります。
変換ルールに基づいて各ログを変換します。
変換後のデータを送信先 Logstore に書き込みます。
データ変換後、送信先 Logstore で結果を確認できます。
機能
Simple Log Service は、データの正規化、エンリッチメント、転送、マスキング、フィルタリングに使用できるデータ変換機能を提供します。各機能は次のとおりです。
データ正規化：さまざまな形式のログからフィールドを抽出し、ログ形式を変換します。このプロセスにより、ストリーム処理やデータウェアハウスコンピューティング用の構造化データが生成されます。
データエンリッチメント：ログ (注文ログなど) のフィールドとディメンションテーブル (ユーザー情報テーブルなど) を結合します。これにより、ログにより多くのディメンションが追加され、データ分析に役立ちます。
データ転送：クロスリージョン アクセラレーション機能を使用して、中国以外のリージョンから中央リージョンにログを転送します。これにより、全世界のログを一元的に管理できます。
データマスキング：パスワード、電話番号、住所など、データ内の機密情報をマスキングします。
データフィルタリング：ログをフィルタリングして、主要なサービスのログを取得し、重点的な分析を行います。
シナリオ
データ正規化 (1 対 1)：ソース Logstore からログデータを読み取り、データを変換してから、送信先 Logstore にデータを書き込みます。
データ分散 (1 対多)：ソース Logstore からログデータを読み取り、データを変換してから、さまざまな送信先 Logstore にデータを書き込みます。
データ集約 (多対 1)：さまざまなソース Logstore からログデータを読み取り、データを変換してから、送信先 Logstore にデータを書き込みます。
処理構文
SLS ドメイン特化言語 (DSL) は、200 以上の組み込み関数と 400 以上の正規表現パターンを提供します。詳細については、「構文の概要」をご参照ください。
メリット
SLS DSL を使用して、データフィルタリング、正規化、エンリッチメント、転送、マスキングなどのさまざまな機能をオーケストレーションできます。
データをリアルタイムで処理し、数秒以内に表示できます。データ量に応じた伸縮自在なスケーリングと高スループット容量を備えた、スケーラブルなコンピューティング機能を提供します。
さまざまなログ分析シナリオに対応した、すぐに使える機能を提供します。
リアルタイムダッシュボード、例外ログ、アラート機能と統合されています。
運用保守 (O&M) を必要としないフルマネージドサービスを提供します。このサービスは、Alibaba Cloud のビッグデータ製品やオープンソース エコシステムと統合されています。
課金
Logstore で取り込みデータ量課金モードを使用している場合、データ変換サービスに追加料金は発生しません。ただし、SLS のパブリック エンドポイント経由でデータをプルすると、アウトバウンド トラフィック料金が発生します。これらの料金は、圧縮後のデータ量に基づいて計算されます。詳細については、「取り込みデータ量課金モードの課金項目」をご参照ください。
Logstore で機能別課金モードを使用している場合、データ変換サービスはマシン リソースとネットワーク リソースを消費するため、料金が発生します。詳細については、「機能別課金モードの課金項目」をご参照ください。
コストを節約するために、ソース Logstore のインデックス機能を無効にし、データ保持期間を短く設定できます。詳細については、「パフォーマンスガイド」および「コスト最適化ガイド」をご参照ください。