データ加工は、Simple Log Service で提供される、高可用性とスケーラビリティを備えたフルマネージド機能です。 データ加工機能を使用して、データの標準化、エンリッチ、転送、マスキング、フィルタリングを行うことができます。
加工プロセス
データ加工サービスは、次の 3 つのステップでデータを処理します。
コンシューマーグループがソース Logstore からデータを読み取ります。
SLS は、加工ルールに基づいて各データエントリを変換します。
SLS は、変換されたデータを宛先 Logstore に書き込みます。
データが変換されると、宛先 Logstore で結果を表示できます。
機能
Simple Log Service は、データの構造化、エンリッチ、配信、マスキング、フィルタリングのためのデータ加工機能を提供します。 詳細は次のとおりです：
データ標準化：SLS は、さまざまなフォーマットのログからフィールドを抽出し、ログフォーマットを変換して、データウェアハウスでのストリーム処理とコンピューティングのための構造化データを取得できます。
データエンリッチ：SLS は、ログのフィールドとディメンションテーブルを結合して、ログをディメンション情報にリンクできます。 たとえば、SLS は注文ログのフィールドとユーザー情報テーブルを結合できます。 これにより、データ分析が容易になります。
データ転送：SLS は、グローバルアクセラレーション機能を使用して、中国本土以外のリージョンから中央リージョンにログを転送できます。 これにより、グローバルなログを一元的に管理できます。
データマスキング：SLS は、パスワード、携帯電話番号、住所など、データ内の機密情報をマスキングできます。
データフィルタリング：SLS は、ログをフィルタリングして主要なサービスログを取得できます。 これは、さらなる分析に役立ちます。
利用シーン
データ標準化：ログデータはソース Logstore から読み取られ、変換された後、宛先 Logstore に書き込まれます。
データ転送：ログデータはソース Logstore から読み取られ、変換された後、複数の宛先 Logstore に書き込まれます。
複数ソースからのデータ集約：ログデータは複数のソース Logstore から読み取られ、変換された後、宛先 Logstore に書き込まれます。
加工構文
Simple Log Service (SLS) のドメイン固有言語 (DSL) は、200 以上のビルトイン関数と 400 以上の正規表現パターンを提供します。 詳細については、「構文の概要」をご参照ください。
メリット
SLS の DSL を使用して、必要に応じて関数をオーケストレーションできます。 オーケストレーションされた関数を使用して、データのフィルタリング、標準化、エンリッチ、転送、マスキングを行うことができます。
データをリアルタイムで処理し、数秒以内にデータを表示できます。 この機能は、データサイズに基づいてコンピューティング能力をスケーリングし、高いスループットを提供します。
ログ分析シナリオに適しており、すぐに使える関数を提供します。
リアルタイムダッシュボード、例外ログ、アラートを提供します。
Alibaba Cloud のビッグデータサービスやオープンソースエコシステムと統合できる、フルマネージドでメンテナンスフリーのサービスを提供します。
課金
ご利用の Logstore がデータ量課金モードを使用している場合、データ加工に対しては課金されません。 ただし、データがパブリック SLS エンドポイント経由でプルされる場合、インターネット経由の読み取りトラフィックに対して課金されます。 トラフィックは圧縮後のデータサイズに基づいて計算されます。 詳細については、「データ量課金の課金項目」をご参照ください。
ご利用の Logstore が機能課金モードを使用している場合、消費されたマシンおよびネットワークリソースに基づいてデータ加工に対して課金されます。 詳細については、「機能課金の課金項目」をご参照ください。
ソース Logstore のインデックス機能を無効にし、Logstore のデータ保持期間を短縮することで、コストを削減できます。 詳細については、「パフォーマンスガイド」および「コスト最適化ガイド」をご参照ください。