データ変換は、Simple Log Serviceで高可用性とスケーラビリティを提供するフルマネージド機能です。 データ変換機能を使用して、データの標準化、エンリッチ、転送、マスク、およびフィルタリングを行うことができます。
変換プロセス
Simple Log Serviceは、3つのステップでデータを変換します。
コンシューマーグループは、ソースLogstoreからデータを読み取ります。
Simple Log Serviceは、変換ルールに基づいて各データエントリを変換します。
Simple Log Serviceは、変換されたデータを宛先Logstoreに書き込みます。
データが変換された後、結果を宛先Logstoreで表示できます。
特徴
Simple Log Service
データの標準化: Simple Log Serviceは、さまざまな形式のログからフィールドを抽出し、ログ形式を変換して、データウェアハウスでのストリーム処理およびコンピューティング用の構造化データを取得できます。
データ強化: Simple Log Serviceは、ログとディメンションテーブルのフィールドを結合して、ログをディメンション情報にリンクできます。 たとえば、Simple Log Serviceは注文ログのフィールドとユーザー情報テーブルを結合できます。 これにより、データ分析が容易になる。
データ転送: Simple Log Serviceは、グローバルアクセラレーション機能を使用して、中国本土以外のリージョンから中央リージョンにログを転送できます。 これにより、グローバルログを一元管理できます。
データマスキング: Simple Log Serviceは、パスワード、携帯電話番号、アドレスなど、データ内の機密情報をマスクできます。
データフィルタリング: Simple Log Serviceはログをフィルタリングして主要なサービスログを取得できます。 これはさらなる分析に役立つ。
シナリオ
データの標準化: ログデータは、ソースLogstoreから読み取られ、変換されてから、ターゲットLogstoreに書き込まれます。
データ転送: ログデータは、ソースLogstoreから読み取られ、変換されてから、複数の宛先Logstoreに書き込まれます。
マルチソースデータ集約: ログデータは、複数のソースLogstoreから読み取られ、変換されてから、宛先Logstoreに書き込まれます。
変換構文
Simple Log Serviceのドメイン固有言語 (DSL) は、200を超える組み込み関数と400を超える正規表現を提供します。 DSL for Simple Log Serviceを使用して、ユーザー定義関数 (UDF) を作成できます。 詳細については、「構文の概要」をご参照ください。
メリット
DSL for Simple Log Serviceを使用して、ビジネス要件に基づいて機能を調整できます。 オーケストレーションされた関数を使用して、データをフィルタリング、標準化、エンリッチ、転送、およびマスクできます。
データをリアルタイムで処理し、数秒以内にデータを表示できます。 特徴は、データのサイズに基づいて計算能力をスケーリングし、高いスループットを提供する。
ログ分析シナリオに適しており、すぐに使用できる機能を提供します。
リアルタイムのダッシュボード、例外ログ、およびアラートを提供します。
Alibaba Cloudのビッグデータサービスおよびオープンソースのエコシステムと統合できる、フルマネージド型でメンテナンスフリーのサービスを提供します。
課金
Logstoreがデータによる従量課金モードを使用している場合、データ変換の料金は発生しません。 ただし、データがパブリックSimple Log Serviceエンドポイント経由でプルされた場合、インターネット経由の読み取りトラフィックに対して課金されます。 トラフィックは、圧縮後のデータのサイズに基づいて計算されます。 詳細については、「従量課金データの課金項目」をご参照ください。
Logstoreが機能課金モードを使用している場合、消費されたマシンとネットワークリソースに基づいてデータ変換に対して課金されます。 詳細については、「機能課金の課金項目」をご参照ください。
ソースLogstoreのインデックス作成機能を無効にし、Logstoreのデータ保持期間を短縮してコストを削減できます。 詳細については、「パフォーマンスガイド」および「コスト最適化ガイド」をご参照ください。