Simple Log Service:用語

抽出、変換、およびロード (ETL) は、データがビジネスシステムから抽出され、クレンジングされ、変換され、ロードされるプロセスです。 このプロセスは、異なるソースからのデータを統合および標準化します。 Log Serviceは、ソースLogstoreからデータをロードし、データを変換してから、変換後のデータを宛先Logstoreに書き込むことができます。 Log Serviceは、Object Storage Service (OSS) バケット、ApsaraDB RDSインスタンス、またはその他のLogstoreからデータをロードすることもできます。

データ変換では、イベントとデータはログで表されます。 たとえば、イベント時間はログ時間に相当し、drop_event_fields関数はログフィールドを破棄します。

ログ時間は、イベントが発生した時点を示します。 ログ時間は、イベント時間とも呼ばれます。 ログ時間は、log Serviceの予約フィールド __time__ で示されます。 このフィールドの値は、ログの時刻情報から抽出されます。 この値は、エポック時刻1月1日1970 00:00:00 UTCから経過した秒数を表すUNIXタイムスタンプです。 データ型: 整数。 単位は秒です。

データ変換機能は、変換のためにソースLogstoreからデータを読み取ります。

データ変換タスクに設定できるソースLogstoreは1つだけです。 ただし、異なるデータ変換タスクに対して同じソースLogstoreを設定できます。

データ変換機能は、変換されたデータを宛先Logstoreに書き込みます。

データ変換タスク用に1つ以上の宛先ログストアを設定できます。 データは、静的または動的モードで宛先Logstoreに書き込むことができます。 詳細については、「複数のターゲット Logstore へのデータの送信」をご参照ください。

Log Serviceのドメイン固有言語 (DSL) は、Python互換のスクリプト言語であり、Log Serviceのデータ変換に使用されます。 DSL for Log ServiceはPythonの上に構築されています。 DSLは、一般的なデータ変換タスクを簡素化するために、200を超える組み込み機能を提供します。 DSLでは、カスタムPython拡張機能を使用することもできます。 詳細については、「t908981.html#concept_1130584」をご参照ください。

変換ルールは、DSL for Log Serviceを使用して調整されるデータ変換スクリプトです。

データ変換タスクは、データ変換の最小スケジューリング単位である。 データ変換タスクのソースLogstore、1つ以上の宛先Logstore、変換ルール、変換時間範囲、およびその他のパラメーターを設定する必要があります。

リソースとは、データ変換中に参照されるサードパーティのデータソースを指します。 データソースには、オンプレミスリソース、Object Storage Service (OSS) 、ApsaraDB RDS、およびソースとターゲットのLogstore以外のLogstoreが含まれますが、これらに限定されません。 リソースは、データを強化するために参照され得る。 詳細については、「リソース関数」をご参照ください。

ディメンションテーブルには、データをエンリッチするために使用できるディメンション情報が含まれています。 ディメンションテーブルは外部テーブルです。 例えば、ディメンションテーブルは、ユーザ、製品、および会社の地理的位置の情報を含むことができる。 ほとんどのシナリオでは、ディメンションテーブルはリソースに含まれ、動的に更新されます。

ログに含まれる情報が要件を満たさない場合は、ディメンションテーブルを使用してログに1つ以上のフィールドをマップし、詳細情報を取得できます。 このプロセスは、エンリッチメントまたはマッピングと呼ばれます。

ソースログにuser_idフィールドが含まれている場合は、アカウントの詳細を含むディメンションテーブルを使用してフィールドをマップし、詳細情報を取得できます。 たとえば、各ユーザーIDのユーザー名、性別、登録時間、および電子メールアドレスを取得できます。 Then、することができます情報光源ログと書き込みログに目的地までLogstores。 詳細については、「t947545.html#concept_1180791」をご参照ください。

Ifログ含まれ情報の複数の部分、ログに分割することができ複数ログ。 Thisプロセスと呼ばれイベント分割。

__time __: 1231245
__topic: "win_logon_log"
コンテンツ:
[{
  「ソース」: "192.0.2.1" 、
  "dest": "192.0.2.1"
  "action": "login",
  "result": "pass"
},{
  "source": "192.0.2.2" 、
  "dest": "192.0.2.1"
  "action": "logout",
  "result": "pass"
}
]

__time __: 1231245
__topic: "win_logon_log"
コンテンツ:
{
  「ソース」: "192.0.2.1" 、
  "dest": "192.0.2.1"
  "action": "login",
  "result": "pass"
}

__time __: 1231245
__topic: "win_logon_log"
コンテンツ:
{
  "source": "192.0.2.2" 、
  "dest": "192.0.2.1"
  "action": "logout",
  "result": "pass"
}

Grok はパターンを使用して複雑な正規表現を置き換えます。

たとえば、grok("%{IPV4}") パターンは、IPv4アドレスを一致させるために使用される正規表現を示し、表現 "(?<![0-9])(?:(?:[0-1]?[0-9]{1,2}| 2[0-4][0-9]| 25[0-5])[.](?:[0-1]?[0-9]{1,2}| 2[0-4][0-9]| 25[0-5])[.](?:[0-1]?[0-9]{1,2}| 2[0-4][0-9]| 25[0-5])[.](?:[0-1]?[0-9]{1,2}| 2[0-4][0-9]| 25[0-5])(?![0-9])" 。 詳細は、「t947536.html#concept_1180778」をご参照ください。

正規表現を使用して、指定したコンテンツをフィールドにキャプチャし、そのコンテンツを新しいフィールドに含めることができます。

たとえば、関数e_regex("content", "(?P<email>[a-zA-Z][a-zA-Z][a-zA-Z0-9_.+-=:]+ @\w +\.com)") は、contentフィールドからメールアドレスを抽出し、抽出したメールアドレスをemailフィールドに含めます。 メールアドレス情報は、共通の正規表現を用いて抽出される。 正規表現を単純化するには、次のgrokパターンを使用することを推奨します。e_regex("content", grok("%{EMAILADDRESS:email}") 詳細については、「正規表現」をご参照ください。