Simple Log Service:データ変換の構文

SLS DSL は Python と互換性があります。標準モードでは、SLS DSL は Python のサブセットです。基本的なデータ構造と式を除き、他のすべての構文ルールは関数を使用して実装されます。

e_if(op_ge(op_len(json_parse(v("x"))), 1), e_set("x0", lst_get(v("x"), 0)))
e_if(op_ge(op_len(json_parse(v("x"))), 2), e_set("x1", lst_get(v("x"), 1)))

標準モードでは、SLS DSL はすべての操作を関数の呼び出しによって実行します。DSL は 200 以上のビルトイン関数を提供しており、これらはグローバル処理関数と式関数に分類されます。

• グローバル処理関数

  グローバル処理関数は、ログの受信、処理、および返却に使用されます。変換ルールの各ステップを構成するには、グローバル処理関数のみを使用できます。

• 式関数

  式関数は、通常、特定のパラメーターを受け取り、特定の値を返すために使用されます。式関数を組み合わせてグローバル処理関数にパラメーターとして渡すことで、より柔軟なロジックを定義できます。

次の表は、2 つの関数タイプの機能を比較したものです。

ログを受け入れて返却する関数です。

SLS DSL の変換ルールは、次の構文を使用します：

Global Processing Function 1(..Parameters....)
Global Processing Function 2(..Parameters....)
Global Processing Function 3(..Parameters....)
Global Processing Function 4(..Parameters....)

グローバル処理関数は、次の 2 つのカテゴリに分類されます：

変換ロジック：

• 基本処理

  データ変換機能は、ソース Logstore からストリーミングデータを読み取り、各ログを辞書として変換ルールに送信します。その後、システムはルールで指定された関数を順次実行してログを処理し、結果を宛先 Logstore に書き込みます。

  説明

  ログのすべてのフィールドと値は文字列として送信されます。たとえば、元のログ {"__time__": "1234567", "__topic__": "", "k1": "test"} が e_set("f1", 200) 関数によって処理されるとします。この関数は、値が 200 の f1 フィールドを追加します。処理後、ログは {"__time__": "1234567", "__topic__": "", "k1": "test", "f1": "200"} になります。このログでは、f1 フィールドと値 200 の両方が文字列です。

  変換ルールで指定されたイベント処理関数は、順番に呼び出されます。各関数はログを受信して処理し、処理済みのログを返します。

  たとえば、e_set("type", "test") 関数は、値が test の type フィールドをログに追加します。次の関数は、変更されたログを受信して処理します。

• 条件評価

  • e_if：e_if 関数を使用すると、条件式を追加してログを処理できます。ログが指定された条件を満たさない場合、対応する操作はスキップされます。e_if 関数は if ロジックを実装します。

    たとえば、e_if(e_match("status", "200"), e_regex("data", "ret: \d+", "result")) 関数は、status フィールドの値が 200 であるかどうかをチェックします。true の場合、関数は指定された正規表現を使用して data フィールドから result フィールドを抽出します。それ以外の場合、操作は実行されません。

  • e_if_else：この関数は if_else 操作と同様に機能します。

• 処理の終了

  • 変換ルールのステップがログを返さない場合があり、これはログが削除されたことを示します。

    たとえば、e_if(str_islower(v("result")), e_drop()) 関数は、result フィールドの値が小文字の文字列であるかどうかをチェックします。true の場合、ログは破棄され、このログに対する後続のステップは実行されません。システムは自動的に次のログを処理します。

  • ログを宛先 Logstore に書き込むと、処理は終了します。たとえば、e_output 関数がログを宛先 Logstore に書き込んで削除した場合、このログに対する後続のステップは実行されません。

    説明

    e_coutput 関数は、出力ログをコピーし、後続のステップの処理を続行します。

• 並列処理のためのログ分割

  変換ルールのステップが複数のログを返す場合があり、これはログが分割されたことを示します。

  たとえば、e_split(data) 関数は、data フィールドの値に基づいてログを 2 つのログに分割します。data フィールドの値が "abc, xyz" の場合、ログは 2 つのログに分割されます。一方のログでは data フィールドの値は abc になり、もう一方のログでは xyz になります。

  分割後に生成されたログは、後続のステップで処理されます。

グローバル処理関数に加えて、SLS DSL は、特定のパラメーターを受け取り、特定の値を返す 200 の式関数を提供します。グローバル処理関数内で式関数または式関数の組み合わせを呼び出すことができます。構文は次のとおりです：

Global Processing Function 1(Expression Function 1(...), ...)
Global Processing Function 2(..., Expression Function 2(...), Expression Function 3(...), ...)

式関数は、次の 4 つのカテゴリに分類されます：